brain_agent.cpython-310.pyc•5.45 kB
o
2�gx$ � @ st d Z ddlZddlZddlmZmZ ddlZddlmZ ddl m
Z
m Z m Z ddl
mZmZ daG dd� de�ZdS ) u
大脑控制中心智能体
� N)�Dict�Any)� BaseAgent)� TextMessage� ImageMessage� AudioMessage)�OLLAMA_BASE_URL� OLLAMA_MODELc st e Zd Zdededef� fdd� Zdeeef fdd�Zdeeef fd d
�Z deeef fd d �Z
d
d� Z � Z S )�
BrainAgent�agent_id�host�portc s� t � �|d||� | atjtd�| _t| _g | _ z ddl
m } || _ W n t
y/ d| _ Y nw | j�d| j� d| j � �� | �d| j� | �d | j� | �d
| j� d S ) N�brain)r r )�MULTIMODAL_SUPPORTFu/ 大脑智能体初始化完成，使用模型: u , 多模态支持: �text�image�audio)�super�__init__�brain_instance�ollamaZClientr �
ollama_clientr �model�context�configr �multimodal_support� ImportError�logger�info�register_handler�_handle_text_message�_handle_image_message�_handle_audio_message)�selfr r r
r �� __class__� �5D:\DeepSeek\MCPAgent\mcpTest\src\brain\brain_agent.pyr s
� zBrainAgent.__init__�messagec
� s� �z�|d � dd�}|d }| j�d|d�� z�d}t|�D ]5}ztj| jj| j| jd�I d H }W n! t yS } z||d
krA� t�
d
�I d H W Y d }~q d }~ww |d d }| j�d |d�� t | j d
|d�} | j
�d|� �� | �d
| �� �I d H ddlm}
ddd|id�} |
| �I d H W W d S t y� } z+| j
�d|� �� ddlm}
ddddt|�� �id�} |
| �I d H W Y d }~W d S d }~ww t y� } z| j
�d|� �� W Y d }~d S d }~ww )u 处理文本消息�contentr � � sender_id�user�Zroler) � �r �messagesN� r( Z assistant�mouth�r+ � receiver_idr u 发送回复到嘴巴智能体: r ��broadcast_message�chatr ��typer+ r) zError generating response: �systemu 生成回复时出错: z Error processing text message: )�getr �append�range�asyncio� to_threadr r7 r � Exception�sleepr r r r � send_message�to_dict�src.web.serverr6 �error�str)
r# r( r r+ � max_retries�attempt�response�eZ
reply_text�
reply_messager6 � web_reply�
error_messager& r& r' r $ sh � � �� � �� �� ��
��z BrainAgent._handle_text_messagec
� s$ �z�|d � dd�}|d }|s| j�d� W dS | j�d|� d�� | jroz+d d
d �d d
d|� �d�ddd�gd �g}tj| jj| j |d�I dH }|d d }W n t
yn } z| j� d|� �� d}W Y d}~nd}~ww d}| j�d|� �� | j �
d d|� �d �� zQd dd �d d|� �d �d dd �g}tj| jj| j |d�I dH } | d d }
t| jd|
d �} | �d| �� �I dH d d lm} d d d|
id!�}
| |
�I dH W W dS t
y� } z| j� d"|� �� W Y d}~W dS d}~ww t
�y } z| j� d#|� �� W Y d}~dS d}~ww )$u 处理图像消息r) �
image_datar* r+ u 收到空图像数据Nu 收到来自u 的图像数据，准备分析r: u` 你是一个视觉分析助手。请分析图像中的内容，识别人物、场景和活动。r- r, r zdata:image/jpeg;base64,)r9 �datar u9 这张图片中有什么？请详细描述图像内容。r/ r( u 多模态图像分析失败: u 无法分析图像内容。u? 我看到了一个图像，但我无法详细分析其内容。u 图像分析结果: u [视觉信息] uV 你是一个友好的AI助手。基于视觉信息，与用户进行自然的对话。uQ 根据你看到的内容，自然地与我打招呼或评论你看到的内容。r2 r3 r r5 r7 r r8 u 生成图像回复失败: u 处理图像消息时出错: )r; r �warningr r r> r? r r7 r r@ rE r r< r r rB rC rD r6 )r# r( rN r+ r0 rI ZanalysisrJ Zgreeting_messagesZgreeting_responseZ
greeting_textrK r6 rL r& r& r' r! f s� � �� ����� � � ��"�� ��z BrainAgent._handle_image_messagec � s: �|d � dd�}|d }| �d|i|dd��I dH dS )u 处理音频消息r) r r* r+ )r) r+ � message_typeN)r; r )r# r( Z
audio_textr+ r& r& r' r" � s ��z BrainAgent._handle_audio_messagec
� sr �z|� di �� dd�}| j�d|� �� d|� �}|W S ty8 } z| j�d|� �� W Y d}~dS d}~ww ) u! 处理文本消息并返回回复r) r r* u 收到文本消息: u# 你好，我收到了你的消息: u 处理文本消息时出错: Nu$ 抱歉，我无法处理你的消息)r; r r r@ rE )r# r( r rI rJ r& r& r' �process_text_message� s �
��z BrainAgent.process_text_message)
�__name__�
__module__� __qualname__rF �intr r r r r! r" rR �
__classcell__r& r& r$ r' r
s BY r
)�__doc__r> �logging�typingr r r �src.agents.base_agentr �src.utils.mcp_protocolr r r r r r r r
r& r& r& r' �<module> s