vision.cpython-310.pyc•13.8 kB
o
�EhfJ � @ s� d dl Z d dlZd dlZd dlZd dlZd dlZd dlZd dlmZ d dl m
Z
d dl m Z m
Z
mZ e�d�Ze�ej� e�� Ze�d�Ze�e� e�e� e j�d�ZG dd � d �Z G d
d � d �Z G d d
� d
�Z de
fdd�Z dS )� N)�Optional)�FastMCP)�OpenAI�APIConnectionError�APIErrorZ
VisionToolz4%(asctime)s - %(name)s - %(levelname)s - %(message)s�DASHSCOPE_API_KEYc sj e Zd ZdZe�� ZdZdZ� fdd�Z dd� Z
dd � Z d
e e
fd d �Zd
d� Zdd� Zdd� Z� ZS )�
CameraManagerNr � c s� | j �5 | jd u r/t� �| �| _d | j_d| j_d| j_d | j_t� � | j_
W d � | jS W d � | jS 1 s;w Y | jS )Nr F) �_lock� _instance�super�__new__�_capZ
_init_time�_is_preview_active�_preview_thread� threading�Event�_preview_stop_event��cls�� __class__� � E:\xiaozhi-mcp\tools\vision.pyr
s
��
��zCameraManager.__new__c C sv t � � }| jdu s| j�� s| �� n"|| j | jkr5| js5| jdu s(| j�� s5t �
d� | � � | �� || _| jS )u< 获取摄像头实例，如果闲置超时则重新初始化Nu' 摄像头闲置超时，重新初始化) �timer �isOpened� _init_camera�
_last_used� IDLE_TIMEOUTr r �is_alive�logger�info�release)�self� current_timer r r �
get_camera' s
zCameraManager.get_camerac C s� t �� dkr dtjd< t�d�| _| j�� s t� d� t
d��| j� tj d� | j� tj
d� | j� tjd � | j� tjd
� t�d � d S )
u 初始化摄像头�Darwin�YESZ#OBJC_DISABLE_INITIALIZE_FORK_SAFETYr u0 摄像头访问被拒绝，请检查系统权限zCamera access deniedi� i� � � u 摄像头初始化完成N)�platform�system�os�environ�cv2� VideoCapturer r r �error�PermissionError�set�CAP_PROP_FRAME_WIDTH�CAP_PROP_FRAME_HEIGHT� CAP_PROP_FPS�CAP_PROP_BUFFERSIZEr! �r# r r r r 8 s
zCameraManager._init_camera�returnc C sT | � � }td�D ]}|�� q|�� \}}|sdS t�d|tjdtjdg�\}}|S )u9 获取当前帧，确保刷新缓冲区获取最新图像� N�.jpg�K r) )r% �range�grab�readr. �imencode�IMWRITE_JPEG_QUALITY�IMWRITE_JPEG_OPTIMIZE)r# �cap�_�ret�frame�bufferr r r � get_frameJ s
�zCameraManager.get_framec C s | � � }|�� \}}|sdS |S )u! 获取原始帧（用于预览）N)r% r> )r# rB rD rE r r r �
get_raw_frame] s
zCameraManager.get_raw_framec C s6 | j r| j �� r| j �� d| _ t�d� dS dS dS )u 释放摄像头资源Nu 摄像头资源已释放)r r r" r r! r7 r r r r" e s
�zCameraManager.releasec C s | � � d S �N)r" r7 r r r �__del__l s zCameraManager.__del__)�__name__�
__module__� __qualname__r r �Lockr
r r r
r% r r �bytesrG rH r" rJ �
__classcell__r r r r r s r c sF e Zd ZdZe�� Z� fdd�Zdd� Zde de
de fd d
�Z � Z
S ) �VisionAnalyzerNc sd | j �$ | jd u r t� �| �| _| j�� W d � | jS W d � | jS 1 s*w Y | jS rI )r
r r r
� _init_clientr r r r r
t s
��
��zVisionAnalyzer.__new__c C s< t }|std��t|dd�| _i | _t�� | _t� d� d S )Nu 未设置DASHSCOPE_API_KEYz1https://dashscope.aliyuncs.com/compatible-mode/v1)�api_key�base_urlu API客户端初始化完成)
r �
ValueErrorr �client�cacher rN �
cache_lockr r! )r# rS r r r rR { s �
zVisionAnalyzer._init_client�
image_data� timestampr8 c
C s� t |�� d|� �}| j� || jv r#t�d� | j| W d � S W d � n1 s-w Y zvt�� }| jjjj ddddd�d d
d |� �id �gd
�gdd�}|j
d j j dd� }d|vrid|�
d� }d|d�}| j� || j|< t| j�dkr�| j�tt| j��� W d � n1 s�w Y t�dt�� | d�d�� |W S ttfy� } zt�dt|�� �� d t|�d �W Y d}~S d}~w ty� } zt�d t|�� �� d d d �W Y d}~S d}~ww ) u 带时间验证的图像分析�-u 使用缓存结果Nz qwen-vl-plus�user�textu* 用可爱的语气简单描述图片内容)�typer] � image_url�urlzdata:image/jpeg;base64,)r^ r_ )�role�content� )�model�messages�timeoutr i� u 这不就是u 害，这不就是u 这是T��success�result� u API调用耗时: �.2f�su API错误: F�rh r0 u 分析异常: u 分析失败)�hashrX rW r �debugr rV ZchatZ completions�create�choices�messagerb �lstrip�len�pop�next�iterr! r r r0 �str� Exception) r# rY rZ Z cache_key�
start_time�responseZ result_textri �er r r �
analyze_image� sX
� �
����
�
� � ���z VisionAnalyzer.analyze_image)rK rL rM r r rN r
r
rR rx �float�dictr} rP r r r r rQ p s rQ c @ sP e Zd Zdd� Zddedee fdd�Zdd � Zde fd
d �Z
de fd d
�Z dS )� VisionSystemc C s t � | _t� | _d| _d S )NzCamera Preview)r �camerarQ �analyzer�preview_window_namer7 r r r �__init__� s
zVisionSystem.__init__r �countdown_secondsr8 c
C s` z�| j jrt�d� | �� t�d� | j �� }|�� s$t� d� W dS d| j _t
� | j t
j
� t
�| j t
jd� t
�d� t�� }d} |�� \}}|sSt�d� nyt�� }|| }td|t|� �} t
j}
d } d
} d }
d }| dkr�t
�|d
| � d�| |
| |
|� n t
�|d| |
| d|� t
�| j |� | dkr�|du r�t
�d|t
jdt
jdg�\}}|}t�d� nt
�d�d@ }|td�ks�|dkr�t�d� nqEt
� | j � d| j _|dur�t � |�� d�}t�dt�� | d�d �� |W S t�d � W dS t �y/ } z(tj d t!|�� �dd � t
�"| j t
j#�dk�r t
� | j � d| j _W Y d}~dS d}~ww ) uT
显示实时预览窗口，进行倒计时，然后捕获图像。
uE 检测到活跃的预览窗口，正在关闭以进行图像捕获。g�������?u3 摄像头未打开，无法进行预览和捕获。NTr) u 无法读取摄像头帧。r )�2 r� g �?)r r �� r9 zCapturing in: rl zSMILE!)r r� r r: r; g �?r� �q� u 用户取消了图像捕获。Fzutf-8u 图像捕获耗时: rk u
s (含预览)u 未捕获到图像。u 捕获异常: ��exc_info)$r� r r r! �close_camera_previewr �sleepr% r r0 r. � namedWindowr� �WINDOW_AUTOSIZE�setWindowProperty�WND_PROP_TOPMOST�waitKeyr> �warning�max�int�FONT_HERSHEY_SIMPLEX�putText�imshowr? r@ rA �ord�
destroyWindow�base64� b64encode�decodery rx �getWindowProperty�WND_PROP_VISIBLE)r# r� rB rz Zcaptured_frame_bufferrD rE r$ Z elapsed_timeZremaining_time�fontZ
text_positionZ
font_scaleZ
font_color� line_typerC rF �keyrY r| r r r �capture_image_with_preview� sz
�
� )
��z'VisionSystem.capture_image_with_previewc C s | j �� }|�� st�d� d| j _dS t�| jtj � t�
| jtj d� t� d� t�
d� | j jr| j j�� s|�� \}}|sGt�d� n8t�| j|� t� d�d@ }|td�ks_|d kret�
d
� nt�| jtj�dk rut�
d � n
| j jr| j j�� r9t�
d � | �� dS )
uE
在单独线程中运行的摄像头预览循环。
u$ 预览线程：摄像头未打开。FNr) u- 预览线程：摄像头预览循环启动。u< 预览线程：无法读取摄像头帧，预览将关闭。r� r� r� u3 预览线程：用户通过按键关闭了预览。u' 预览线程：窗口被用户关闭。u- 预览线程：摄像头预览循环结束。)r� r% r r r0 r r. r� r� r� r� r� r� r! r �is_setr> r� r� r� r� r� r� )r# rB rD rE r� r r r �
_preview_loop s2
�
zVisionSystem._preview_loopc
C sN z_| j jr| j jr| j j�� rt�d� ddd�W S | j �� }|�� s.t�d� ddd�W S | j jr;| � � t
� d � d| j _| j j �
� tj| jdd
�| j _| j j�� t�d � dd d�W S ty� } z;tjd
t|�� �dd� d| j _| j j �� t�| jtj�dkr�t�| j� | j �� ddt|�� �d�W Y d}~S d}~ww )uo
打开摄像头实时预览窗口。此函数会立即返回成功，预览在后台运行。
u* 摄像头预览已打开且正在运行。Tu 摄像头预览已打开rg u* 摄像头未打开，无法打开预览。Fu 摄像头未打开rm 皙�����?)�target�daemonu3 摄像头预览已成功启动（后台线程）。u 摄像头预览已成功打开u 打开摄像头预览异常: r� r) u 打开预览失败: N)r� r r r r r! r% r r0 r� r r� r �clearr �Threadr� �startry rx r2 r. r� r� r� r� r" )r# rB r| r r r �open_camera_preview< s6
��z VisionSystem.open_camera_previewc
C s ze| j jst�d� ddd�W S | j j�� | j jr8| j j�� r8t�d� | j jjdd� | j j�� r8t� d� t
� | j t
j
�dkrRt
�| j � t
�d� t�d � d
| j _| j �� t�d � dd d�W S ty� } z tjd
t|�� �dd� d
dt|�� �d�W Y d}~S d}~ww )uE
关闭摄像头实时预览窗口并释放资源。
u 摄像头预览未打开。Tu 摄像头预览未打开rg u 等待预览线程结束...r) )rf u! 预览线程未能及时停止。r� Fu3 摄像头预览窗口已关闭，资源已释放。u 摄像头预览已成功关闭u 关闭摄像头预览异常: r� u 关闭预览失败: rm N)r� r r r! r r2 r r �joinr� r. r� r� r� r� r� r r� r" ry r0 rx )r# r| r r r r� d s.
��z!VisionSystem.close_camera_previewN)r ) rK rL rM r� r� r rx r� r� r r� r� r r r r r� � s T%(r� �mcpc C sJ | � � dtdtfdd��}| � � dtfdd��}| � � dtfdd��}d S ) N�commandr8 c
s� d}t � fdd�|D ��sddd�S z3t� }t�� }|jdd� }r@t�� }|j�||�}t�� | }t�d |d
�d �� |W S dd d�W S tyh } ztj d
t
|�� �dd� ddd�W Y d}~S d}~ww )uN
视觉感知系统
命令示例：看看这是什么/描述当前场景/睁开眼看看
返回格式：
{
"success": bool, # 是否执行成功
"result": str, # 分析结果文本
"error": str # 错误信息（可选）
}
)u 看u 查看u 睁开u 描述u 什么u 东西c 3 s � | ]}|� v V qd S rI r )�.0�kw�r� r r � <genexpr>� s � zBregister_vision_tools.<locals>.vision_assistant.<locals>.<genexpr>Fu 无效命令rm r )r� u 总处理时间: rk rl u! 图像捕获失败或用户取消u 系统错误: Tr� u 内部错误N) �anyr� r r� r� r} r r! ry r0 rx ) r� �keywords�vsrz rY rZ ri Z
total_timer| r r� r �vision_assistant� s$
��z/register_vision_tools.<locals>.vision_assistantc S � t � } | �� S )u�
打开摄像头实时预览窗口。此工具会立即返回成功，预览在后台运行。
当用户说“打开摄像头”、“打开预览”等时调用。
返回格式：
{
"success": bool, # 是否执行成功
"result": str, # 操作结果文本
"error": str # 错误信息（可选）
}
)r� r� �r� r r r �open_camera_preview_tool� �
z7register_vision_tools.<locals>.open_camera_preview_toolc S r� )ua
关闭摄像头实时预览窗口。
当用户说“关闭摄像头”、“关闭预览”等时调用。
返回格式：
{
"success": bool, # 是否执行成功
"result": str, # 操作结果文本
"error": str # 错误信息（可选）
}
)r� r� r� r r r �close_camera_preview_tool� r� z8register_vision_tools.<locals>.close_camera_preview_tool)�toolrx r )r� r� r� r� r r r �register_vision_tools� s #r� ) r, r. r� �loggingr* r r �typingr �mcp.server.fastmcpr Zopenair r r � getLoggerr �setLevel�INFO�
StreamHandler�handler� Formatter� formatter� setFormatter�
addHandlerr- �getr r rQ r� r� r r r r �<module> s,
ZM I