find
Locates UI elements from a natural-language goal with a confidence score and clicks them when confidence is sufficient, including visual lookup for icons and game scenes.
Instructions
【Jev】用一句话描述要操作的东西,Jev 在界面元素里选出对应的那个并给出置信度。click=true 时置信度够就直接点。约 0.3 秒,不需要截图。默认只认得有文字或有名称的元素;纯图标、游戏画面里的东西加 look=true,Jev 会看截图框出它(先整窗粗框、再放大局部细框,约 2~5 秒),confidence 是放大后它确实在那里的概率。还不行再用 screenshot 自己看。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| goal | Yes | 例如 "保存按钮"、"把语言改成中文的那个下拉框" | |
| look | No | 让 Jev 直接看截图,而不只是读文字:图标、游戏画面、图片、颜色这类没有文字的内容用它。截图只发给 Jev,不进你的上下文。目前只有 TypeSafe 官方密钥支持(status 里 jev_images=true),每次多 1~3 秒 | |
| click | No | ||
| count | No | ||
| button | No | ||
| region | No | look=true 时只在这块区域里找 | |
| source | No | auto:先读界面树,读不到(游戏、自绘界面)再用文字识别 | |
| window | No | 窗口标题或应用名的一部分,或 windows 返回的 hwnd;不填就是前台窗口 | |
| min_confidence | No | 默认 0.75 |