## 删除 tavily 的相关逻辑.
新增如下逻辑:
1. 通过searxng搜索 可能的信息来源链接
2. 通过llm过滤和主题无关的链接(或则你有更好的办法)
3. 然后通过 `python creeper.py --urls "URL1,URL2"`(查看/home/lyf/workspaces/creeper中的具体使用)爬取过滤后的网页链接;
4. 对爬取到的网页内容进行总结,判断某个网页的内容大小
- 如果内容太大则单独上传给llm进行总结,
- 如果内容少于某个值, 则合并内容上传llm进行总结
5. 在所有网页都经过总结后, 合并所有结果再次传给llm生成最终的总结
## 调整 SearXNG 过滤逻辑
目前逻辑 通过 域名黑白名单 来过滤 SearXNG 获取的网页链接;不太符合我的要求。
1. 通过llm判断这此次主题关键字的类型, 例如 编程、军事、政治、历史等类型(在后续内容合并时有用)
2. 通过llm来判断 主题关键字 和 网页的关联性(标题、简介、已有部分内容等 已知数据<SearXNG查询得到的>) 来过滤, 关联高的保留、关联低的过滤掉
3. 尽量减少llmd的请求次数, 而且和 总结服务的llm配置 分开
4. 用独立的文件夹来保存提示词
5. 保留黑白域名的逻辑, 而且优先级最高