MCP 深层网络研究服务器 (v0.3.0)

用于高级网络研究的模型上下文协议 (MCP) 服务器。

最新变更

• 增加visit_page工具，可直接提取网页内容
• 优化性能以在 MCP 超时限制内工作
  • 减少默认的 maxDepth 和 maxBranching 参数
  • 提高页面加载效率
  • 在整个过程中添加了超时检查
  • 增强超时错误处理

该项目是mzxrai开发的mcp-webresearch的一个分支，并添加了深度网络研究的附加功能。我们感谢原作者的奠基性工作。

通过智能搜索排队、增强内容提取和深度研究功能将实时信息带入 Claude。

特征

• 智能搜索队列系统
  • 具有速率限制的批量搜索操作
  • 带进度跟踪的队列管理
  • 错误恢复和自动重试
  • 搜索结果去重
• 增强内容提取
  • 基于 TF-IDF 的相关性评分
  • 关键词接近度分析
  • 内容部分权重
  • 可读性评分
  • 改进的 HTML 结构解析
  • 结构化数据提取
  • 更好的内容清理和格式化
• 核心功能
  • Google 搜索集成
  • 网页内容提取
  • 研究会话跟踪
  • 改进格式的 Markdown 转换

先决条件

• Node.js >= 18（包括npm和npx ）
• 克劳德桌面应用程序

安装

通过 Smithery 安装

要通过Smithery自动为 Claude Desktop 安装 Deep Web Research Server：

全局安装（推荐）

本地项目安装

Claude 桌面集成

安装软件包后，将此条目添加到您的claude_desktop_config.json中：

视窗

位置： %APPDATA%\Claude\claude_desktop_config.json

macOS

位置： ~/Library/Application Support/Claude/claude_desktop_config.json

此配置允许 Claude Desktop 在需要时自动启动网络研究 MCP 服务器。

首次设置

安装后，运行此命令安装所需的浏览器依赖项：

用法

只需与 Claude 开始聊天，并发送一个有助于进行网络研究的提示即可。如果您想要一个为更深入的网络研究而定制的预建提示，您可以使用我们通过此包提供的agentic-research提示。在 Claude Desktop 中，点击聊天输入框中的回形针图标，然后选择Choose an integration → deepwebresearch → agentic-research访问该提示。

工具

1. deep_research
   • 通过内容分析进行全面研究
   • 参数：
     { topic: string; maxDepth?: number; // default: 2 maxBranching?: number; // default: 3 timeout?: number; // default: 55000 (55 seconds) minRelevanceScore?: number; // default: 0.7 }
   • 返回：
     { findings: { mainTopics: Array<{name: string, importance: number}>; keyInsights: Array<{text: string, confidence: number}>; sources: Array<{url: string, credibilityScore: number}>; }; progress: { completedSteps: number; totalSteps: number; processedUrls: number; }; timing: { started: string; completed?: string; duration?: number; operations?: { parallelSearch?: number; deduplication?: number; topResultsProcessing?: number; remainingResultsProcessing?: number; total?: number; }; }; }
2. parallel_search
   • 通过智能排队并行执行多个 Google 搜索
   • 参数： { queries: string[], maxParallel?: number }
   • 注意：maxParallel 限制为 5，以确保可靠的性能
3. visit_page
   • 访问网页并提取其内容
   • 参数： { url: string }
   • 返回：
     { url: string; title: string; content: string; // Markdown formatted content }

提示

agentic-research

引导式研究提示，帮助 Claude 进行深入的网络研究。该提示指导 Claude 执行以下操作：

• 从广泛的搜索开始，了解主题概况
• 优先考虑高质量、权威的来源
• 根据研究结果反复完善研究方向
• 让您随时了解情况，并让您以交互方式指导研究
• 始终引用带有 URL 的来源

配置选项

可以通过环境变量配置服务器：

• MAX_PARALLEL_SEARCHES ：最大并发搜索数（默认值：5）
• SEARCH_DELAY_MS ：搜索之间的延迟时间（以毫秒为单位）（默认值：200）
• MAX_RETRIES ：失败请求的重试次数（默认值：3）
• TIMEOUT_MS ：请求超时（以毫秒为单位）（默认值：55000）
• LOG_LEVEL ：日志记录级别（默认值：'info'）

错误处理

常见问题

1. 速率限制
   • 症状：“请求过多”错误
   • 解决方案：增加SEARCH_DELAY_MS或减少MAX_PARALLEL_SEARCHES
2. 网络超时
   • 症状：“请求超时”错误
   • 解决方案：确保请求在 60 秒 MCP 超时内完成
3. 浏览器问题
   • 症状：“浏览器启动失败”错误
   • 解决方案：确保 Playwright 已正确安装（ npx playwright install ）

调试

这是测试版软件。如果您遇到问题：

1. 检查 Claude Desktop 的 MCP 日志：
   # On macOS tail -n 20 -f ~/Library/Logs/Claude/mcp*.log # On Windows Get-Content -Path "$env:APPDATA\Claude\logs\mcp*.log" -Tail 20 -Wait
2. 启用调试日志记录：
   export LOG_LEVEL=debug

发展

设置

测试

代码质量

贡献

1. 分叉存储库
2. 创建你的功能分支（ git checkout -b feature/amazing-feature ）
3. 提交您的更改（ git commit -m 'Add some amazing feature' ）
4. 推送到分支（ git push origin feature/amazing-feature ）
5. 打开拉取请求

编码标准

• 遵循 TypeScript 最佳实践
• 保持测试覆盖率在 80% 以上
• 记录新功能和 API
• 更新 CHANGELOG.md 以了解重大变化
• 遵循语义版本控制

性能考虑

• 尽可能使用批处理操作
• 实施适当的错误处理和重试
• 考虑大型数据集的内存使用情况
• 在适当的时候缓存结果
• 使用流式传输来获取大量内容

要求

• Node.js >= 18
• Playwright（作为依赖项自动安装）

已验证的平台

• [x] macOS
• [x] Windows
• Linux

执照

麻省理工学院

致谢

该项目以mzxrai的mcp-webresearch的出色工作为基础。原始代码库为我们增强的功能和性能奠定了基础。

作者

qpd-v