CyberAGI 的 DevDocs 🚀
🚀 技术合作伙伴
🎯 非常适合
🏢 企业软件开发人员
无需花费数周时间阅读文档并处理技术债务。DevDocs 可帮助您快速实施任何技术,轻松理解文档。
🕸️ 网络爬虫
使用智能发现子 URL 功能提取网站的全部内容,最高可达 5 级。非常适合通过智能抓取来获取内部和外部网站文档。
👥 开发团队
利用内置 MCP 服务器和 Claude 集成的内部文档进行智能数据查询。将团队的知识库转化为可操作的资源。
🚀 独立黑客
DevDocs + VSCode(cline) + 你的想法 = 使用任何技术快速交付产品。构建下一个重大项目时,无需再受困于文档的泥潭。
✨ 特点
🧠 智能爬取
- 智能深度控制:选择 1-5 级爬行深度
- 自动链接发现:查找并分类所有相关内容
- 选择性抓取:准确选择您想要提取的内容
- 儿童网址检测:自动发现并映射网站结构
⚡ 性能与速度
- 并行处理:同时抓取多个页面
- 智能缓存:不再浪费时间在重复内容上
- 延迟加载支持:轻松处理现代 Web 应用程序
- 速率限制:合理的爬取,不会造成服务器过载
🎯 内容处理
- 干净提取:获取无意义的内容
- 多种格式:导出为 MD 或 JSON 进行 LLM 微调
- 结构化输出:逻辑组织的内容
- MCP 服务器集成:为 AI 处理做好准备
🛡️ 企业功能
- 错误恢复:失败时自动重试
- 完整日志记录:跟踪每个操作
- API 访问:与您的工具集成
- 团队管理:多个席位和角色
🤔 为什么选择 DevDocs?
问题
文档随处可见,而法学硕士(LLM)的知识体系已经过时了。即使对于高级工程师来说,阅读、理解和实施这些知识体系也需要数周的研究和开发时间。而我们则将这个时间缩短到了几个小时。
我们的解决方案
DevDocs 为您提供文档。将其指向任何技术文档 URL,即可看到:
- 发现与该技术相关的所有页面
- 提取有意义的内容,不要废话
- 在 MCP 服务器内逻辑地组织信息,以供 LLM 查询
- 以干净、可搜索的 MD 或 JSON 格式呈现,用于微调 LLM 目的
🔥 我们希望世界上任何人都有能力使用最前沿的 LLM 技术快速构建出令人惊叹的产品。
💰 价格比较
特征 | 开发文档 | 火爬 |
---|---|---|
免费套餐 | 无限页面 | 没有任何 |
起始价格 | 永远免费 | 每月16美元 |
企业计划 | 风俗 | 每月333美元 |
爬行速度 | 1000/分钟 | 20次/分钟 |
深度级别 | 最多 5 个 | 有限的 |
团队席位 | 无限 | 1-5个座位 |
导出格式 | 支持 MD、JSON、LLM 的 MCP 服务器 | 格式有限 |
API 访问 | 即将推出 | 有限的 |
模型上下文协议集成 | ✅ | ❌ |
支持 | 优先通过 Discord 提供 | 仅限标准 |
自托管(免费使用) | ✅ | ❌ |
🚀 入门
DevDocs 的设计使其易于与 Docker 配合使用,新用户只需进行最少的设置。
先决条件
- 您的系统上安装了Docker
- Git 用于克隆存储库
Docker 快速入门(推荐)
对于 Mac/Linux 用户:
对于 Windows 用户:仅实验性(尚未测试)
如果遇到权限问题,您可能需要以管理员身份运行该脚本,或手动设置 logs、storage 和 crawl_results 目录的权限。该脚本使用
icacls
命令设置权限,这在某些 Windows 系统上可能需要提升权限。在 Windows 上手动设置权限:
如果您需要手动设置权限,则可以使用 Windows GUI 或命令行进行设置:
使用Windows资源管理器:
- 右键单击每个目录(logs、storage、crawl_results)
- 选择“属性”
- 转到“安全”选项卡
- 点击“编辑”更改权限
- 点击“添加”添加用户/组
- 输入“Everyone”并点击“检查姓名”
- 点击“确定”
- 在列表中选择“所有人”
- 勾选“允许”下的“完全控制”
- 点击“应用”和“确定”
使用命令提示符(以管理员身份) :
如果您遇到 docker-compose.yml 文件的问题(例如“顶级对象必须是映射”错误),
docker-start.bat
脚本会自动修复此问题,方法是确保文件具有正确的格式和编码。每次运行脚本时都会应用此修复,因此您无需手动修改文件。
此命令将:
- 创建所有必要的目录
- 设置适当的权限
- 构建并启动所有 Docker 容器
- 监控服务以确保其正常运行
访问 DevDocs
服务运行后:
- 前端用户界面: http://localhost:3001
- 后端 API: http://localhost:24125
- Crawl4AI服务: http://localhost:11235
日志和监控
使用 Docker 时,可以访问日志:
- 容器日志(建议用于调试):
要停止所有服务,请在运行 docker-start 的终端中按Ctrl+C
。
📜 脚本及其用途
DevDocs 包含各种实用脚本,可帮助进行开发、测试和维护。以下是快速参考:
启动脚本
start.sh
/start.bat
/start.ps1
- 启动本地开发的所有服务(前端、后端、MCP)。docker-start.sh
/docker-start.bat
- 使用 Docker 容器启动所有服务。
MCP 服务器脚本
check_mcp_health.sh
- 验证 MCP 服务器的健康和配置状态。restart_and_test_mcp.sh
- 使用更新的 MCP 配置重新启动 Docker 容器并测试连接性。
Crawl4AI脚本
check_crawl4ai.sh
- 检查 Crawl4AI 服务的状态和健康状况。debug_crawl4ai.sh
- 在调试模式下运行 Crawl4AI,并使用详细日志记录进行故障排除。test_crawl4ai.py
- 针对 Crawl4AI 服务运行测试以验证功能。test_from_container.sh
- 在 Docker 容器内测试 Crawl4AI 服务。
实用程序脚本
view_result.sh
- 以格式化的视图显示抓取结果。find_empty_folders.sh
- 识别项目结构中的空目录。analyze_empty_folders.sh
- 分析空文件夹并按风险级别对其进行分类。verify_reorganization.sh
- 验证代码重组是否成功。
这些脚本组织在以下目录中:
- 根目录:常用操作的主要脚本
scripts/general/
:通用实用程序脚本scripts/docker/
:Docker 特定的脚本scripts/mcp/
:MCP 服务器管理脚本scripts/test/
:测试和验证脚本
🌍 由开发人员为开发人员构建
DevDocs 不仅仅是一个工具,它还是您的文档伴侣:
- 节省时间:将数周的研究缩短为数小时
- 提高理解力:获得清晰、有条理的文档
- 支持创新:利用任何技术更快地构建
- 支持团队:高效共享知识
- LLM 就绪:现代时代需要现代解决方案,使用带有 LLM 的 Devdocs 极其简单直观。只需极少的配置,即可运行 Devdocs 和 Claude App,并识别 DevDocs 的 MCP 服务器,随时可以与您的数据进行交互。
🛠️ 设置 Cline/Roo Cline 以实现快速软件开发。
- 打开“模式”界面
- 在Roo Code中,单击**+**以创建新的模式特定提示。
- 姓名
- 为模式命名(例如,
Research_MCP
)。
- 为模式命名(例如,
- 角色定义提示
- 模式特定的自定义指令提示
🤝加入我们的社区
🏆 成功案例
DevDocs 将我们原本 3 周的实施时间缩短到了 2 天。它不仅仅是一个爬虫,更是一个开发加速器。——财富 100 强公司高级工程师
“通过使用 DevDocs 快速理解和实施新技术,我的 SaaS 上线时间缩短了一半。”——成功的独立黑客
🛣️ DevDocs 路线图
本路线图概述了我们由 Crawl4AI 提供支持的先进网络爬虫平台 DevDocs 即将推出的增强功能和特性。每一项改进都旨在充分利用 Crawl4AI 的功能,确保提供强大、高效且用户友好的网络爬虫体验。
⸻
1.增强动态内容爬虫逻辑
- 实现
wait_for_images=True
以确保在提取之前所有图像都已完全加载。 - 设置
scan_full_page=True
强制爬虫滚动整个页面,触发延迟加载内容。 - 引入
scroll_delay
以在滚动步骤之间添加延迟,从而允许内容正确加载。 - 结合
wait_for
参数来等待指示内容加载完成的特定 DOM 元素。
2. 使用浏览器池进行热加载
- 实现预热浏览器实例池,以避免为每个任务启动新浏览器的开销。
- 利用
use_persistent_context=True
跨任务维护会话数据,减少重复登录和设置的需要。
3. 改进的 Docker 容器,集成最新的 DevDocs
- 更新 Docker 镜像以包含最新的 DevDocs 功能和优化。
- 包括 API 令牌(
CRAWL4AI_API_TOKEN
)的环境变量以保护 API 端点。 - 设置适当的内存限制和资源约束以优化性能。
4. 多操作系统 Docker 实例支持
- 为不同的架构(例如
x86_64
、ARM
)创建 Docker 镜像,以支持各种系统。 - 实施 CI/CD 管道以跨多个操作系统环境构建和测试图像,确保兼容性和稳定性。
5. 内存自适应爬行
- 集成 DevDocs 的
MemoryAdaptiveDispatcher
以根据系统内存可用性动态调整并发性。 - 实施内置速率限制,以防止目标网站不堪重负并避免内存不足错误。
6. UI 中的 PDF 上传和提取
- 利用 DevDocs 的功能将页面导出为 PDF(
pdf=True
)并从中提取内容。 - 开发前端组件来处理 PDF 上传、显示提取的内容并允许用户与数据交互。
7. 具有持久存储和增强用户体验的托管环境
- 实施 BYO 数据库解决方案以私密存储数据、抓取结果以及跨会话配置。
- 为用户设计直观的仪表板和界面来管理他们的爬网、查看结果和配置设置。
- 确保响应式设计和跨各种浏览器的可访问性。
星史
This server cannot be installed
hybrid server
The server is able to function both locally and remotely, depending on the configuration or use case.
与 Claude 集成,实现文档数据的智能查询,将抓取的技术文档转换为 LLM 可以直接交互的可操作资源。
Related MCP Servers
- -securityFlicense-qualityA smart documentation server that provides AI-assisted code improvement and documentation management through Claude Desktop integration.Last updated -7TypeScript
- AsecurityAlicenseAqualityProvides intelligent transcript processing capabilities for Claude, featuring natural formatting, contextual repair, and smart summarization powered by Deep Thinking LLMs.Last updated -48TypeScriptMIT License
Inkeep MCP Serverofficial
-securityAlicense-qualityA server that connects Claude to your documentation via Inkeep's API, enabling AI-powered interactions with your documentation content.Last updated -5PythonMIT License- -securityFlicense-qualityAn MCP server that integrates with Claude to provide smart documentation search capabilities across multiple AI/ML libraries, allowing users to retrieve and process technical information through natural language queries.Last updated -Python