CyberAGI 的 DevDocs 🚀
🚀 技术合作伙伴
🎯 非常适合
🏢 企业软件开发人员
无需花费数周时间阅读文档并处理技术债务。DevDocs 可帮助您快速实施任何技术，轻松理解文档。
🕸️ 网络爬虫
使用智能发现子 URL 功能提取网站的全部内容，最高可达 5 级。非常适合通过智能抓取来获取内部和外部网站文档。
👥 开发团队
利用内置 MCP 服务器和 Claude 集成的内部文档进行智能数据查询。将团队的知识库转化为可操作的资源。
🚀 独立黑客
DevDocs + VSCode(cline) + 你的想法 = 使用任何技术快速交付产品。构建下一个重大项目时，无需再受困于文档的泥潭。
✨ 特点
🧠 智能爬取
- 智能深度控制：选择 1-5 级爬行深度
- 自动链接发现：查找并分类所有相关内容
- 选择性抓取：准确选择您想要提取的内容
- 儿童网址检测：自动发现并映射网站结构
⚡ 性能与速度
- 并行处理：同时抓取多个页面
- 智能缓存：不再浪费时间在重复内容上
- 延迟加载支持：轻松处理现代 Web 应用程序
- 速率限制：合理的爬取，不会造成服务器过载
🎯 内容处理
- 干净提取：获取无意义的内容
- 多种格式：导出为 MD 或 JSON 进行 LLM 微调
- 结构化输出：逻辑组织的内容
- MCP 服务器集成：为 AI 处理做好准备
🛡️ 企业功能
- 错误恢复：失败时自动重试
- 完整日志记录：跟踪每个操作
- API 访问：与您的工具集成
- 团队管理：多个席位和角色
🤔 为什么选择 DevDocs？
问题
文档随处可见，而法学硕士（LLM）的知识体系已经过时了。即使对于高级工程师来说，阅读、理解和实施这些知识体系也需要数周的研究和开发时间。而我们则将这个时间缩短到了几个小时。
我们的解决方案
DevDocs 为您提供文档。将其指向任何技术文档 URL，即可看到：
- 发现与该技术相关的所有页面
- 提取有意义的内容，不要废话
- 在 MCP 服务器内逻辑地组织信息，以供 LLM 查询
- 以干净、可搜索的 MD 或 JSON 格式呈现，用于微调 LLM 目的
🔥 我们希望世界上任何人都有能力使用最前沿的 LLM 技术快速构建出令人惊叹的产品。
💰 价格比较
| 特征 | 开发文档 | 火爬 |
|---|
| 免费套餐 | 无限页面 | 没有任何 |
| 起始价格 | 永远免费 | 每月16美元 |
| 企业计划 | 风俗 | 每月333美元 |
| 爬行速度 | 1000/分钟 | 20次/分钟 |
| 深度级别 | 最多 5 个 | 有限的 |
| 团队席位 | 无限 | 1-5个座位 |
| 导出格式 | 支持 MD、JSON、LLM 的 MCP 服务器 | 格式有限 |
| API 访问 | 即将推出 | 有限的 |
| 模型上下文协议集成 | ✅ | ❌ |
| 支持 | 优先通过 Discord 提供 | 仅限标准 |
| 自托管（免费使用） | ✅ | ❌ |
🚀 入门
DevDocs 的设计使其易于与 Docker 配合使用，新用户只需进行最少的设置。
先决条件
Docker 快速入门（推荐）
对于 Mac/Linux 用户：
# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git
# Navigate to the project directory
cd DevDocs
# Configure environment variables
# Copy the template file to .env
cp .env.template .env
# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)
# This allows the frontend (running in your browser) to communicate with the backend service.
# Start all services using Docker
./docker-start.sh
对于 Windows 用户：仅实验性（尚未测试）
# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git
# Navigate to the project directory
cd DevDocs
# Configure environment variables
# Copy the template file to .env
copy .env.template .env
# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)
# This allows the frontend (running in your browser) to communicate with the backend service.
# Prerequisites: Install WSL 2 and Docker Desktop
# Docker Desktop for Windows requires WSL 2. Please ensure you have WSL 2 installed and running first.
# 1. Install WSL 2: Follow the official Microsoft guide: https://learn.microsoft.com/en-us/windows/wsl/install
# 2. Install Docker Desktop for Windows: Download and install from the official Docker website. Docker Desktop includes Docker Compose.
# Start all services using Docker
docker-start.bat
如果遇到权限问题，您可能需要以管理员身份运行该脚本，或手动设置 logs、storage 和 crawl_results 目录的权限。该脚本使用icacls命令设置权限，这在某些 Windows 系统上可能需要提升权限。
在 Windows 上手动设置权限：
如果您需要手动设置权限，则可以使用 Windows GUI 或命令行进行设置：
使用Windows资源管理器：
- 右键单击每个目录（logs、storage、crawl_results）
- 选择“属性”
- 转到“安全”选项卡
- 点击“编辑”更改权限
- 点击“添加”添加用户/组
- 输入“Everyone”并点击“检查姓名”
- 点击“确定”
- 在列表中选择“所有人”
- 勾选“允许”下的“完全控制”
- 点击“应用”和“确定”
使用命令提示符（以管理员身份） ：
icacls logs /grant Everyone:F /T
icacls storage /grant Everyone:F /T
icacls crawl_results /grant Everyone:F /T
如果您遇到 docker-compose.yml 文件的问题（例如“顶级对象必须是映射”错误）， docker-start.bat脚本会自动修复此问题，方法是确保文件具有正确的格式和编码。每次运行脚本时都会应用此修复，因此您无需手动修改文件。
此命令将：
- 创建所有必要的目录
- 设置适当的权限
- 构建并启动所有 Docker 容器
- 监控服务以确保其正常运行
访问 DevDocs
服务运行后：
日志和监控
使用 Docker 时，可以访问日志：
- 容器日志（建议用于调试）：
# View logs from a specific container
docker logs devdocs-frontend
docker logs devdocs-backend
docker logs devdocs-mcp
docker logs devdocs-crawl4ai
# Follow logs in real-time
docker logs -f devdocs-backend
要停止所有服务，请在运行 docker-start 的终端中按Ctrl+C 。
📜 脚本及其用途
DevDocs 包含各种实用脚本，可帮助进行开发、测试和维护。以下是快速参考：
启动脚本
start.sh / start.bat / start.ps1 - 启动本地开发的所有服务（前端、后端、MCP）。docker-start.sh / docker-start.bat - 使用 Docker 容器启动所有服务。
MCP 服务器脚本
check_mcp_health.sh - 验证 MCP 服务器的健康和配置状态。restart_and_test_mcp.sh - 使用更新的 MCP 配置重新启动 Docker 容器并测试连接性。
Crawl4AI脚本
check_crawl4ai.sh - 检查 Crawl4AI 服务的状态和健康状况。debug_crawl4ai.sh - 在调试模式下运行 Crawl4AI，并使用详细日志记录进行故障排除。test_crawl4ai.py - 针对 Crawl4AI 服务运行测试以验证功能。test_from_container.sh - 在 Docker 容器内测试 Crawl4AI 服务。
实用程序脚本
view_result.sh - 以格式化的视图显示抓取结果。find_empty_folders.sh - 识别项目结构中的空目录。analyze_empty_folders.sh - 分析空文件夹并按风险级别对其进行分类。verify_reorganization.sh - 验证代码重组是否成功。
这些脚本组织在以下目录中：
- 根目录：常用操作的主要脚本
scripts/general/ ：通用实用程序脚本scripts/docker/ ：Docker 特定的脚本scripts/mcp/ ：MCP 服务器管理脚本scripts/test/ ：测试和验证脚本
🌍 由开发人员为开发人员构建
DevDocs 不仅仅是一个工具，它还是您的文档伴侣：
- 节省时间：将数周的研究缩短为数小时
- 提高理解力：获得清晰、有条理的文档
- 支持创新：利用任何技术更快地构建
- 支持团队：高效共享知识
- LLM 就绪：现代时代需要现代解决方案，使用带有 LLM 的 Devdocs 极其简单直观。只需极少的配置，即可运行 Devdocs 和 Claude App，并识别 DevDocs 的 MCP 服务器，随时可以与您的数据进行交互。
🛠️ 设置 Cline/Roo Cline 以实现快速软件开发。
- 打开“模式”界面
- 在Roo Code中，单击**+**以创建新的模式特定提示。
- 姓名
- 为模式命名（例如，
Research_MCP ）。
- 角色定义提示
Expertise and Personality: Expertise: Developer documentation retrieval, technical synthesis, and documentation search. Personality: Systematic, detail-oriented, and precise. Provide well-structured answers with clear references to documentation sections.
Behavioral Mandate: Always use the Table Of Contents and Section Access tools when addressing any query regarding the MCP documentation. Maintain clarity, accuracy, and traceability in your responses.
- 模式特定的自定义指令提示
1. Table Of Contents Tool: Returns a full or filtered list of documentation topics.
2. Section Access Tool: Retrieves the detailed content of specific documentation sections.
General Process: Query Interpretation: Parse the user's query to extract key topics, keywords, and context. Identify the likely relevant sections (e.g., API configurations, error handling) from the query.
Discovery via Table Of Contents: Use the Table Of Contents tool to search the documentation index for relevant sections. Filter or scan titles and metadata for matching keywords.
Drill-Down Using Section Access: For each identified relevant document or section, use the Section Access tool to retrieve its content. If multiple parts are needed, request all related sections to ensure comprehensive coverage.
Synthesis and Response Formation: Combine the retrieved content into a coherent and complete answer. Reference section identifiers or document paths for traceability. Validate that every aspect of the query has been addressed.
Error Handling: If no matching sections are found, adjust the search parameters and retry. Clearly report if the query remains ambiguous or if no relevant documentation is available.
Mandatory Tool Usage:
Enforcement: Every time a query is received that requires information from the MCP server docs, the agent MUST first query the Table Of Contents tool to list potential relevant topics, then use the Section Access tool to retrieve the necessary detailed content.
Search & Retrieve Workflow:
Interpret and Isolate: Identify the key terms and data points from the user's query.
Index Lookup: Immediately query the Table Of Contents tool to obtain a list of relevant documentation sections.
Targeted Retrieval: For each promising section, use the Section Access tool to get complete content.
Information Synthesis: Merge the retrieved content, ensuring all necessary details are included and clearly referenced.
Fallback and Clarification: If initial searches yield insufficient data, adjust the query parameters and retrieve additional sections as needed.
Custom Instruction Loading: Additional custom instructions specific to Research_MCP mode may be loaded from the .clinerules-research-mcp file in your workspace. These may include further refinements or constraints based on evolving documentation structures or query types.
Final Output Construction: The final answer should be organized, directly address the query, and include clear pointers (e.g., section names or identifiers) back to the MCP documentation. Ensure minimal redundancy while covering all necessary details.
🤝加入我们的社区
🏆 成功案例
DevDocs 将我们原本 3 周的实施时间缩短到了 2 天。它不仅仅是一个爬虫，更是一个开发加速器。——财富 100 强公司高级工程师
“通过使用 DevDocs 快速理解和实施新技术，我的 SaaS 上线时间缩短了一半。”——成功的独立黑客
🛣️ DevDocs 路线图
本路线图概述了我们由 Crawl4AI 提供支持的先进网络爬虫平台 DevDocs 即将推出的增强功能和特性。每一项改进都旨在充分利用 Crawl4AI 的功能，确保提供强大、高效且用户友好的网络爬虫体验。
⸻
1.增强动态内容爬虫逻辑
- 实现
wait_for_images=True以确保在提取之前所有图像都已完全加载。 - 设置
scan_full_page=True强制爬虫滚动整个页面，触发延迟加载内容。 - 引入
scroll_delay以在滚动步骤之间添加延迟，从而允许内容正确加载。 - 结合
wait_for参数来等待指示内容加载完成的特定 DOM 元素。
2. 使用浏览器池进行热加载
- 实现预热浏览器实例池，以避免为每个任务启动新浏览器的开销。
- 利用
use_persistent_context=True跨任务维护会话数据，减少重复登录和设置的需要。
3. 改进的 Docker 容器，集成最新的 DevDocs
- 更新 Docker 镜像以包含最新的 DevDocs 功能和优化。
- 包括 API 令牌（
CRAWL4AI_API_TOKEN ）的环境变量以保护 API 端点。 - 设置适当的内存限制和资源约束以优化性能。
4. 多操作系统 Docker 实例支持
- 为不同的架构（例如
x86_64 、 ARM ）创建 Docker 镜像，以支持各种系统。 - 实施 CI/CD 管道以跨多个操作系统环境构建和测试图像，确保兼容性和稳定性。
5. 内存自适应爬行
- 集成 DevDocs 的
MemoryAdaptiveDispatcher以根据系统内存可用性动态调整并发性。 - 实施内置速率限制，以防止目标网站不堪重负并避免内存不足错误。
6. UI 中的 PDF 上传和提取
- 利用 DevDocs 的功能将页面导出为 PDF（
pdf=True ）并从中提取内容。 - 开发前端组件来处理 PDF 上传、显示提取的内容并允许用户与数据交互。
7. 具有持久存储和增强用户体验的托管环境
- 实施 BYO 数据库解决方案以私密存储数据、抓取结果以及跨会话配置。
- 为用户设计直观的仪表板和界面来管理他们的爬网、查看结果和配置设置。
- 确保响应式设计和跨各种浏览器的可访问性。
星史