DevDocs de CyberAGI 🚀
🚀 Socios tecnológicos
🎯 Perfecto para
Desarrolladores de software empresarial
Evite semanas de lectura de documentación y gestión de deuda técnica. Implemente cualquier tecnología más rápido dejando que DevDocs se encargue de la ardua tarea de comprender la documentación.
🕸️ Raspadores web
Extraiga todo el contenido de sitios web con Smart Discovery of Child URL hasta el nivel 5. Perfecto para documentación de sitios web internos y externos con rastreo inteligente.
👥 Equipos de desarrollo
Aproveche la documentación interna con servidores MCP integrados e integración con Claude para consultas de datos inteligentes. Transforme la base de conocimientos de su equipo en un recurso práctico.
🚀 Hackers independientes
DevDocs + VSCode(cline) + Tu idea = Entrega productos rápidamente con cualquier tecnología. Olvídate de la documentación innecesaria al desarrollar tu próximo gran proyecto.
✨ Características
🧠 Rastreo inteligente
- Control de profundidad inteligente : elija la profundidad de rastreo entre 1 y 5 niveles
- Descubrimiento automático de enlaces : encuentra y clasifica todo el contenido relacionado
- Rastreo selectivo : elige exactamente lo que quieres extraer
- Detección de URL secundaria : descubre y mapea automáticamente la estructura del sitio web
⚡ Rendimiento y velocidad
- Procesamiento paralelo : rastrear varias páginas simultáneamente
- Almacenamiento en caché inteligente : nunca pierda tiempo con contenido duplicado
- Soporte de carga diferida : maneja aplicaciones web modernas sin esfuerzo
- Limitación de velocidad : rastreo respetuoso que no sobrecargará los servidores
🎯 Procesamiento de contenido
- Extracción limpia : obtenga contenido sin superfluidades
- Múltiples formatos : Exportación a MD o JSON para el ajuste fino de LLM
- Salida estructurada : contenido organizado lógicamente
- Integración del servidor MCP : lista para el procesamiento de IA
🛡️ Funciones empresariales
- Recuperación de errores : reintento automático en caso de fallos
- Registro completo : seguimiento de cada operación
- Acceso API : Integre con sus herramientas
- Gestión de equipos : Múltiples puestos y roles
🤔 ¿Por qué DevDocs?
El problema
La documentación está por todas partes y los LLM están DESACTUALIZADOS en cuanto a sus conocimientos. Leerla, comprenderla e implementarla requiere semanas de investigación y desarrollo, incluso para ingenieros sénior. Reducimos ese tiempo a horas.
Nuestra solución
DevDocs te trae la documentación. Dirígelo a cualquier URL de documentación técnica y observa cómo:
- Descubre todas las páginas relacionadas con esa tecnología.
- Extrae contenido significativo sin superfluidades
- Organiza la información de forma lógica dentro de un servidor MCP listo para que su LLM la consulte
- Lo presenta en un formato limpio y buscable en MD o JSON para afinar el propósito del LLM.
🔥Queremos que cualquier persona en el mundo tenga la capacidad de crear productos increíbles rápidamente utilizando la tecnología LLM más avanzada.
💰 Comparación de precios
| Característica | Documentos de desarrollo | Firecrawl |
|---|
| Nivel gratuito | Páginas ilimitadas | Ninguno |
| Precio inicial | Libre para siempre | $16/mes |
| Plan Empresarial | Costumbre | $333/mes |
| Velocidad de arrastre | 1000/min | 20/min |
| Niveles de profundidad | Hasta 5 | Limitado |
| Asientos del equipo | Ilimitado | 1-5 asientos |
| Formatos de exportación | Servidores MCP compatibles con MD, JSON y LLM | Formatos limitados |
| Acceso a la API | Muy pronto | Limitado |
| Integración del protocolo de contexto del modelo | ✅ | ❌ |
| Apoyo | Prioridad disponible a través de Discord | Sólo estándar |
| Autoalojado (uso gratuito) | ✅ | ❌ |
🚀 Primeros pasos
DevDocs está diseñado para ser fácil de usar con Docker y requiere una configuración mínima para nuevos usuarios.
Prerrequisitos
- Docker instalado en su sistema
- Git para clonar el repositorio
Inicio rápido con Docker (recomendado)
Para usuarios de Mac/Linux:
# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git
# Navigate to the project directory
cd DevDocs
# Configure environment variables
# Copy the template file to .env
cp .env.template .env
# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)
# This allows the frontend (running in your browser) to communicate with the backend service.
# Start all services using Docker
./docker-start.sh
Para usuarios de Windows: solo experimental (aún no probado)
# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git
# Navigate to the project directory
cd DevDocs
# Configure environment variables
# Copy the template file to .env
copy .env.template .env
# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)
# This allows the frontend (running in your browser) to communicate with the backend service.
# Prerequisites: Install WSL 2 and Docker Desktop
# Docker Desktop for Windows requires WSL 2. Please ensure you have WSL 2 installed and running first.
# 1. Install WSL 2: Follow the official Microsoft guide: https://learn.microsoft.com/en-us/windows/wsl/install
# 2. Install Docker Desktop for Windows: Download and install from the official Docker website. Docker Desktop includes Docker Compose.
# Start all services using Docker
docker-start.bat
Si tiene problemas con los permisos, puede que tenga que ejecutar el script como administrador o configurar manualmente los permisos en los directorios logs, storage y crawl_results. El script utiliza el comando icacls para configurar los permisos, lo que podría requerir privilegios elevados en algunos sistemas Windows.
Configuración manual de permisos en Windows :
Si necesita establecer permisos manualmente, puede hacerlo mediante la GUI de Windows o la línea de comandos:
Usando el Explorador de Windows :
- Haga clic derecho en cada directorio (registros, almacenamiento, resultados de rastreo)
- Seleccione "Propiedades"
- Vaya a la pestaña "Seguridad"
- Haga clic en "Editar" para cambiar los permisos.
- Haga clic en "Agregar" para agregar usuarios/grupos
- Escribe "Todos" y haz clic en "Verificar nombres".
- Haga clic en "Aceptar"
- Seleccione "Todos" en la lista
- Marque "Control total" en "Permitir".
- Haga clic en "Aplicar" y "Aceptar".
Usando el símbolo del sistema (como administrador) :
icacls logs /grant Everyone:F /T
icacls storage /grant Everyone:F /T
icacls crawl_results /grant Everyone:F /T
Si encuentra problemas con el archivo docker-compose.yml (como el error "El objeto de nivel superior debe ser una asignación"), el script docker-start.bat lo corrige automáticamente, asegurándose de que el archivo tenga el formato y la codificación correctos. Esta corrección se aplica cada vez que ejecuta el script, por lo que no necesita modificar el archivo manualmente.
Este único comando hará lo siguiente:
- Crea todos los directorios necesarios
- Establecer permisos apropiados
- Construir e iniciar todos los contenedores Docker
- Supervisar los servicios para garantizar que funcionen correctamente
Acceder a DevDocs
Una vez que los servicios estén en ejecución:
Registros y monitoreo
Al utilizar Docker, se puede acceder a los registros:
- Registros de contenedores (recomendados para depuración):
# View logs from a specific container
docker logs devdocs-frontend
docker logs devdocs-backend
docker logs devdocs-mcp
docker logs devdocs-crawl4ai
# Follow logs in real-time
docker logs -f devdocs-backend
Para detener todos los servicios, presione Ctrl+C en la terminal donde se ejecuta docker-start.
📜 Los guiones y su propósito
DevDocs incluye varios scripts de utilidad para facilitar el desarrollo, las pruebas y el mantenimiento. Aquí tienes una referencia rápida:
Scripts de inicio
start.sh / start.bat / start.ps1 - Inicia todos los servicios (frontend, backend, MCP) para el desarrollo local.docker-start.sh / docker-start.bat : inicia todos los servicios que utilizan contenedores Docker.
Scripts del servidor MCP
check_mcp_health.sh : verifica el estado de configuración y salud del servidor MCP.restart_and_test_mcp.sh : reinicia los contenedores Docker con la configuración de MCP actualizada y prueba la conectividad.
Scripts de Crawl4AI
check_crawl4ai.sh - Verifica el estado y la salud del servicio Crawl4AI.debug_crawl4ai.sh : ejecuta Crawl4AI en modo de depuración con registro detallado para solucionar problemas.test_crawl4ai.py : ejecuta pruebas contra el servicio Crawl4AI para verificar la funcionalidad.test_from_container.sh : prueba el servicio Crawl4AI desde un contenedor Docker.
Scripts de utilidad
view_result.sh : muestra los resultados del rastreo en una vista formateada.find_empty_folders.sh : identifica directorios vacíos en la estructura del proyecto.analyze_empty_folders.sh : analiza carpetas vacías y las clasifica por nivel de riesgo.verify_reorganization.sh - Verificar que la reorganización del código fue exitosa.
Estos scripts están organizados en los siguientes directorios:
- Directorio raíz: Scripts principales para operaciones comunes
scripts/general/ : Scripts de utilidad generalscripts/docker/ : Scripts específicos de Dockerscripts/mcp/ : Scripts de administración del servidor MCPscripts/test/ : Scripts de prueba y verificación
Creado por desarrolladores, para desarrolladores
DevDocs es más que una herramienta: es su compañero de documentación que:
- Ahorra tiempo : convierte semanas de investigación en horas
- Mejora la comprensión : obtenga documentación limpia y organizada
- Permite la innovación : construye más rápido con cualquier tecnología
- Apoya a los equipos : comparte conocimientos de manera eficiente
- LISTO PARA LLM : Los tiempos modernos requieren soluciones modernas. Usar Devdocs con LLM es extremadamente fácil e intuitivo. Con una configuración mínima, puede ejecutar Devdocs y la aplicación Claude, y el servidor MCP de DevDocs está listo para interactuar con sus datos.
🛠️ Configuración de Cline/Roo Cline para el desarrollo rápido de software.
- Abra la interfaz "Modos"
- En Roo Code , haga clic en + para crear nuevas indicaciones específicas del modo.
- Nombre
- Dale un nombre al modo (por ejemplo,
Research_MCP ).
- Indicación de definición de rol
Expertise and Personality: Expertise: Developer documentation retrieval, technical synthesis, and documentation search. Personality: Systematic, detail-oriented, and precise. Provide well-structured answers with clear references to documentation sections.
Behavioral Mandate: Always use the Table Of Contents and Section Access tools when addressing any query regarding the MCP documentation. Maintain clarity, accuracy, and traceability in your responses.
- Aviso de instrucciones personalizadas específicas del modo
1. Table Of Contents Tool: Returns a full or filtered list of documentation topics.
2. Section Access Tool: Retrieves the detailed content of specific documentation sections.
General Process: Query Interpretation: Parse the user's query to extract key topics, keywords, and context. Identify the likely relevant sections (e.g., API configurations, error handling) from the query.
Discovery via Table Of Contents: Use the Table Of Contents tool to search the documentation index for relevant sections. Filter or scan titles and metadata for matching keywords.
Drill-Down Using Section Access: For each identified relevant document or section, use the Section Access tool to retrieve its content. If multiple parts are needed, request all related sections to ensure comprehensive coverage.
Synthesis and Response Formation: Combine the retrieved content into a coherent and complete answer. Reference section identifiers or document paths for traceability. Validate that every aspect of the query has been addressed.
Error Handling: If no matching sections are found, adjust the search parameters and retry. Clearly report if the query remains ambiguous or if no relevant documentation is available.
Mandatory Tool Usage:
Enforcement: Every time a query is received that requires information from the MCP server docs, the agent MUST first query the Table Of Contents tool to list potential relevant topics, then use the Section Access tool to retrieve the necessary detailed content.
Search & Retrieve Workflow:
Interpret and Isolate: Identify the key terms and data points from the user's query.
Index Lookup: Immediately query the Table Of Contents tool to obtain a list of relevant documentation sections.
Targeted Retrieval: For each promising section, use the Section Access tool to get complete content.
Information Synthesis: Merge the retrieved content, ensuring all necessary details are included and clearly referenced.
Fallback and Clarification: If initial searches yield insufficient data, adjust the query parameters and retrieve additional sections as needed.
Custom Instruction Loading: Additional custom instructions specific to Research_MCP mode may be loaded from the .clinerules-research-mcp file in your workspace. These may include further refinements or constraints based on evolving documentation structures or query types.
Final Output Construction: The final answer should be organized, directly address the query, and include clear pointers (e.g., section names or identifiers) back to the MCP documentation. Ensure minimal redundancy while covering all necessary details.
🤝 Únete a nuestra comunidad
🏆 Historias de éxito
DevDocs redujo nuestro cronograma de implementación de 3 semanas a 2 días. No es solo un rastreador, es un acelerador de desarrollo. - Ingeniero sénior en una empresa de Fortune 100
Lancé mi SaaS en la mitad del tiempo usando DevDocs para comprender e implementar nuevas tecnologías rápidamente. - Hacker independiente exitoso
Hoja de ruta de DevDocs
Esta hoja de ruta describe las próximas mejoras y funciones planificadas para DevDocs, nuestra plataforma avanzada de rastreo web impulsada por Crawl4AI. Cada elemento está diseñado para aprovechar al máximo las capacidades de Crawl4AI, garantizando una experiencia de rastreo web robusta, eficiente y fácil de usar.
⸻
1. Lógica de rastreo mejorada para contenido dinámico
- Implemente
wait_for_images=True para garantizar que todas las imágenes estén completamente cargadas antes de la extracción. - Establezca
scan_full_page=True para forzar al rastreador a desplazarse por toda la página, activando así la carga diferida de contenido. - Introduzca
scroll_delay para agregar retrasos entre los pasos de desplazamiento, permitiendo que el contenido se cargue correctamente. - Incorpore parámetros
wait_for para esperar elementos DOM específicos que indiquen la finalización de la carga del contenido.
2. Carga en caliente con agrupación de navegadores
- Implemente un grupo de instancias de navegador precalentadas para evitar la sobrecarga de iniciar un nuevo navegador para cada tarea.
- Utilice
use_persistent_context=True para mantener los datos de la sesión en todas las tareas, lo que reduce la necesidad de inicios de sesión y configuraciones repetidos.
3. Contenedores Docker renovados con la última integración de DevDocs
- Actualice las imágenes de Docker para incorporar las últimas características y optimizaciones de DevDocs.
- Incluya variables de entorno para tokens de API (
CRAWL4AI_API_TOKEN ) para proteger los puntos finales de API. - Establezca límites de memoria y restricciones de recursos adecuados para optimizar el rendimiento.
4. Compatibilidad con instancias Docker en varios sistemas operativos
- Cree imágenes de Docker para diferentes arquitecturas (por ejemplo,
x86_64 , ARM ) para admitir una amplia gama de sistemas. - Implemente pipelines de CI/CD para crear y probar imágenes en múltiples entornos de SO, garantizando la compatibilidad y la estabilidad.
5. Gateo adaptable a la memoria
- Integre
MemoryAdaptiveDispatcher de DevDocs para ajustar dinámicamente la concurrencia en función de la disponibilidad de memoria del sistema. - Implemente una limitación de velocidad incorporada para evitar saturar los sitios web de destino y evitar errores de falta de memoria.
- Utilice la capacidad de DevDocs para exportar páginas como PDF (
pdf=True ) y extraer contenido de ellas. - Desarrollar componentes frontend para gestionar cargas de PDF, mostrar contenido extraído y permitir que los usuarios interactúen con los datos.
7. Entorno alojado con almacenamiento persistente y experiencia de usuario mejorada
- Implemente soluciones de bases de datos BYO para almacenar datos de forma privada, rastrear resultados y configuraciones en todas las sesiones.
- Diseñe paneles e interfaces intuitivos para que los usuarios administren sus rastreos, vean resultados y configuren ajustes.
- Asegúrese de que el diseño sea adaptable y tenga accesibilidad en distintos navegadores.
Historia de las estrellas