CyberAGI による DevDocs 🚀

🚀 テクノロジーパートナー

🎯 最適です

🏢 エンタープライズソフトウェア開発者

数週間にわたるドキュメントの読み込みと技術的負債への対処を省きましょう。DevDocsにドキュメント理解という重労働を任せることで、あらゆるテクノロジーをより迅速に実装できます。

🕸️ ウェブスクレイパー

レベル 5 までの子 URL のスマート検出により、Web サイトのコンテンツ全体を取得します。インテリジェントなクロールにより、内部および外部の Web サイトのドキュメント化に最適です。

👥 開発チーム

組み込みのMCPサーバーとClaude統合により、社内ドキュメントを活用し、インテリジェントなデータクエリを実現します。チームのナレッジベースを実用的なリソースへと変換します。

🚀 インディーハッカー

DevDocs + VSCode(cline) + あなたのアイデア = あらゆるテクノロジーを使って、製品を迅速にリリース。次の大きなプロジェクトを開発する際に、ドキュメント作成の地獄に陥ることはもうありません。

✨ 特徴

🧠 インテリジェントクロール

• スマート深度コントロール: 1～5 段階の深度から潜行深度を選択

• 自動リンク検出:関連するすべてのコンテンツを検索して分類します

• 選択的クロール：抽出したいものを正確に選択

• 子 URL 検出: ウェブサイトの構造を自動的に検出してマッピングします

⚡ パフォーマンスとスピード

• 並列処理: 複数のページを同時にクロールする

• スマートキャッシング：重複コンテンツに時間を無駄にしない

• 遅延読み込みサポート: 最新のウェブアプリを簡単に処理します

• レート制限: サーバーに過負荷をかけない丁寧なクロール

🎯 コンテンツ処理

• クリーン抽出：余分なものを省いたコンテンツを取得

• 複数のフォーマット: LLM の微調整のために MD または JSON にエクスポート

• 構造化された出力：論理的に整理されたコンテンツ

• MCPサーバー統合：AI処理に対応

🛡️ エンタープライズ機能

• エラー回復: 失敗時の自動再試行

• 完全なログ記録：すべての操作を追跡

• APIアクセス: ツールとの統合

• チーム管理：複数の席と役割

🤔 なぜ DevDocs なのか?

問題

ドキュメントは至る所にあり、法学修士（LLM）の知識は時代遅れです。ドキュメントを読み、理解し、実装するには、上級エンジニアでさえ数週間の研究開発が必要です。私たちはその時間を数時間に短縮します。

私たちのソリューション

DevDocsはドキュメントをお届けします。任意の技術ドキュメントのURLを指定するだけで、次のような表示が見られます。

1. その技術に関連するすべてのページを検出します

2. 無駄な情報を排除して意味のあるコンテンツを抽出する

3. MCPサーバー内で情報を論理的に整理し、LLMがクエリできるように準備します。

4. LLM の目的を微調整するために、MD または JSON でクリーンで検索可能な形式で提示します。

🔥 私たちは、世界中の誰もが最先端の LLM テクノロジーを使用して素晴らしい製品を迅速に構築できるようにしたいと考えています。

💰 価格比較

🚀 はじめに

DevDocs は Docker で簡単に使用できるように設計されており、新しいユーザーは最小限のセットアップで済みます。

前提条件

• システムにDockerがインストールされている

• リポジトリのクローンを作成するためのGit

Docker のクイックスタート (推奨)

Mac/Linux ユーザーの場合:

Windows ユーザー向け: 実験的機能のみ (まだテストされていません)

権限に関する問題が発生した場合、スクリプトを管理者として実行するか、logs、storage、crawl_resultsディレクトリの権限を手動で設定する必要がある場合があります。スクリプトはicaclsコマンドを使用して権限を設定するため、一部のWindowsシステムでは昇格した権限が必要になる場合があります。

Windows で権限を手動で設定する:

権限を手動で設定する必要がある場合は、Windows GUI またはコマンド ラインを使用して設定できます。

Windowsエクスプローラーの使用:

1. 各ディレクトリ（logs、storage、crawl_results）を右クリックします。

2. 「プロパティ」を選択

3. 「セキュリティ」タブに移動します

4. 権限を変更するには「編集」をクリックしてください

5. 「追加」をクリックしてユーザー/グループを追加します

6. 「Everyone」と入力し、「名前を確認」をクリックします

7. 「OK」をクリック

8. リストから「全員」を選択します

9. 「許可」の下の「フルコントロール」にチェックを入れます

10. 「適用」と「OK」をクリックします

コマンドプロンプトを使用する（管理者として） ：

icacls logs /grant Everyone:F /T icacls storage /grant Everyone:F /T icacls crawl_results /grant Everyone:F /T

docker-compose.yml ファイルで問題（「トップレベルオブジェクトはマッピングである必要があります」エラーなど）が発生した場合、 docker-start.batスクリプトはファイルの形式とエンコーディングが正しいことを確認することで自動的に修正します。この修正はスクリプトを実行するたびに適用されるため、ファイルを手動で変更する必要はありません。

この単一のコマンドは次のことを行います。

1. 必要なディレクトリをすべて作成する

2. 適切な権限を設定する

3. すべてのDockerコンテナをビルドして起動する

4. サービスが適切に実行されているか監視する

DevDocsへのアクセス

サービスが実行されたら:

• フロントエンド UI: http://localhost:3001

• バックエンド API: http://localhost:24125

• Crawl4AI サービス: http://localhost:11235

ログと監視

Docker を使用する場合、ログにアクセスできます。

1. コンテナ ログ(デバッグに推奨):

   # View logs from a specific container docker logs devdocs-frontend docker logs devdocs-backend docker logs devdocs-mcp docker logs devdocs-crawl4ai # Follow logs in real-time docker logs -f devdocs-backend

すべてのサービスを停止するには、docker-start が実行されているターミナルでCtrl+Cを押します。

📜 スクリプトとその目的

DevDocsには、開発、テスト、メンテナンスに役立つさまざまなユーティリティスクリプトが含まれています。以下にクイックリファレンスを示します。

起動スクリプト

• start.sh / start.bat / start.ps1 - ローカル開発用のすべてのサービス (フロントエンド、バックエンド、MCP) を開始します。

• docker-start.sh / docker-start.bat - Docker コンテナを使用してすべてのサービスを開始します。

MCP サーバー スクリプト

• check_mcp_health.sh - MCP サーバーの健全性と構成ステータスを確認します。

• restart_and_test_mcp.sh - 更新された MCP 構成で Docker コンテナを再起動し、接続をテストします。

Crawl4AI スクリプト

• check_crawl4ai.sh - Crawl4AI サービスのステータスと健全性をチェックします。

• debug_crawl4ai.sh - トラブルシューティングのために、詳細なログ記録を伴うデバッグ モードで Crawl4AI を実行します。

• test_crawl4ai.py - Crawl4AI サービスに対してテストを実行し、機能を検証します。

• test_from_container.sh - Docker コンテナ内から Crawl4AI サービスをテストします。

ユーティリティスクリプト

• view_result.sh - クロール結果をフォーマットされたビューで表示します。

• find_empty_folders.sh - プロジェクト構造内の空のディレクトリを識別します。

• analyze_empty_folders.sh - 空のフォルダーを分析し、リスク レベル別に分類します。

• verify_reorganization.sh - コードの再編成が成功したことを確認します。

これらのスクリプトは次のディレクトリに整理されています。

• ルートディレクトリ: 共通操作のメインスクリプト

• scripts/general/ : 一般的なユーティリティスクリプト

• scripts/docker/ : Docker固有のスクリプト

• scripts/mcp/ : MCP サーバー管理スクリプト

• scripts/test/ : テストおよび検証スクリプト

🌍 開発者による、開発者のための開発

DevDocs は単なるツールではありません。次のような機能を備えたドキュメント作成ツールです。

• 時間を節約：数週間の調査を数時間で完了

• 理解の向上：整理されたわかりやすいドキュメントを作成する

• イノベーションを可能に: あらゆるテクノロジーでより速く構築

• チームをサポート：知識を効率的に共有

• LLM対応：現代社会には最新のソリューションが求められます。DevdocsとLLMの組み合わせは非常に簡単で直感的です。最小限の設定でDevdocsとClaude Appを実行でき、DevDocsのMCPサーバーを認識してデータとやり取りできるようになります。

🛠️ 迅速なソフトウェア開発のために Cline/Roo Cline をセットアップします。

1. 「モード」インターフェースを開く

   • Roo Codeで、 **+**をクリックして新しいモード固有のプロンプトを作成します。

2. 名前

   • モードに名前を付けます (例: Research_MCP )。

3. 役割定義プロンプト

4. モード固有のカスタム指示プロンプト

🤝 コミュニティに参加する

• 🌟 GitHub でスターを付けてください

• 👋🏽 LinkedInで創設者に連絡を取る

• 💬 Discordコミュニティに参加する

🏆 成功事例

「DevDocsのおかげで、3週間かかっていた実装期間が2日に短縮されました。これは単なるクローラーではなく、開発を加速させるツールです。」 - Fortune 100企業のシニアエンジニア

「DevDocsを活用して新しいテクノロジーを素早く理解し、実装することで、SaaSを半分の時間で立ち上げることができました。」 -成功したインディーハッカー

🛣️ DevDocs ロードマップ

このロードマップでは、Crawl4AIを搭載した高度なウェブクローリングプラットフォームであるDevDocsに今後予定されている機能強化と新機能の概要を説明します。各項目はCrawl4AIの機能を最大限に活用し、堅牢で効率的、そしてユーザーフレンドリーなウェブクローリング体験を実現するように設計されています。

⸻

1. 動的コンテンツ向けの強化されたクローラーロジック

• 抽出前にすべての画像が完全に読み込まれるようにするにはwait_for_images=Trueを実装します。

• scan_full_page=Trueを設定すると、クローラーがページ全体をスクロールして、遅延読み込みコンテンツをトリガーするようになります。

• scroll_delayを導入して、スクロール ステップ間に遅延を追加し、コンテンツが適切に読み込まれるようにします。

• コンテンツの読み込み完了を示す特定の DOM 要素を待機するためにwait_forパラメータを組み込みます。

2. ブラウザプーリングによるホットロード

• 各タスクごとに新しいブラウザを起動するオーバーヘッドを回避するために、事前にウォーミングアップされたブラウザ インスタンスのプールを実装します。

• use_persistent_context=Trueを使用すると、タスク間でセッション データを維持し、繰り返しログインやセットアップを行う必要性が減ります。

3. 最新のDevDocs統合によるDockerコンテナの刷新

• 最新の DevDocs 機能と最適化を組み込むために Docker イメージを更新します。

• API エンドポイントを保護するために、API トークン ( CRAWL4AI_API_TOKEN ) の環境変数を含めます。

• パフォーマンスを最適化するには、適切なメモリ制限とリソース制約を設定します。

4. マルチOS Dockerインスタンスのサポート

• さまざまなアーキテクチャ (例: x86_64 、 ARM ) 用の Docker イメージを作成して、幅広いシステムをサポートします。

• CI/CD パイプラインを実装して、複数の OS 環境にわたってイメージを構築およびテストし、互換性と安定性を確保します。

5. メモリ適応型クロール

• DevDocs のMemoryAdaptiveDispatcherを統合して、システム メモリの可用性に基づいて同時実行性を動的に調整します。

• 組み込みのレート制限を実装して、ターゲット Web サイトの過負荷を防ぎ、メモリ不足エラーを回避します。

6. UIでのPDFのアップロードと抽出

• DevDocs の機能を利用してページを PDF ( pdf=True ) としてエクスポートし、そこからコンテンツを抽出します。

• PDF のアップロードを処理し、抽出されたコンテンツを表示し、ユーザーがデータを操作できるようにするためのフロントエンド コンポーネントを開発します。

7. 永続ストレージと強化されたUXを備えたホスト環境

• BYO データベース ソリューションを実装して、データを非公開に保存し、結果や構成をセッション間でクロールします。

• ユーザーがクロールを管理し、結果を表示し、設定を構成できるように、直感的なダッシュボードとインターフェースを設計します。

• さまざまなブラウザ間でのレスポンシブなデザインとアクセシビリティを確保します。

スターの歴史