Crawl4AI MCP Server

# Crawl4AI DXT Package - Final Release v1.0.7

## 🎉 最終安定版リリース

この **`dxt-packages`** ディレクトリには、完全にテスト済みで本番環境対応のCrawl4AI DXT Package v1.0.7が含まれています。

## 📁 DXTパッケージディレクトリ構成

```
dxt-packages/
├── FINAL_RELEASE_NOTES.md      # このファイル
└── crawl4ai-dxt-correct/       # DXTパッケージ一式
    ├── crawl4ai-dxt-correct.dxt  # 🎯 Claude Desktop用インストールファイル
    ├── manifest.json             # DXT設定ファイル
    ├── README.md                 # ユーザー向けドキュメント
    ├── requirements.txt          # 依存関係
    └── server/                   # サーバー実装
```

## 📦 パッケージ内容

### メインファイル
- **`crawl4ai-dxt-correct.dxt`** (119.8kB) - Claude Desktop用インストールファイル
- **`manifest.json`** - DXT設定ファイル（公式仕様v0.1準拠）
- **`README.md`** - ユーザー向け完全ドキュメント
- **`requirements.txt`** - Python依存関係リスト

### サーバー実装
```
server/
├── main.py                  # DXTエントリーポイント（自動依存関係インストール機能付き）
└── crawl4ai_mcp/           # MCPサーバー実装
    ├── __init__.py          # モジュール初期化とツール選択ガイド
    ├── server.py           # メインMCPサーバー（19ツール + 4プロンプト）
    ├── config.py           # 設定管理とLLM統合
    ├── file_processor.py   # PDF/Office文書処理（MarkItDown統合）
    ├── youtube_processor.py # YouTube字幕抽出（認証不要）
    ├── google_search_processor.py # Google検索統合
    ├── strategies.py       # クローリング戦略
    └── suppress_output.py  # 出力制御
```

## 🛠️ 主要機能

### 🚀 **完全JavaScript対応**
- **React、Vue、Angular SPA**完全サポート
- **動的コンテンツローディング**自動対応
- **カスタムJavaScript実行**機能
- **人間的ブラウジングシミュレーション**

### Webクローリング
- **高度なクローリング**: 完全JavaScript実行、深度制御、複数戦略
- **インテリジェント抽出**: AI搭載コンテンツ分析
- **バッチ処理**: 複数URL並列処理（制御付き）
- **自動復旧**: 依存関係エラー時の自動修復

### コンテンツ処理
- **YouTube字幕**: 認証不要、多言語対応、バッチ処理（安定版）
- **ファイル処理**: PDF、Office、ZIP→Markdown変換（自動復旧機能）
- **エンティティ抽出**: メール、電話、URL等のパターン抽出

### 検索・分析
- **Google検索**: 31ジャンルフィルタリング
- **統合分析**: 検索+クローリング+分析の一括処理
- **構造化抽出**: CSS/XPath/LLMベース

## ✅ 技術的達成

### DXT仕様完全準拠
- ✅ `dxt_version: "0.1"` 公式仕様対応
- ✅ `${__dirname}` 変数によるパス解決
- ✅ セキュアなユーザー設定管理（`sensitive: true`）
- ✅ クロスプラットフォーム対応（Windows/macOS/Linux）

### FastMCP完全互換性
- ✅ `@mcp.tool()` デコレータ（19個修正）
- ✅ `@mcp.prompt()` デコレータ（4個修正）
- ✅ `@mcp.resource()` デコレータ（3個確認済み）

### 自動化機能
- ✅ 依存関係自動インストール（強化版）
- ✅ PDF処理エラー自動復旧機能
- ✅ MarkItDown実行時依存関係解決
- ✅ エラー回復とリトライ機能
- ✅ 詳細なログとトラブルシューティング

## 📈 バージョン履歴

| バージョン | 解決した問題 | ファイルサイズ |
|-----------|-------------|-------------|
| v1.0.1-1.0.3 | DXTパス解決エラー | ~120kB |
| v1.0.4 | DXT公式仕様準拠 | 118.1kB |
| v1.0.5 | 依存関係自動インストール | 119.6kB |
| v1.0.6 | FastMCP @tool()互換性 | 119.7kB |
| **v1.0.7** | **PDF処理エラー自動復旧機能** | **120.4kB** |

## 🚀 インストール手順

### 1. Claude Desktopでのインストール
1. `crawl4ai-dxt-correct.dxt` をダウンロード
2. Claude Desktop の拡張機能マネージャーを開く
3. DXTファイルをドラッグ&ドロップ
4. 自動的に依存関係がインストールされる
5. 完了！

### 2. 設定（オプション）
Claude Desktop設定で以下を設定可能：
- OpenAI API Key（LLM機能強化）
- Anthropic API Key（Claude統合）
- Google API Key（検索機能強化）
- ログレベル（DEBUG/INFO/WARNING/ERROR）

## 🎯 期待される動作

```
✅ Starting Crawl4AI MCP Server (DXT Package v1.0.7)
✅ Platform: Windows 10 (64bit)
✅ Python version: 3.10.11
✅ API Keys status: {'OpenAI': 'configured', 'Anthropic': 'configured', 'Google': 'configured'}
✅ Starting MCP server...
✅ Server ready! All 19 tools and 4 prompts loaded successfully.
```

## 📚 ドキュメント

- **DXT_CREATION_GUIDE.md** - DXTパッケージ作成の完全ガイド
- **DXT_TROUBLESHOOTING_GUIDE.md** - 問題解決とデバッグ手順
- **README.md** - ユーザー向け使用説明書

## 🔗 関連リンク

- **開発者**: [walksoda](https://github.com/walksoda/crawl-mcp)
- **ベースライブラリ**: [unclecode's crawl4ai](https://github.com/unclecode/crawl4ai)
- **DXT仕様**: [Anthropic DXT](https://github.com/anthropics/dxt)

## 📄 ライセンス

MIT License

---

**この v1.0.7 は本番環境対応の最終安定版です。**  
すべての既知の問題が解決され、完全にテスト済みです。