agentfetch-mcp

AIエージェントのためのWebインテリジェンス — トークン見積もり、スマートキャッシュ、インテリジェントなルーティングを内蔵した、URL取得用MCPサーバーです。

AgentFetchは、エージェントとオープンWebの間に位置します。Jina、FireCrawl、pypdf、独自のキャッシュ層を個別に統合する代わりに、エージェントは1つのMCPツールを呼び出すだけで、AgentFetchがルーティング、キャッシュ、トークン予算管理、クリーンなMarkdown抽出を自動的に処理します。

このリポジトリにはオープンソースのMCPサーバーが含まれています。ホスト型API + ダッシュボード + 課金については、www.agentfetch.dev を参照してください。

機能

内部では、AgentFetchはURLを最も安価で効果的なフェッチャーにルーティングします：

• Trafilatura (無料、ローカル): 標準的なWebページの約70%に使用

• Jina Reader: その他のHTML用

• FireCrawl: JSを多用するページ（Twitter/X、LinkedIn、Notionなど）用

• pypdf: PDF用（外部コストゼロ）

キャッシュは6時間のTTLを持つRedisです。独自のものを使用することも、キャッシュなしで実行することも可能です。

Related MCP server: Fetch MCP Server

クイックスタート

PyPIからインストール

pip install agentfetch-mcp

またはクローンしてローカルにインストール

git clone https://github.com/bch1212/agentfetch-mcp
cd agentfetch-mcp
pip install -e .

環境変数の設定

jina.ai で無料のJina Readerキーを取得してください（無料枠で月間100万トークン）。FireCrawlはオプションですが、JSを多用するページには推奨されます。

export JINA_API_KEY=jina_xxx
export FIRECRAWL_API_KEY=fc-xxx       # optional
export REDIS_URL=redis://localhost:6379  # optional

Claude DesktopまたはClaude Codeに追加

MCP設定を編集します（macOSの場合は ~/Library/Application Support/Claude/claude_desktop_config.json、またはClaude Codeで claude mcp add を実行）：

{
  "mcpServers": {
    "agentfetch": {
      "command": "python",
      "args": ["-m", "agentfetch.mcp.server"],
      "env": {
        "JINA_API_KEY": "jina_xxx",
        "FIRECRAWL_API_KEY": "fc-xxx"
      }
    }
  }
}

Claudeを再起動します。4つのツール（fetch_url、estimate_tokens、fetch_multiple、search_and_fetch）が自動的に表示されます。

スタンドアロンサーバーとして実行

python -m agentfetch.mcp.server

サーバーはstdio（デスクトップ統合の標準トランスポート）経由でMCPと通信します。

なぜエージェントは汎用的なWebフェッチよりもAgentFetchを好むのか

例

トークン予算を指定して取得

# Inside any MCP-aware agent (Claude Desktop, Claude Code, etc.)
result = fetch_url(
    url="https://news.ycombinator.com",
    max_tokens=2000,           # cap response size
    use_cache=True,            # serve from cache if <6h old
)
# result.markdown      → clean Markdown, ≤2000 tokens
# result.metadata      → title, author, word_count, language
# result.cache.hit     → True if served from cache
# result.fetch_info    → which fetcher ran, cost, duration

実行前に見積もる

estimate = estimate_tokens(url="https://very-long-article.com")
if estimate.estimated_tokens and estimate.estimated_tokens < 5000:
    result = fetch_url(url="https://very-long-article.com")
else:
    # too big — skip or summarize via search_and_fetch with max_tokens_each
    pass

並行取得

results = fetch_multiple(
    urls=["https://docs.python.org/3/", "https://fastapi.tiangolo.com/", ...],
    max_tokens_each=1500,
)

設定

開発

git clone https://github.com/bch1212/agentfetch-mcp
cd agentfetch-mcp
pip install -e ".[dev]"
pytest tests/

ホスト型バージョン

独自のキー、Redis、ルーティングを管理したくない場合は、www.agentfetch.dev のホスト型バージョンが以下を提供します：

• 1取得あたり$0.001からの従量課金制

• サインアップ時に500回の無料取得、クレジットカード不要

• 管理されたRedisキャッシュ、フェッチャー間の自動フェイルオーバー

• 使用状況追跡 + 請求書付きダッシュボード

ホスト型APIはドロップインのREST互換です。レスポンス形式やルーティングロジックは同じです。OSS MCPをローカルで実行しつつホスト型APIを並行して使用したり、いつでもそれらの間で移行したりできます。

ライセンス

MIT — LICENSE を参照してください。

このリポジトリのMCPサーバーはオープンソースです。ホスト型製品、課金、運用インフラは別の（プライベート）リポジトリにあります。

貢献

プルリクエストを歓迎します。新しいフェッチャー（Bright Data、ScrapingBeeなど）を追加する場合は、agentfetch/core/fetchers/__init__.py の FetchResult インターフェースに合わせ、ルーティングロジックにコストを追加してください。