agentfetch-mcp

Веб-интеллект для ИИ-агентов — MCP-сервер, который загружает URL-адреса с функциями оценки токенов, умного кэширования и интеллектуальной маршрутизации.

AgentFetch выступает посредником между вашим агентом и открытым интернетом. Вместо того чтобы отдельно интегрировать Jina, FireCrawl, pypdf и собственный уровень кэширования, агенты вызывают один MCP-инструмент, а AgentFetch автоматически берет на себя маршрутизацию, кэширование, бюджетирование токенов и извлечение чистого Markdown.

Этот репозиторий содержит MCP-сервер с открытым исходным кодом. Информацию о хостинг-версии API, панели управления и биллинге можно найти на сайте www.agentfetch.dev.

Что он делает

Внутри AgentFetch направляет URL-адреса к наиболее эффективному и экономичному инструменту загрузки:

• Trafilatura (бесплатно, локально) для ~70% стандартных веб-страниц

• Jina Reader для остального HTML

• FireCrawl для страниц с активным использованием JS (Twitter/X, LinkedIn, Notion и т.д.)

• pypdf для PDF-файлов (без внешних затрат)

Кэш реализован на Redis с TTL 6 часов; вы можете использовать свой собственный или работать без кэширования.

Related MCP server: Fetch MCP Server

Быстрый старт

Установка из PyPI

pip install agentfetch-mcp

Или клонирование и локальная установка

git clone https://github.com/bch1212/agentfetch-mcp
cd agentfetch-mcp
pip install -e .

Установка переменных окружения

Получите бесплатный ключ Jina Reader на сайте jina.ai (бесплатный уровень: 1 млн токенов/мес). FireCrawl является опциональным, но рекомендуется для страниц с активным использованием JS.

export JINA_API_KEY=jina_xxx
export FIRECRAWL_API_KEY=fc-xxx       # optional
export REDIS_URL=redis://localhost:6379  # optional

Добавление в Claude Desktop или Claude Code

Отредактируйте конфигурацию MCP (~/Library/Application Support/Claude/claude_desktop_config.json в macOS или выполните claude mcp add в Claude Code):

{
  "mcpServers": {
    "agentfetch": {
      "command": "python",
      "args": ["-m", "agentfetch.mcp.server"],
      "env": {
        "JINA_API_KEY": "jina_xxx",
        "FIRECRAWL_API_KEY": "fc-xxx"
      }
    }
  }
}

Перезапустите Claude. Четыре инструмента (fetch_url, estimate_tokens, fetch_multiple, search_and_fetch) появятся автоматически.

Запуск в качестве автономного сервера

python -m agentfetch.mcp.server

Сервер использует протокол MCP через stdio (стандартный транспорт для интеграций с рабочим столом).

Почему агенты предпочитают AgentFetch обычному web_fetch

Примеры

Загрузка с бюджетом токенов

# Inside any MCP-aware agent (Claude Desktop, Claude Code, etc.)
result = fetch_url(
    url="https://news.ycombinator.com",
    max_tokens=2000,           # cap response size
    use_cache=True,            # serve from cache if <6h old
)
# result.markdown      → clean Markdown, ≤2000 tokens
# result.metadata      → title, author, word_count, language
# result.cache.hit     → True if served from cache
# result.fetch_info    → which fetcher ran, cost, duration

Оценка перед выполнением

estimate = estimate_tokens(url="https://very-long-article.com")
if estimate.estimated_tokens and estimate.estimated_tokens < 5000:
    result = fetch_url(url="https://very-long-article.com")
else:
    # too big — skip or summarize via search_and_fetch with max_tokens_each
    pass

Параллельная загрузка

results = fetch_multiple(
    urls=["https://docs.python.org/3/", "https://fastapi.tiangolo.com/", ...],
    max_tokens_each=1500,
)

Конфигурация

Разработка

git clone https://github.com/bch1212/agentfetch-mcp
cd agentfetch-mcp
pip install -e ".[dev]"
pytest tests/

Хостинг-версия

Если вы не хотите самостоятельно управлять ключами, Redis или маршрутизацией, хостинг-версия на www.agentfetch.dev предлагает:

• Оплату за вызов от $0.001/загрузку

• 500 бесплатных загрузок при регистрации, без кредитной карты

• Управляемый кэш Redis, автоматическое переключение между инструментами загрузки

• Панель управления с отслеживанием использования + счета

Хостинг-версия API является готовой REST-альтернативой — те же форматы ответов, та же логика маршрутизации. Вы можете запускать OSS MCP локально и хостинг-версию API параллельно или переключаться между ними в любое время.

Лицензия

MIT — см. LICENSE.

MCP-сервер в этом репозитории является открытым исходным кодом. Продукт, биллинг и инфраструктура находятся в отдельном (за