webfetch

Уровень изображений с приоритетом лицензий для ИИ-агентов и людей.

Один MCP-сервер, один CLI и один HTTP-сервер, которые объединяют 25 провайдеров изображений, ранжируют результаты по лицензии и по умолчанию отклоняют результаты с лицензией UNKNOWN. Любой агент, поддерживающий MCP (Claude Code, Cursor, Cline, Continue, Roo Code, Codex), подключается одной строкой конфигурации. Лендинг, цены и облачное использование доступны на getwebfetch.com.

Установка

Установщик curl | bash также идемпотентно добавляет webfetch в ~/.claude/settings.json для Claude Code. Запускайте повторно в любое время для обновления.

Related MCP server: Multimodal MCP

Использование за 30 секунд

CLI:

webfetch search "drake portrait" --limit 5
webfetch artist "Taylor Swift" --kind portrait --min-width 1200
webfetch download <url> --out ./portrait.jpg
printf "drake portrait\nradiohead album\n" | webfetch batch --jsonl --continue-on-error

MCP (изнутри любого агента, поддерживающего MCP):

search_images({ query: "drake portrait", limit: 5 })
search_artist_images({ artist: "Taylor Swift", kind: "portrait" })
download_image({ url: "..." })

Библиотека TypeScript:

import { searchArtistImages, pickBest, downloadImage } from "webfetch-core";

const { candidates } = await searchArtistImages("Drake", "portrait");
const best = pickBest(candidates, { minWidth: 1200 });
if (best) {
  const { cachedPath, sha256 } = await downloadImage(best.url);
  console.log(best.attributionLine, "->", cachedPath);
}

Какую проблему это решает

Ручной поиск изображений имеет четыре режима сбоя:

1. Вы не знаете лицензию, поэтому не можете безопасно использовать результат.

2. Это нельзя автоматизировать — каждый новый сайт требует отдельной настройки.

3. API поиска изображений Google закрыт; парсинг ненадежен и находится в «серой» зоне условий использования.

4. Нет общего кэша — вы скачиваете один и тот же файл десятки раз.

webfetch решает все четыре проблемы, объединяя API прямых источников, имеющих стабильные условия и структурированные метаданные лицензий, ранжируя кандидатов по приоритету лицензии и предоставляя результат как единый инструмент MCP.

Провайдеры

См. docs/PROVIDERS.md для информации об ограничениях и docs/PROVIDER_TUNING.md для выбора провайдеров под конкретные задачи.

Локальный и облачный режимы

CLI ориентирован на локальное использование: по умолчанию webfetch search, artist, album, download, probe, license и batch вызывают webfetch-core внутри процесса и используют ключи API провайдеров из вашего окружения. Используйте --cloud или установите WEBFETCH_MODE=cloud для обращения к https://api.getwebfetch.com/v1/* с WEBFETCH_API_KEY или через webfetch config set apiKey wf_live_....

Используйте локальный режим, если хотите прямые вызовы провайдеров и локальный кэш. Используйте облачный режим для хостинга авторизации, пула ключей провайдеров, управляемого резервного браузера, учета использования или контроля доступа для команд.

Почему приоритет лицензий

Единственный результат, который мы отклоняем по умолчанию — это изображение, которое мы не можем обосновать. Фотография, которая чуть лучше, но с неизвестной лицензией, бесполезна для конвейера, который должен работать без участия человека. Релевантность легко оценить; происхождение — нет.

Ранжирование происходит по: тегу лицензии -> уверенности в метаданных -> разрешению -> приоритету провайдера. UNKNOWN отклоняется по умолчанию (Бернская конвенция: большая часть сети защищена авторским правом, если не доказано обратное). См. docs/LICENSE_POLICY.md.

Миграция: стоковые провайдеры CC0

Старые сборки webfetch обрабатывали Unsplash, Pexels и Pixabay как CC0. Текущие сборки явно указывают их платформенные условия:

Большинству пользователей следует оставить licensePolicy: "safe-only", так как это позволяет использовать открытые, платформенные, редакционные категории и пресс-киты, отклоняя при этом UNKNOWN. Конвейеры, требующие только активы Creative Commons или общественного достояния, должны использовать licensePolicy: "open-only" и обновить проверки типов для обработки трех платформенных тегов отдельно.

webfetch против альтернатив

Архитектура

                             +------------------+
                             |  webfetch-core  |
                             |  (ranker, cache, |
                             |   license coerce)|
                             +---------+--------+
                                       |
          +----------------+-----------+-----------+----------------+
          |                |                       |                |
  +-------v------+  +------v-------+       +-------v------+  +------v-------+
  | webfetch     |  | webfetch-mcp |       | webfetch-    |  | browser      |
  | CLI          |  | (stdio)      |       | server (HTTP)|  | extensions   |
  +-------+------+  +------+-------+       +-------+------+  +------+-------+
          |                |                       |                |
          |                |                       |                |
          +----------------+-----------+-----------+----------------+
                                       |
                 +---------------------v---------------------+
                 |              provider adapters            |
                 |  wikimedia  openverse  unsplash  pexels    |
                 |  pixabay    itunes     mb-caa    spotify   |
                 |  youtube    brave      bing      serpapi   |
                 |  flickr     nasa       met       europeana |
                 |  loc        wellcome   rawpixel  burst     |
                 |  browser + managed-browser + archival opt-in|
                 +-------------------------------------------+

Все интерфейсы используют общий ~/.webfetch/cache/, индексируемый по SHA-256, поэтому загрузка из CLI мгновенно доступна для MCP-сервера и наоборот.

Настройки безопасности по умолчанию

• licensePolicy: "safe-only" — разрешены открытые, платформенные и редакционные/пресс категории; UNKNOWN отклоняется.

• safeSearch: "strict".

• Опциональные провайдеры (youtube-thumb, bing, serpapi, browser, managed-browser, europeana-archival) по умолчанию выключены.

• Лимит 20 МБ на загрузку, проверка content-type, черный список хостов.

• robots.txt учитывается при проверке страниц.

Дорожная карта

• webfetch watch — демонический режим для повторяющихся запросов / инкрементального обновления.

• API плагинов для добавления своих провайдеров.

• Облачный уровень на getwebfetch.com — пул ключей провайдеров, управляемый резервный браузер, дашборд использования для команд.

Участие в разработке

Проблемы и PR приветствуются. Запустите bun install && bun test для начала. См. docs/ для документации по конкретным областям.

Лицензия

MIT.