webfetch

Die lizenzorientierte Bild-Ebene für KI-Agenten und Menschen.

Ein MCP-Server, ein CLI und ein HTTP-Server, die über 25 Bildanbieter föderieren, Ergebnisse nach Lizenzen priorisieren und UNKNOWN-Ergebnisse standardmäßig ablehnen. Jeder Agent, der MCP spricht (Claude Code, Cursor, Cline, Continue, Roo Code, Codex), lässt sich mit einer einzigen Konfigurationszeile anbinden. Landingpage, Preise und gehostete Nutzung finden Sie unter getwebfetch.com.

Installation

Das curl | bash-Installationsprogramm bindet webfetch außerdem idempotent in die ~/.claude/settings.json von Claude Code ein. Führen Sie es jederzeit erneut aus, um ein Update durchzuführen.

Related MCP server: Multimodal MCP

30-Sekunden-Nutzung

CLI:

webfetch search "drake portrait" --limit 5
webfetch artist "Taylor Swift" --kind portrait --min-width 1200
webfetch download <url> --out ./portrait.jpg
printf "drake portrait\nradiohead album\n" | webfetch batch --jsonl --continue-on-error

MCP (aus einem MCP-fähigen Agenten heraus):

search_images({ query: "drake portrait", limit: 5 })
search_artist_images({ artist: "Taylor Swift", kind: "portrait" })
download_image({ url: "..." })

TypeScript-Bibliothek:

import { searchArtistImages, pickBest, downloadImage } from "webfetch-core";

const { candidates } = await searchArtistImages("Drake", "portrait");
const best = pickBest(candidates, { minWidth: 1200 });
if (best) {
  const { cachedPath, sha256 } = await downloadImage(best.url);
  console.log(best.attributionLine, "->", cachedPath);
}

Welches Problem dies löst

Das manuelle Beschaffen eines Bildes hat vier Fehlerquellen:

1. Sie kennen die Lizenz nicht, daher können Sie das Ergebnis nicht sicher verwenden.

2. Sie können es nicht skripten – jede neue Website bedeutet einen weiteren Nachmittag Arbeit.

3. Die Google Image Search API wurde eingestellt; Scraping ist fehleranfällig und rechtlich in einer Grauzone.

4. Kein gemeinsamer Cache – Sie laden dieselbe Datei dutzende Male herunter.

webfetch behebt alle vier Probleme, indem es über APIs direkter Quellen föderiert, die stabile Bedingungen und strukturierte Lizenzmetadaten bieten, Kandidaten nach Lizenzen priorisiert und das Ergebnis als einzelnes MCP-Tool bereitstellt.

Anbieter

Siehe docs/PROVIDERS.md für Fallstricke, Ratenbegrenzungen und docs/PROVIDER_TUNING.md für Empfehlungen je nach Anwendungsfall.

Lokale und Cloud-Modi

Das CLI ist lokal orientiert: Standardmäßig rufen webfetch search, artist, album, download, probe, license und batch webfetch-core im Prozess auf und verwenden Anbieter-API-Schlüssel aus Ihrer Umgebung. Übergeben Sie --cloud oder setzen Sie WEBFETCH_MODE=cloud, um https://api.getwebfetch.com/v1/* mit WEBFETCH_API_KEY oder webfetch config set apiKey wf_live_... aufzurufen.

Verwenden Sie den lokalen Modus, wenn Sie direkte Anbieteraufrufe und einen lokalen Cache wünschen. Verwenden Sie den Cloud-Modus, wenn Sie gehostete Authentifizierung, gepoolte Anbieterschlüssel, Managed-Browser-Fallback, Nutzungsabrechnung oder Team-Kontrollen benötigen.

Warum lizenzorientiert?

Das einzige Ergebnis, das wir standardmäßig ablehnen, ist ein Bild, das wir nicht rechtfertigen können. Ein geringfügig besseres Foto unter einer unbekannten Lizenz ist wertlos für eine Pipeline, die ohne menschliche Überprüfung auskommen muss. Relevanz-Gleichstände sind leicht aufzulösen; Herkunftsnachweise nicht.

Die Sortierung erfolgt nach: Lizenz-Tag -> Metadaten-Konfidenz -> Auflösung -> Anbieter-Priorität. UNKNOWN wird standardmäßig abgelehnt (Berner Übereinkunft: Das meiste im Web ist urheberrechtlich geschützt, sofern nicht anders bewiesen). Siehe docs/LICENSE_POLICY.md.

Migration: CC0-Stock-Anbieter

Ältere webfetch-Builds behandelten Unsplash, Pexels und Pixabay als CC0. Aktuelle Builds legen deren Plattformbedingungen explizit offen:

Die meisten Aufrufer sollten licensePolicy: "safe-only" beibehalten, da dies weiterhin offene, Plattform-, redaktionelle und Presse-Kategorien erlaubt, während UNKNOWN abgelehnt wird. Pipelines, die nur Creative Commons oder Public-Domain-Assets benötigen, sollten licensePolicy: "open-only" verwenden und Typ-Wächter aktualisieren, um die drei Plattform-Tags separat zu behandeln.

webfetch vs. Alternativen

Architektur

                             +------------------+
                             |  webfetch-core  |
                             |  (ranker, cache, |
                             |   license coerce)|
                             +---------+--------+
                                       |
          +----------------+-----------+-----------+----------------+
          |                |                       |                |
  +-------v------+  +------v-------+       +-------v------+  +------v-------+
  | webfetch     |  | webfetch-mcp |       | webfetch-    |  | browser      |
  | CLI          |  | (stdio)      |       | server (HTTP)|  | extensions   |
  +-------+------+  +------+-------+       +-------+------+  +------+-------+
          |                |                       |                |
          |                |                       |                |
          +----------------+-----------+-----------+----------------+
                                       |
                 +---------------------v---------------------+
                 |              provider adapters            |
                 |  wikimedia  openverse  unsplash  pexels    |
                 |  pixabay    itunes     mb-caa    spotify   |
                 |  youtube    brave      bing      serpapi   |
                 |  flickr     nasa       met       europeana |
                 |  loc        wellcome   rawpixel  burst     |
                 |  browser + managed-browser + archival opt-in|
                 +-------------------------------------------+

Jede Oberfläche teilt sich ~/.webfetch/cache/, indiziert durch SHA-256, sodass ein Download aus dem CLI sofort für den MCP-Server verfügbar ist und umgekehrt.

Sicherheitsstandards

• licensePolicy: "safe-only" — offene, Plattform-Lizenz- und redaktionelle/Presse-Kategorien sind erlaubt; UNKNOWN wird abgelehnt.

• safeSearch: "strict".

• Opt-in-Anbieter (youtube-thumb, bing, serpapi, browser, managed-browser, europeana-archival) standardmäßig deaktiviert.

• 20 MB Limit pro Download, Content-Type-Wächter, Host-Blockliste.

• robots.txt wird bei allgemeinen Seiten-Probes respektiert.

Roadmap

• webfetch watch — Daemon-Modus für wiederholte Abfragen / inkrementelle Aktualisierung.

• Bring-your-own-provider Plugin-API.

• Gehostete Ebene unter getwebfetch.com — gepoolte Anbieterschlüssel, Managed-Browser-Fallback, Team-Nutzungs-Dashboard.

Mitwirken

Issues und PRs sind willkommen. Führen Sie bun install && bun test aus, um zu beginnen. Siehe docs/ für bereichsspezifische Referenzdokumentationen.

Lizenz

MIT.