Skip to main content
Glama
1llum1n4t1s

Retroweb MCP

by 1llum1n4t1s

Retroweb MCP

90 年代〜2000 年代前半の日本語の個人サイトを Web アーカイブから発掘するための MCP サーバ。

Google をはじめとする現行の検索エンジンは、この年代の個人サイトをほとんど索引していない。 本サーバは検索を強化するのではなく、当時の発見経路(ディレクトリ・リンク集・Web リング)を アーカイブ上で再生することで、検索エンジンに一切載っていないページへ到達する。

何ができるか(実測)

discover_sites にジオシティーズのエリアを 1 つ渡すと、148 件の個人サイトが出る。 実際に発掘できた例:

サイト

内容

陽光の円舞曲

アンジェリーク二次創作。キリ番 12345、since 1999

‐せんちめんたる‐

詩サイト。"Sorry! This page is Japanese only!"、3000HIT

大濠高校模型同好会

高校の同好会。"Internet Explorer、800*600以上推奨"

いずれも現行の検索エンジンでは到達できない。さらに各サイトの外部リンクを辿ると、 village.infoweb.ne.jp/~sinobi/ www.sol.dti.ne.jp/~m-otsuka/ といった別ホストへ芋づる式に広がる。

Related MCP server: MCP Wayback Machine Server

ツール

ツール

用途

discover_sites

主力。ホスト配下に存在した個人サイトをユーザー単位で列挙する

wayback_cdx_search

アーカイブ済み URL をファイル単位で列挙する

wayback_snapshot

指定時点に最も近いスナップショットを解決する

wayback_fetch_page

保存済みページ本文を取得(Shift_JIS / EUC-JP 自動判別)

wayback_outlinks

ページから外部リンクを抽出(芋づる発掘の中核)

legacy_hosts

当時のホスティング・ISP・ランキングサイトの辞書(44 件)

build_retro_queries

site: 絞り込みと当時の言い回しによる検索クエリ生成

retro_search_strategy

探索手順そのものを返す。迷ったら最初に呼ぶ

warp_search_url

国立国会図書館 WARP の検索 URL 生成(取得は不可、後述)

marginalia_search_url

Marginalia の検索 URL 生成(英語専用、後述)

設計上の判断

動かないものは実装しない方針を取っている。以下は実 API を叩いて確認した結果。

対象

実測結果

判断

Wayback CDX

正常動作

主力に採用

Wayback CDX(ホスト全体の prefix 検索)

limit 付きの素のクエリは索引を端から舐めるため 60 秒で 504

ページ分割 API(showNumPages / page=)へ切り替え

Wayback Availability

レート制限時に 429 ではなく HTTP 200 + 空オブジェクトを返す

CDX へ自動フォールバック

現行検索の site: 絞り込み

当時のホストは索引から消えており、検索側が絞り込みを緩めて生きているショッピングサイトを返す(site:geocities.co.jp → Yahoo!ショッピング)

終了済みホストのみ使用+商業ドメインを -site: で除外

NDL WARP

結果は JS 描画で HTML に無し。/api/search は CloudFront が 403

スクレイプ断念、URL 生成のみ

Marginalia

公式に英語専用。サービス移行中で HTML 構造が不安定

スクレイプ断念、URL 生成のみ

常に空を返すツールは、無いより有害なため作らない。

広い指定でも落とさない(CDX ページ分割 API)

discover_siteswww.geocities.co.jp のようなホスト名だけを渡すと、CDX は索引の 先頭から該当行を探し続け、Internet Archive 側の nginx が 60 秒で 504 を返す。 limit を下げても始点が変わらないので解決しない。

そこで総ブロック数を先に取りshowNumPages、実測 3.5 秒で 23001)、 page= を付けて 1 ブロックずつ読む。1 リクエストの処理量が索引 1 区画に限定されるため、 対象がどれだけ広くても 1〜2 秒で返る。

ブロックは URL キー順に並ぶので、先頭から順に読むと辞書順で先頭のエリアに偏る。 範囲全体へ等間隔にブロックを散らし、件数の予算も各ブロックへ均等に配る。 結果はホスト全体からの標本になるため、coverage.sampled で網羅でないことを明示する。

実測(www.geocities.co.jp、1997〜2002): 23001 ブロック中 12 ブロックを読み、 12 エリアにまたがる 226 サイトを 6 秒で列挙。

site: 検索が商業サイトへ流れる問題

ジオシティーズ本体が現行検索の索引から消えた結果、site:geocities.co.jp を投げると 検索エンジンが絞り込みを緩め、生きている shopping.geocities.jp(Yahoo!ショッピング) ばかりを返す。ドメイン指定を直すだけでは閉じないので、二重に対処している。

  1. ホスト辞書の各エントリに searchIndexretro / modern)を持たせ、 現在も事業サイトが動いているドメインは既定のクエリから外す(44 件中 13 件)。 build_retro_queriesincludeModernHosts: true で戻せる。

  2. 全クエリの末尾に -site:shopping.geocities.jp など商業ドメインの除外句を付ける。

なおこの経路自体の期待値は低い。当時のホストはほぼ索引から消えているため、 実際に届くのは discover_siteswayback_outlinks の芋づるのほう。

文字コード

当時の日本語ページは Shift_JIS / EUC-JP が主流で、meta charset を持たないものも多い (1997 年の Yahoo! JAPAN トップは meta 無し)。res.text() は UTF-8 決め打ちのため そのままでは全文が化ける。本サーバはヘッダ → meta → バイト分布からの推定の順で判定する。

セットアップ

pnpm install && pnpm build

Claude Code への登録:

claude mcp add retroweb -- node C:/Users/IMT/dev/Retroweb-MCP/dist/index.js

skills/retroweb/SKILL.md に探索手順の Skill を同梱している。

検証

pnpm smoke

各外部 API を 1 回ずつ実際に叩いて件数を出す。外部サービスの仕様変更で ツールが黙って空を返すようになったことを検知するためのもの。

pnpm e2e

MCP プロトコル越しにサーバを起動し、ツール登録・実地の発掘・エラー処理を通しで確認する。

いずれも実ネットワークに接続するため、Internet Archive のレート制限で 一時的に失敗することがある。連続失敗する場合は時間を置いて再実行する。

ライセンス

MIT

Install Server
A
license - permissive license
A
quality
B
maintenance

Maintenance

Maintainers
Response time
Release cycle
Releases (12mo)
Commit activity

Resources

Unclaimed servers have limited discoverability.

Looking for Admin?

If you are the server author, to access and configure the admin panel.

Related MCP Servers

  • A
    license
    B
    quality
    D
    maintenance
    Provides access to the Internet Archive Wayback Machine to list snapshots, fetch archived web pages, and search archive.org items. Enables retrieval of historical website content and metadata through natural language queries.
    14
    3
    4
    MIT
  • A
    license
    -
    quality
    D
    maintenance
    Enables interaction with the Internet Archive's Wayback Machine to save web pages, retrieve archived versions, search historical snapshots, and check archive statistics without requiring API keys.
    392
    Creative Commons Attribution Non Commercial Share Alike 4.0 International
  • A
    license
    A
    quality
    A
    maintenance
    MCP server for the Internet Archive's Wayback Machine. Search archived snapshots, extract page text from a specific date, track how a site has changed over time, check if broken links are recoverable, and perform research across Internet Archive collections.
    6
    3
    MIT
  • A
    license
    A
    quality
    C
    maintenance
    Provides tools to archive URLs, retrieve clean readable text from Wayback Machine snapshots, list snapshots, search Internet Archive items, and compare snapshots, designed to avoid context window blowup by returning stripped text.
    6
    9
    MIT

View all related MCP servers

Related MCP Connectors

  • Source-first URL clone, capture, rebuild, and fidelity verification tools.

  • Scrape, crawl, map & search the web. Open-source, self-hostable Rust crawler & search for AI agents.

  • Read any web page as clean Markdown for AI agents: fetch, search, metadata, links. SSRF-safe.

View all MCP Connectors

Latest Blog Posts

MCP directory API

We provide all the information about MCP servers via our MCP API.

curl -X GET 'https://glama.ai/api/mcp/v1/servers/1llum1n4t1s/Retroweb-MCP'

If you have feedback or need assistance with the MCP directory API, please join our Discord server