Skip to main content
Glama

⚡ x402-cleanweb-agent

どんな雑然としたWebページ、YouTube動画、PDF論文も、Polygon上で純粋でLLM対応のクリーンなMarkdownに変換します。
サインアップ不要。サブスクリプション不要。自律型AIエージェントのための真のマシン間HTTP 402マイクロペイメント。

Live Web3 DApp Swagger API Python 3.10+ Polygon Web3 License: MIT


💡 x402-cleanweb-agentを使う理由

従来のWebスクレイピングやデータ抽出APIは、高額な月額49ドルのサブスクリプションと複雑なAPIキー管理を強制します。

x402-cleanweb-agentは、自律型AIエージェント、スクレイパー、開発者向けにこの問題を解決します:

  • 月額サブスクリプション不要:クエリした分だけ支払います(1回あたり0.005〜0.05 USDC)。

  • サインアップやAPIキー不要:ネイティブなHTTP 402 Payment Requiredマシン間プロトコル。

  • 🤖 人間不要のAIエージェント対応:暗号通貨ウォレットを持つAIエージェントが24時間365日自律的にデータを購入できます。

  • 1秒未満の速度:広告、トラッキングスクリプト、ノイズを除去し、純粋で構造化されたMarkdownを返します。

  • 🪙 超低ガス料金Polygon PoSを採用(ネットワークガスは0.005ドル未満)。

  • 📊 トークン節約エンジン:生データとクリーン化後のトークン削減率(平均60〜85%削減)と推定LLMプロンプトコスト削減額($)を計算します。


Related MCP server: ToolSnap MCP

🚀 ライブデモとサービスエンドポイント

サービス

エンドポイント

料金

出力と説明

🌐 Clean Web

GET /api/v1/clean-web

0.01 USDC

広告・ノイズ除去 + AI対応Markdown + トークン節約分析

🎬 YouTube Transcript

GET /api/v1/clean-youtube

0.02 USDC

タイムスタンプ付きの完全な動画トランスクリプトをMarkdown形式で

📑 PDF Paper & Report

GET /api/v1/clean-pdf

0.05 USDC

arXiv論文や決算レポートを構造化Markdownに変換

📝 Pure Plain Text

GET /api/v1/clean-text

0.005 USDC

高速ベクトルインデックス用の超軽量な生テキスト抽出


🤖 人間不要の自律型AIエージェント統合(Python SDK)

Polygonウォレット(秘密鍵)を持つAIエージェントは、人間の介入ゼロで支払いとデータ抽出を自律的に処理できます:

from autonomous_agent_client import AutonomousX402Agent

# 1. Initialize Autonomous Agent with Polygon Wallet
agent = AutonomousX402Agent(private_key="0xYOUR_AGENT_PRIVATE_KEY")

# 2. Autonomous Clean Web Extraction (0.01 USDC)
result = agent.clean_web("https://example.com/article")
print("AI-Ready Markdown:\n", result["markdown_content"])
print("Token Savings:", result["token_analytics"]["token_savings_percentage"])

# 3. Autonomous YouTube Transcript Extraction (0.02 USDC)
yt_result = agent.clean_youtube("https://www.youtube.com/watch?v=dQw4w9WgXcQ")
print("YouTube Transcripts:\n", yt_result["markdown_transcript"])

# 4. Autonomous PDF Paper Extraction (0.05 USDC)
pdf_result = agent.clean_pdf("https://arxiv.org/pdf/2301.00001.pdf")
print("PDF Paper Markdown:\n", pdf_result["markdown_content"])

🛠️ 仕組み(M2Mアーキテクチャ)

sequenceDiagram
    autonumber
    actor Agent as Autonomous AI Agent
    participant Server as x402 Gateway (FastAPI)
    participant Polygon as Polygon Mainnet (Bor RPC)
    participant Scraper as AI Data Cleaning Engine

    Agent->>Server: GET /api/v1/clean-web?url=https://example.com
    Note over Server: Check X-Payment-Tx header
    Server-->>Agent: 402 Payment Required (Chain ID: 137, Recipient, Amount)
    
    Agent->>Polygon: Send USDC Transfer (e.g. 0.01 USDC)
    Polygon-->>Agent: Return Tx Hash (0xabc...123)
    
    Agent->>Server: GET /api/v1/clean-web?url=... with Header [X-Payment-Tx: 0xabc...123]
    Server->>Polygon: Verify Receipt, Event Logs, Recipient & Nonce
    Polygon-->>Server: Tx Confirmed (Status: 1)
    
    Server->>Scraper: Sanitize and Structure to Clean Markdown
    Scraper-->>Server: Return Clean Markdown + Token Analytics
    Server-->>Agent: 200 OK (Clean Markdown & Analytics JSON)

⚡ cURLクイックスタート

# Step 1: Query without payment to inspect 402 payment requirements
curl -i -X GET "https://x402-cleanweb-agent.onrender.com/api/v1/clean-web?url=https://example.com"

# Step 2: After sending USDC on Polygon, query with transaction hash
curl -X GET "https://x402-cleanweb-agent.onrender.com/api/v1/clean-web?url=https://example.com" \
  -H "X-Payment-Tx: 0x<YOUR_POLYGON_TX_HASH>"

サンプルレスポンス

{
  "status": "success",
  "service": "clean-web",
  "source_url": "https://example.com",
  "title": "Example Domain",
  "markdown_content": "# Example Domain\n\nThis domain is for use in illustrative examples...",
  "token_analytics": {
    "raw_html_estimated_tokens": 1250,
    "clean_markdown_estimated_tokens": 280,
    "tokens_saved": 970,
    "token_savings_percentage": "77.6%",
    "estimated_llm_cost_saved_usd": "$0.0029"
  },
  "processing_time_seconds": 0.38
}

🔌 Model Context Protocol(MCP)セットアップ

オプション1:1クリック自動インストーラー(推奨)

JSONファイルを編集せずにClaude DesktopとCursorを自動設定します:

# Windows
install_mcp.bat

# macOS / Linux
python install_mcp.py

オプション2:uvxで実行(インストール不要)

claude_desktop_config.jsonまたはCursorに直接追加:

{
  "mcpServers": {
    "polygon-x402-cleanweb": {
      "command": "uvx",
      "args": ["--from", "git+https://github.com/nohosa001-pixel/x402-cleanweb-agent", "x402-agent"]
    }
  }
}

オプション3:手動ローカル設定

{
  "mcpServers": {
    "polygon-x402-cleanweb": {
      "command": "python",
      "args": ["-u", "/absolute/path/to/x402-micro-agent/mcp_server.py"],
      "env": {
        "PYTHONUNBUFFERED": "1",
        "POLYGON_RPC_URL": "https://polygon-bor-rpc.publicnode.com",
        "SERVER_WALLET_ADDRESS": "0x255F9991233f86B29dB847c8d5b8CB9915e80dCf",
        "USDC_CONTRACT_ADDRESS": "0x3c499c542cEF5E3811e1192ce70d8cC03d5c3359"
      }
    }
  }
}

公開されているMCPツール

  • get_payment_info():料金階層と受取人アドレスを取得します。

  • fetch_clean_markdown(url, payment_tx_hash):Clean Webスクレイパー(0.01 USDC)。

  • fetch_youtube_transcript(url, language, payment_tx_hash):YouTubeトランスクリプト抽出(0.02 USDC)。

  • fetch_pdf_markdown(url, payment_tx_hash):PDF研究論文コンバーター(0.05 USDC)。

  • fetch_plain_text(url, payment_tx_hash):軽量テキストスクレイパー(0.005 USDC)。


🛠️ ローカル開発と実行

# 1. Clone repository
git clone https://github.com/nohosa001-pixel/x402-cleanweb-agent.git
cd x402-cleanweb-agent

# 2. Setup virtual environment
python -m venv .venv
source .venv/bin/activate  # On Windows: .venv\Scripts\activate

# 3. Install dependencies
pip install -r requirements.txt

# 4. Start local server
python main.py
# Server running at: http://localhost:8000

📜 オンチェーンコントラクトとネットワーク詳細


🤝 コントリビューションとライセンス

コントリビューションと提案を歓迎します!
GitHubでissueやプルリクエストを遠慮なく開いてください:https://github.com/nohosa001-pixel/x402-cleanweb-agent/issues

MITライセンスの下で配布されています。

Install Server
A
license - permissive license
A
quality
B
maintenance

Maintenance

Maintainers
Response time
Release cycle
Releases (12mo)
Commit activity

Related MCP Servers

  • A
    license
    A
    quality
    B
    maintenance
    Pay-per-use clean web reader for AI agents. URL in, markdown plus metadata out, in milliseconds. Settled per-call in USDC over x402 — no signup, no API keys.
    2
    1
    85
    2
    MIT
  • A
    license
    A
    quality
    A
    maintenance
    Context-efficient MCP server for AI agents. fetch_extract reduces token usage by a median 98.1% (53,820 → 2,001 tokens) vs raw HTML — saves ~$0.156/call at Sonnet pricing. Pay $0.02 USDC on Base via x402. First call free per wallet. 10 always-free utility tools included.
    33
    1
    MIT
  • A
    license
    Not graded
    quality
    B
    maintenance
    MCP server providing 17 keyless, pay-per-use web-data tools with signed-provenance receipts, enabling AI agents to autonomously fetch, extract, and verify web content on Base mainnet.
    44
    MIT
  • A
    license
    A
    quality
    B
    maintenance
    MCP server that enables AI agents to fetch web content as clean, structured Markdown via NanoParse's hosted API, using x402 micropayments in USDC on Base.
    1
    253
    MIT

View all related MCP servers

Related MCP Connectors

  • Pay-per-call web scraping for AI agents via x402 on Base USDC. Six tools, no signup.

  • Web intelligence for AI agents: fetch, render, extract, research. x402 micropayments, no API keys.

  • Scrape, crawl, map and extract the web. Pay per call in USDC, no account or API key.

View all MCP Connectors

Latest Blog Posts

MCP directory API

We provide all the information about MCP servers via our MCP API.

curl -X GET 'https://glama.ai/api/mcp/v1/servers/nohosa001-pixel/x402-cleanweb-agent'

If you have feedback or need assistance with the MCP directory API, please join our Discord server