Skip to main content
Glama

⚡ x402-cleanweb-agent

Превратите любую захламлённую веб-страницу, видео на YouTube или PDF-статью в чистый Markdown, готовый для LLM, на Polygon.
Без регистрации. Без подписок. Настоящие HTTP 402 микроплатежи между машинами для автономных ИИ-агентов.

Live Web3 DApp Swagger API Python 3.10+ Polygon Web3 License: MIT


💡 Зачем нужен x402-cleanweb-agent?

Традиционные API для веб-скрапинга и извлечения данных вынуждают платить дорогие подписки по $49/месяц и управлять сложными API-ключами.

x402-cleanweb-agent решает эту проблему для автономных ИИ-агентов, скраперов и разработчиков:

  • Без ежемесячных подписок: Платите только за то, что запрашиваете ($0.005 ~ $0.05 за вызов в USDC).

  • Без регистраций и API-ключей: Нативный протокол HTTP 402 Payment Required для взаимодействия между машинами.

  • 🤖 Готов для ИИ-агентов без участия человека: ИИ-агенты с крипто-кошельком могут автономно покупать данные 24/7.

  • Скорость менее секунды: Удаляет рекламу, трекинговые скрипты и мусор, возвращая чистый структурированный Markdown.

  • 🪙 Сверхнизкие комиссии за газ: Работает на Polygon PoS (< $0.005 за сетевой газ).

  • 📊 Движок экономии токенов: Рассчитывает сокращение токенов «сырой» vs. «очищенный» (в среднем 60~85% экономии) и оценочную экономию на промпт-токенах LLM ($).


Related MCP server: ToolSnap MCP

🚀 Живое демо и конечные точки сервиса

Сервис

Конечная точка

Цена

Вывод и описание

🌐 Чистый веб

GET /api/v1/clean-web

0.01 USDC

Удаление рекламы/шума + Markdown, готовый для ИИ + аналитика экономии токенов

🎬 Транскрипт YouTube

GET /api/v1/clean-youtube

0.02 USDC

Полные транскрипты видео с таймкодами, отформатированные в Markdown

📑 PDF-статьи и отчёты

GET /api/v1/clean-pdf

0.05 USDC

Статьи с arXiv и отчёты о прибылях, преобразованные в структурированный Markdown

📝 Чистый обычный текст

GET /api/v1/clean-text

0.005 USDC

Сверхлёгкое извлечение сырого текста для быстрого векторного индексирования


🤖 Интеграция автономных ИИ-агентов без участия человека (Python SDK)

ИИ-агенты с кошельком Polygon (приватный ключ) могут автономно обрабатывать платежи и извлечение данных без какого-либо участия человека:

from autonomous_agent_client import AutonomousX402Agent

# 1. Initialize Autonomous Agent with Polygon Wallet
agent = AutonomousX402Agent(private_key="0xYOUR_AGENT_PRIVATE_KEY")

# 2. Autonomous Clean Web Extraction (0.01 USDC)
result = agent.clean_web("https://example.com/article")
print("AI-Ready Markdown:\n", result["markdown_content"])
print("Token Savings:", result["token_analytics"]["token_savings_percentage"])

# 3. Autonomous YouTube Transcript Extraction (0.02 USDC)
yt_result = agent.clean_youtube("https://www.youtube.com/watch?v=dQw4w9WgXcQ")
print("YouTube Transcripts:\n", yt_result["markdown_transcript"])

# 4. Autonomous PDF Paper Extraction (0.05 USDC)
pdf_result = agent.clean_pdf("https://arxiv.org/pdf/2301.00001.pdf")
print("PDF Paper Markdown:\n", pdf_result["markdown_content"])

🛠️ Как это работает (архитектура M2M)

sequenceDiagram
    autonumber
    actor Agent as Autonomous AI Agent
    participant Server as x402 Gateway (FastAPI)
    participant Polygon as Polygon Mainnet (Bor RPC)
    participant Scraper as AI Data Cleaning Engine

    Agent->>Server: GET /api/v1/clean-web?url=https://example.com
    Note over Server: Check X-Payment-Tx header
    Server-->>Agent: 402 Payment Required (Chain ID: 137, Recipient, Amount)
    
    Agent->>Polygon: Send USDC Transfer (e.g. 0.01 USDC)
    Polygon-->>Agent: Return Tx Hash (0xabc...123)
    
    Agent->>Server: GET /api/v1/clean-web?url=... with Header [X-Payment-Tx: 0xabc...123]
    Server->>Polygon: Verify Receipt, Event Logs, Recipient & Nonce
    Polygon-->>Server: Tx Confirmed (Status: 1)
    
    Server->>Scraper: Sanitize and Structure to Clean Markdown
    Scraper-->>Server: Return Clean Markdown + Token Analytics
    Server-->>Agent: 200 OK (Clean Markdown & Analytics JSON)

⚡ Быстрый старт с cURL

# Step 1: Query without payment to inspect 402 payment requirements
curl -i -X GET "https://x402-cleanweb-agent.onrender.com/api/v1/clean-web?url=https://example.com"

# Step 2: After sending USDC on Polygon, query with transaction hash
curl -X GET "https://x402-cleanweb-agent.onrender.com/api/v1/clean-web?url=https://example.com" \
  -H "X-Payment-Tx: 0x<YOUR_POLYGON_TX_HASH>"

Пример ответа

{
  "status": "success",
  "service": "clean-web",
  "source_url": "https://example.com",
  "title": "Example Domain",
  "markdown_content": "# Example Domain\n\nThis domain is for use in illustrative examples...",
  "token_analytics": {
    "raw_html_estimated_tokens": 1250,
    "clean_markdown_estimated_tokens": 280,
    "tokens_saved": 970,
    "token_savings_percentage": "77.6%",
    "estimated_llm_cost_saved_usd": "$0.0029"
  },
  "processing_time_seconds": 0.38
}

🔌 Настройка Model Context Protocol (MCP)

Вариант 1: Автоустановщик в один клик (рекомендуется)

Автоматически настраивает Claude Desktop и Cursor без редактирования JSON-файлов:

# Windows
install_mcp.bat

# macOS / Linux
python install_mcp.py

Вариант 2: Запуск через uvx (без установки)

Добавьте напрямую в ваш claude_desktop_config.json или Cursor:

{
  "mcpServers": {
    "polygon-x402-cleanweb": {
      "command": "uvx",
      "args": ["--from", "git+https://github.com/nohosa001-pixel/x402-cleanweb-agent", "x402-agent"]
    }
  }
}

Вариант 3: Ручная локальная настройка

{
  "mcpServers": {
    "polygon-x402-cleanweb": {
      "command": "python",
      "args": ["-u", "/absolute/path/to/x402-micro-agent/mcp_server.py"],
      "env": {
        "PYTHONUNBUFFERED": "1",
        "POLYGON_RPC_URL": "https://polygon-bor-rpc.publicnode.com",
        "SERVER_WALLET_ADDRESS": "0x255F9991233f86B29dB847c8d5b8CB9915e80dCf",
        "USDC_CONTRACT_ADDRESS": "0x3c499c542cEF5E3811e1192ce70d8cC03d5c3359"
      }
    }
  }
}

Доступные MCP-инструменты

  • get_payment_info(): Получение ценовых тарифов и адреса получателя.

  • fetch_clean_markdown(url, payment_tx_hash): Скрапер чистого веба (0.01 USDC).

  • fetch_youtube_transcript(url, language, payment_tx_hash): Извлечение транскриптов YouTube (0.02 USDC).

  • fetch_pdf_markdown(url, payment_tx_hash): Конвертер PDF-исследований (0.05 USDC).

  • fetch_plain_text(url, payment_tx_hash): Лёгкий текстовый скрапер (0.005 USDC).


🛠️ Локальная разработка и запуск

# 1. Clone repository
git clone https://github.com/nohosa001-pixel/x402-cleanweb-agent.git
cd x402-cleanweb-agent

# 2. Setup virtual environment
python -m venv .venv
source .venv/bin/activate  # On Windows: .venv\Scripts\activate

# 3. Install dependencies
pip install -r requirements.txt

# 4. Start local server
python main.py
# Server running at: http://localhost:8000

📜 Ончейн-контракт и детали сети


🤝 Вклад в проект и лицензия

Вклад и предложения приветствуются!
Не стесняйтесь открывать issue или pull request на GitHub: https://github.com/nohosa001-pixel/x402-cleanweb-agent/issues

Распространяется под лицензией MIT.

Install Server
A
license - permissive license
A
quality
B
maintenance

Maintenance

Maintainers
Response time
Release cycle
Releases (12mo)
Commit activity

Related MCP Servers

  • A
    license
    A
    quality
    B
    maintenance
    Pay-per-use clean web reader for AI agents. URL in, markdown plus metadata out, in milliseconds. Settled per-call in USDC over x402 — no signup, no API keys.
    2
    1
    85
    2
    MIT
  • A
    license
    A
    quality
    A
    maintenance
    Context-efficient MCP server for AI agents. fetch_extract reduces token usage by a median 98.1% (53,820 → 2,001 tokens) vs raw HTML — saves ~$0.156/call at Sonnet pricing. Pay $0.02 USDC on Base via x402. First call free per wallet. 10 always-free utility tools included.
    33
    1
    MIT
  • A
    license
    Not graded
    quality
    B
    maintenance
    MCP server providing 17 keyless, pay-per-use web-data tools with signed-provenance receipts, enabling AI agents to autonomously fetch, extract, and verify web content on Base mainnet.
    44
    MIT
  • A
    license
    A
    quality
    B
    maintenance
    MCP server that enables AI agents to fetch web content as clean, structured Markdown via NanoParse's hosted API, using x402 micropayments in USDC on Base.
    1
    253
    MIT

View all related MCP servers

Related MCP Connectors

  • Pay-per-call web scraping for AI agents via x402 on Base USDC. Six tools, no signup.

  • Web intelligence for AI agents: fetch, render, extract, research. x402 micropayments, no API keys.

  • Scrape, crawl, map and extract the web. Pay per call in USDC, no account or API key.

View all MCP Connectors

Latest Blog Posts

MCP directory API

We provide all the information about MCP servers via our MCP API.

curl -X GET 'https://glama.ai/api/mcp/v1/servers/nohosa001-pixel/x402-cleanweb-agent'

If you have feedback or need assistance with the MCP directory API, please join our Discord server