ウェブサイトスクレーパー MCP サーバー

ウェブサイトスクレーパー

ウェブサイトをスクレイピングし、HTML を Markdown に変換するためのコマンドラインツールと MCP サーバー。

特徴

Mozilla のReadabilityライブラリ (Firefox のリーダービューで使用されているのと同じエンジン) を使用して、Web ページから意味のあるコンテンツを抽出します。
TurndownService を使用して、クリーンな HTML を高品質の Markdown に変換します。
潜在的に有害なスクリプトタグを削除してHTMLを安全に処理します
コマンドラインツールとMCPサーバーの両方として機能します
ローカル HTML ファイルを Markdown に直接変換できます

インストール

# Install dependencies
npm install

# Build the project
npm run build

# Optionally, install globally
npm install -g .

使用法

CLIモード

# Print output to console
scrape https://example.com

# Save output to a file
scrape https://example.com output.md

# Convert a local HTML file to Markdown
scrape --html-file input.html

# Convert a local HTML file and save output to a file
scrape --html-file input.html output.md

# Show help
scrape --help

# Or run via npm script
npm run start:cli -- https://example.com

MCP サーバーモード

このツールは、モデルコンテキストプロトコル (MCP) サーバーとして使用できます。

# Start in MCP server mode
npm start

コード構造

src/index.ts - コア機能とMCPサーバーの実装
src/cli.ts - コマンドラインインターフェースの実装
src/data_processing.ts - HTML から Markdown への変換機能

API

このツールは次の機能をエクスポートします。

// Scrape a website and convert to Markdown
import { scrapeToMarkdown } from './build/index.js';

// Convert HTML string to Markdown directly
import { htmlToMarkdown } from './build/data_processing.js';

async function example() {
  // Web scraping
  const markdown = await scrapeToMarkdown('https://example.com');
  console.log(markdown);
  
  // Direct HTML conversion
  const html = '<h1>Hello World</h1><p>This is <strong>bold</strong> text.</p>';
  const md = htmlToMarkdown(html);
  console.log(md);
}

ライセンス

ISC

This server cannot be installed

security - not tested

license - not found

quality - not tested

hybrid server

The server is able to function both locally and remotely, depending on the configuration or use case.

Mozilla の Readability エンジンを使用して、Web サイトから意味のあるコンテンツを抽出し、HTML を高品質の Markdown に変換する MCP サーバー。

Related MCP Servers

MCP NPX Fetch
tokenizin-agency
A
security
A
license
A
quality
A powerful MCP server for fetching and transforming web content into various formats (HTML, JSON, Markdown, Plain Text) with ease.
Last updated -
4
146
12
TypeScript
MIT License
MCP Server Fetch Python
tatn
A
security
A
license
A
quality
An MCP server for fetching and transforming web content into various formats.
Last updated -
4
4
Python
MIT License
MD Webcrawl MCP
jmh108
-
security
A
license
-
quality
A Python-based MCP server that crawls websites to extract and save content as markdown files, with features for mapping website structure and links.
Last updated -
1
Python
MIT License
Mozilla Readability Parser MCP Server
jmh108
-
security
A
license
-
quality
A Python implementation of an MCP server that extracts webpage content, removes ads and non-essential elements, and transforms it into clean, LLM-optimized Markdown.
Last updated -
1
Python
MIT License

View all related MCP servers

Website Scraper MCP Server

ウェブサイトスクレーパー

特徴

インストール

使用法

CLIモード

MCP サーバーモード

コード構造

API

ライセンス

Related MCP Servers

MCP NPX Fetch

MCP Server Fetch Python

MD Webcrawl MCP

Mozilla Readability Parser MCP Server

Appeared in Searches

New MCP Servers

MCP directory API