MCP Firecrawl 서버

이는 Firecrawl의 API를 사용하여 웹사이트를 스크래핑하고 구조화된 데이터를 추출하는 도구를 제공하는 간단한 MCP 서버입니다.

설정

종속성 설치:

지엑스피1

다음 변수를 사용하여 루트 디렉토리에 .env 파일을 만듭니다.

FIRECRAWL_API_TOKEN=your_token_here
SENTRY_DSN=your_sentry_dsn_here

FIRECRAWL_API_TOKEN (필수): Firecrawl API 토큰
SENTRY_DSN (선택 사항): 오류 추적 및 성능 모니터링을 위한 Sentry DSN

서버를 시작합니다:

npm start

또는 서버를 실행할 때 환경 변수를 직접 설정할 수 있습니다.

FIRECRAWL_API_TOKEN=your_token_here npm start

특징

웹사이트 스크래핑 : 다양한 형식의 웹사이트에서 콘텐츠 추출
구조화된 데이터 추출 : 사용자 정의 스키마를 기반으로 특정 데이터 포인트 추출
오류 추적 : 오류 추적 및 성능 모니터링을 위해 Sentry와 통합됨

용법

서버는 두 가지 도구를 제공합니다.

scrape-website : 다양한 포맷 옵션을 갖춘 기본 웹사이트 스크래핑
extract-data : 프롬프트 및 스키마 기반 구조화된 데이터 추출

도구: scrape-website

이 도구는 웹사이트를 스크래핑하여 요청된 형식으로 콘텐츠를 반환합니다.

매개변수:

url (문자열, 필수): 스크래핑할 웹사이트의 URL
formats (문자열 배열, 선택 사항): 원하는 출력 형식의 배열입니다. 지원되는 형식은 다음과 같습니다.
- "markdown" (기본값)
- "html"
- "text"

MCP Inspector를 사용한 예시 사용:

# Basic usage (defaults to markdown)
mcp-inspector --tool scrape-website --args '{
  "url": "https://example.com"
}'

# Multiple formats
mcp-inspector --tool scrape-website --args '{
  "url": "https://example.com",
  "formats": ["markdown", "html", "text"]
}'

도구: extract-data

이 도구는 제공된 프롬프트와 스키마를 기반으로 웹사이트에서 구조화된 데이터를 추출합니다.

매개변수:

urls (문자열 배열, 필수): 데이터를 추출할 URL 배열
prompt (문자열, 필수): 추출할 데이터를 설명하는 프롬프트
schema (객체, 필수): 추출할 데이터에 대한 스키마 정의

스키마 정의는 키가 필드 이름이고 값이 유형인 객체여야 합니다. 지원되는 유형은 다음과 같습니다.

"string" : 텍스트 필드용
"boolean" : 참/거짓 필드의 경우
"number" : 숫자 필드의 경우
배열: ["type"] 으로 지정되며 여기서 type은 위의 것 중 하나입니다.
객체: 자체 유형 정의가 있는 중첩된 객체

MCP Inspector를 사용한 예시 사용:

# Basic example extracting company information
mcp-inspector --tool extract-data --args '{
  "urls": ["https://example.com"],
  "prompt": "Extract the company mission, whether it supports SSO, and whether it is open source.",
  "schema": {
    "company_mission": "string",
    "supports_sso": "boolean",
    "is_open_source": "boolean"
  }
}'

# Complex example with nested data
mcp-inspector --tool extract-data --args '{
  "urls": ["https://example.com/products", "https://example.com/pricing"],
  "prompt": "Extract product information including name, price, and features.",
  "schema": {
    "products": [{
      "name": "string",
      "price": "number",
      "features": ["string"]
    }]
  }
}'

두 도구 모두 스크래핑이나 추출이 실패하면 적절한 오류 메시지를 반환하고, 구성된 경우 Sentry에 자동으로 오류를 기록합니다.

문제 해결

문제가 발생하는 경우:

Firecrawl API 토큰이 유효한지 확인하세요
스크래핑하려는 URL에 액세스할 수 있는지 확인하세요.
복잡한 스키마의 경우 지원되는 형식을 따르는지 확인하세요.
자세한 오류 정보를 보려면 Sentry 로그를 검토하세요(구성된 경우)

You must be authenticated.

security – no known vulnerabilities

license - not found

quality - confirmed to work

remote-capable server

The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.

Tools

Firecrawl의 API를 사용하여 웹사이트를 스크래핑하고 구조화된 데이터를 추출하는 도구를 제공하는 서버로, 여러 형식의 기본 웹사이트 스크래핑과 사용자 정의 스키마 기반 데이터 추출을 모두 지원합니다.

Related Resources

Reddit Discussion about this server

Related MCP Servers

mcp-server-firecrawl
mendableai
A
security
A
license
A
quality
A Model Context Protocol (MCP) server implementation that integrates with FireCrawl for advanced web scraping capabilities.
Last updated -
9
16,506
3,053
JavaScript
MIT License
MCP Server Firecrawl
Msparihar
A
security
A
license
A
quality
A server that provides web scraping and intelligent content searching capabilities using the Firecrawl API, enabling AI agents to extract structured data from websites and perform content searches.
Last updated -
5
2
TypeScript
MIT License
Firecrawl MCP Server
mcma123
-
security
A
license
-
quality
A Model Context Protocol server that enables AI assistants to perform advanced web scraping, crawling, searching, and data extraction through the Firecrawl API.
Last updated -
16,506
MIT License
Oxylabs MCP Serverofficial
oxylabs
A
security
A
license
A
quality
A scraper tool that leverages the Oxylabs Web Scraper API to fetch and process web content with flexible options for parsing and rendering pages, enabling efficient content extraction from complex websites.
Last updated -
2
32
Python
MIT License

View all related MCP servers

MCP Firecrawl Server