MCP Firecrawl 서버

이는 Firecrawl의 API를 사용하여 웹사이트를 스크래핑하고 구조화된 데이터를 추출하는 도구를 제공하는 간단한 MCP 서버입니다.

설정

종속성 설치:

지엑스피1

다음 변수를 사용하여 루트 디렉토리에 .env 파일을 만듭니다.

FIRECRAWL_API_TOKEN=your_token_here SENTRY_DSN=your_sentry_dsn_here

FIRECRAWL_API_TOKEN (필수): Firecrawl API 토큰
SENTRY_DSN (선택 사항): 오류 추적 및 성능 모니터링을 위한 Sentry DSN

서버를 시작합니다:

npm start

또는 서버를 실행할 때 환경 변수를 직접 설정할 수 있습니다.

FIRECRAWL_API_TOKEN=your_token_here npm start

Related MCP server: MCP Server Firecrawl

특징

웹사이트 스크래핑 : 다양한 형식의 웹사이트에서 콘텐츠 추출
구조화된 데이터 추출 : 사용자 정의 스키마를 기반으로 특정 데이터 포인트 추출
오류 추적 : 오류 추적 및 성능 모니터링을 위해 Sentry와 통합됨

용법

서버는 두 가지 도구를 제공합니다.

scrape-website : 다양한 포맷 옵션을 갖춘 기본 웹사이트 스크래핑
extract-data : 프롬프트 및 스키마 기반 구조화된 데이터 추출

도구: scrape-website

이 도구는 웹사이트를 스크래핑하여 요청된 형식으로 콘텐츠를 반환합니다.

매개변수:

url (문자열, 필수): 스크래핑할 웹사이트의 URL
formats (문자열 배열, 선택 사항): 원하는 출력 형식의 배열입니다. 지원되는 형식은 다음과 같습니다.
- "markdown" (기본값)
- "html"
- "text"

MCP Inspector를 사용한 예시 사용:

# Basic usage (defaults to markdown) mcp-inspector --tool scrape-website --args '{ "url": "https://example.com" }' # Multiple formats mcp-inspector --tool scrape-website --args '{ "url": "https://example.com", "formats": ["markdown", "html", "text"] }'

도구: extract-data

이 도구는 제공된 프롬프트와 스키마를 기반으로 웹사이트에서 구조화된 데이터를 추출합니다.

매개변수:

urls (문자열 배열, 필수): 데이터를 추출할 URL 배열
prompt (문자열, 필수): 추출할 데이터를 설명하는 프롬프트
schema (객체, 필수): 추출할 데이터에 대한 스키마 정의

스키마 정의는 키가 필드 이름이고 값이 유형인 객체여야 합니다. 지원되는 유형은 다음과 같습니다.

"string" : 텍스트 필드용
"boolean" : 참/거짓 필드의 경우
"number" : 숫자 필드의 경우
배열: ["type"] 으로 지정되며 여기서 type은 위의 것 중 하나입니다.
객체: 자체 유형 정의가 있는 중첩된 객체

MCP Inspector를 사용한 예시 사용:

# Basic example extracting company information mcp-inspector --tool extract-data --args '{ "urls": ["https://example.com"], "prompt": "Extract the company mission, whether it supports SSO, and whether it is open source.", "schema": { "company_mission": "string", "supports_sso": "boolean", "is_open_source": "boolean" } }' # Complex example with nested data mcp-inspector --tool extract-data --args '{ "urls": ["https://example.com/products", "https://example.com/pricing"], "prompt": "Extract product information including name, price, and features.", "schema": { "products": [{ "name": "string", "price": "number", "features": ["string"] }] } }'

두 도구 모두 스크래핑이나 추출이 실패하면 적절한 오류 메시지를 반환하고, 구성된 경우 Sentry에 자동으로 오류를 기록합니다.