웹 스크래핑, 콘텐츠 추출 및 검색 기능을 위해 Olostep과 통합되는 모델 컨텍스트 프로토콜(MCP) 서버 구현체입니다. Olostep MCP 서버를 설정하려면 API 키가 필요합니다. Olostep 웹사이트에서 가입하여 API 키를 얻을 수 있습니다.
HTML, Markdown, JSON 또는 일반 텍스트(선택적 파서 사용)로 웹사이트 콘텐츠 스크래핑
구조화된 결과를 제공하는 파서 기반 웹 검색
인용 및 선택적 JSON 형태의 출력을 포함한 AI 답변
최대 10,000개의 URL 일괄 스크래핑
시작 URL로부터의 자율적인 사이트 크롤링
웹사이트 URL 발견 및 매핑 (포함/제외 필터 사용)
지역 타겟팅 콘텐츠를 위한 국가별 요청 라우팅
JavaScript가 많은 웹사이트를 위한 구성 가능한 대기 시간
포괄적인 오류 처리 및 보고
간단한 API 키 구성
Related MCP server: Parallel Task MCP
Olostep MCP 서버에 연결하는 방법은 여러 가지가 있습니다. 워크플로우에 가장 적합한 방법을 선택하세요.
가장 간단한 방법으로, 로컬 설치가 필요하지 않습니다. 호스팅된 MCP 서버에 직접 연결하세요:
https://mcp.olostep.com/mcp인증은 Olostep API 키를 사용하여 Authorization 헤더의 Bearer 토큰을 통해 수행됩니다. 구성 예시는 아래의 클라이언트 설정 섹션을 참조하세요.
공식 Docker 이미지를 가져와 실행합니다:
docker pull olostep/mcp-server
docker run -i --rm \
-e OLOSTEP_API_KEY="your-api-key" \
olostep/mcp-server소스에서 직접 이미지를 빌드하려면:
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
npm install
npm run build
docker build -t olostep/mcp-server:local .
docker run -i --rm -e OLOSTEP_API_KEY="your-api-key" olostep/mcp-server:localnpx를 사용하여 설치 없이 실행합니다:
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcpWindows (PowerShell)의 경우:
$env:OLOSTEP_API_KEY = "your-api-key"; npx -y olostep-mcpWindows (CMD)의 경우:
set OLOSTEP_API_KEY=your-api-key && npx -y olostep-mcp또는 전역으로 설치:
npm install -g olostep-mcp가장 쉬운 방법은 원격 엔드포인트를 사용하는 것입니다. 프로젝트 루트에 .cursor/mcp.json을 생성하거나 편집하세요:
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}대안 (로컬): Cursor 설정 > 기능 > MCP 서버로 이동하여 "+ Add New MCP Server"를 클릭하세요:
이름: olostep
유형: command
명령어: env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp
claude_desktop_config.json에 다음을 추가하세요:
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}대안 (Docker):
{
"mcpServers": {
"olostep": {
"command": "docker",
"args": [
"run", "-i", "--rm",
"-e", "OLOSTEP_API_KEY=YOUR_API_KEY_HERE",
"olostep/mcp-server"
]
}
}
}또는 장치 터미널에서 Smithery CLI를 통해 설치:
npx -y @smithery/cli install @olostep/olostep-mcp-server --client claudeClaude Code MCP 구성에 원격 엔드포인트를 추가하세요:
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}대안 (로컬):
{
"mcpServers": {
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}./codeium/windsurf/model_config.json에 다음을 추가하세요:
{
"mcpServers": {
"olostep": {
"serverUrl": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}대안 (로컬):
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}.vscode/mcp.json에 다음을 추가하세요:
{
"servers": {
"olostep": {
"type": "http",
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}대안 (로컬):
{
"servers": {
"olostep": {
"type": "stdio",
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}옵션 1: 원클릭 설치 (권장)
Metorial 대시보드 열기
MCP 서버 디렉토리로 이동
"Olostep" 검색
"Install"을 클릭하고 API 키 입력
옵션 2: 수동 구성
Metorial MCP 서버 구성에 다음을 추가하세요:
{
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}이제 Metorial AI 채팅에서 Olostep 도구를 사용할 수 있습니다.
OLOSTEP_API_KEY: Olostep API 키 (필수)
ORBIT_KEY: 요청 라우팅을 위해 Orbit을 사용하는 경우 선택적 키.
scrape_website)단일 URL에서 콘텐츠를 추출합니다. 여러 형식과 JavaScript 렌더링을 지원합니다.
{
"name": "scrape_website",
"arguments": {
"url_to_scrape": "https://example.com",
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 1000,
"parser": "@olostep/amazon-product"
}
}url_to_scrape: 스크래핑할 웹사이트의 URL (필수)
output_format: 형식 선택 (html, markdown, json 또는 text) - 기본값: markdown
country: 위치별 스크래핑을 위한 선택적 국가 코드 (예: US, GB, CA)
wait_before_scraping: 스크래핑 전 대기 시간(밀리초, 0-10000)
parser: 특수 추출을 위한 선택적 파서 ID
{
"content": [
{
"type": "text",
"text": "{\n \"id\": \"scrp_...\",\n \"url\": \"https://example.com\",\n \"markdown_content\": \"# ...\",\n \"html_content\": null,\n \"json_content\": null,\n \"text_content\": null,\n \"status\": \"succeeded\",\n \"timestamp\": \"2025-11-14T12:34:56Z\",\n \"screenshot_hosted_url\": null,\n \"page_metadata\": { }\n}"
}
]
}search_web)주어진 쿼리로 웹을 검색하고 구조화된 결과(비 AI, 파서 기반)를 얻습니다.
{
"name": "search_web",
"arguments": {
"query": "your search query",
"country": "US"
}
}query: 검색 쿼리 (필수)
country: 지역화된 결과를 위한 선택적 국가 코드 (기본값: US)
파서 기반 결과를 나타내는 구조화된 JSON (텍스트 형태)
answers)웹을 검색하고 출처와 인용을 포함하여 원하는 JSON 구조로 AI 기반 답변을 반환합니다.
{
"name": "answers",
"arguments": {
"task": "Who are the top 5 competitors to Acme Inc. in the EU?",
"json": "Return a list of the top 5 competitors with name and homepage URL"
}
}task: 웹 데이터를 사용하여 답변할 질문 또는 작업 (필수)
json: 선택적 JSON 스키마/객체 또는 원하는 출력 형태에 대한 짧은 설명
answer_id, object, task, result (제공된 경우 JSON), sources, created
batch_scrape_urls)동시에 최대 10,000개의 URL을 스크래핑합니다. 대규모 데이터 추출에 적합합니다.
{
"name": "batch_scrape_urls",
"arguments": {
"urls_to_scrape": [
{"url": "https://example.com/a", "custom_id": "a"},
{"url": "https://example.com/b", "custom_id": "b"}
],
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 500,
"parser": "@olostep/amazon-product"
}
}batch_id, status, total_urls, created_at, formats, country, parser, urls
create_crawl)링크를 따라가며 웹사이트 전체를 자율적으로 발견하고 스크래핑하는 비동기 크롤링을 시작합니다. crawl_id를 반환하며, 크롤링은 백그라운드에서 실행되므로 이 응답에서 콘텐츠를 반환하지 않습니다. 이후 crawl_id와 함께 get_crawl_results를 호출하여 상태를 확인하고 스크래핑된 페이지를 가져와야 합니다 (batch_scrape_urls + get_batch_results와 동일한 2단계 패턴).
{
"name": "create_crawl",
"arguments": {
"start_url": "https://example.com/docs",
"max_pages": 25,
"follow_links": true,
"output_format": "markdown",
"country": "US",
"parser": "@olostep/doc-parser"
}
}crawl_id, object, status, start_url, max_pages, follow_links, created, formats, country, parser
이 호출을
get_crawl_results와 함께 사용하세요.get_batch_results에crawl_id를 전달하지 마십시오 (크롤링과 배치는 별도의 리소스입니다).
create_map)웹사이트의 모든 URL을 가져옵니다. 발견 및 분석을 위해 모든 URL을 추출합니다.
{
"name": "create_map",
"arguments": {
"website_url": "https://example.com",
"search_query": "blog",
"top_n": 200,
"include_url_patterns": ["/blog/**"],
"exclude_url_patterns": ["/admin/**"]
}
}map_id, object, url, total_urls, urls, search_query, top_n
get_webpage_content)JavaScript 렌더링을 지원하며 깔끔한 마크다운 형식으로 웹페이지 콘텐츠를 가져옵니다.
{
"name": "get_webpage_content",
"arguments": {
"url_to_scrape": "https://example.com",
"wait_before_scraping": 1000,
"country": "US"
}
}url_to_scrape: 스크래핑할 웹페이지의 URL (필수)
wait_before_scraping: 스크래핑 시작 전 대기 시간(밀리초, 기본값: 0)
country: 요청을 로드할 거주 국가 (예: US, CA, GB) (선택 사항)
{
"content": [
{
"type": "text",
"text": "# Example Website\n\nThis is the markdown content of the webpage..."
}
]
}get_website_urls)웹사이트에서 관련 URL을 검색하고 쿼리 관련성 순으로 정렬하여 가져옵니다.
{
"name": "get_website_urls",
"arguments": {
"url": "https://example.com",
"search_query": "your search term"
}
}url: 매핑할 웹사이트의 URL (필수)
search_query: URL을 정렬할 검색 쿼리 (필수)
{
"content": [
{
"type": "text",
"text": "Found 42 URLs matching your query:\n\nhttps://example.com/page1\nhttps://example.com/page2\n..."
}
]
}get_batch_results)batch_id를 사용하여 이전에 제출된 배치 스크래핑 작업의 결과를 가져옵니다.
{
"name": "get_batch_results",
"arguments": {
"batch_id": "batch_abc123"
}
}batch_id: batch_scrape_urls에서 반환된 배치 ID (필수)
batch_id, status (processing 또는 completed), total_urls, completed_urls, items (URL별 스크래핑 결과 배열: url, custom_id, markdown_content, html_content, json_content, text_content, status, page_metadata 포함)
get_crawl_results)create_crawl로 시작된 비동기 크롤링의 상태와 스크래핑된 페이지를 가져옵니다. 이는 create_crawl의 필수 동반 도구입니다. create_crawl은 작업을 시작하고 crawl_id만 반환하므로, 이 도구를 통해 발견된 페이지와 콘텐츠를 실제로 가져올 수 있습니다.
{
"name": "get_crawl_results",
"arguments": {
"crawl_id": "crawl_abc123",
"formats": ["markdown"],
"items_limit": 20,
"cursor": 0
}
}crawl_id: create_crawl에서 반환된 크롤링 ID (필수)
formats: 페이지당 가져올 형식 배열 — markdown, html, json, text (기본값: ["markdown"])
items_limit: 콘텐츠를 가져올 최대 페이지 수, 1–100 (기본값: 20)
cursor: 발견된 페이지 목록에 대한 페이지네이션 커서 (기본값: 0)
search_query: 쿼리 관련성에 따라 페이지를 순위 지정/선택하기 위한 선택적 필터
진행 중: crawl_id, status (in_progress), pages_completed, pages_total, 그리고 약 10초 후에 다시 호출하라는 message.
완료 시: crawl_id, status (completed), pages_returned, next_cursor, has_more, 그리고 각 항목이 url, custom_id 및 요청된 콘텐츠 필드(markdown_content, html_content, json_content, text_content)를 가지는 pages 배열.
서버는 강력한 오류 처리를 제공합니다:
API 문제에 대한 상세한 오류 메시지
네트워크 오류 보고
인증 실패 처리
속도 제한 정보
오류 응답 예시:
{
"isError": true,
"content": [
{
"type": "text",
"text": "Olostep API Error: 401 Unauthorized. Details: {\"error\":\"Invalid API key\"}"
}
]
}MCP 서버는 Docker 이미지로 제공됩니다:
Docker Hub: [olostep/mcp-server](https://hub.docker.com/r/olostep/mcp-server)
공식 Docker MCP 레지스트리: mcp/olostep (곧 출시 예정 - 서명 및 SBOM으로 보안 강화)
GitHub 컨테이너 레지스트리: ghcr.io/olostep/olostep-mcp-server
Olostep MCP 서버는 Docker Desktop의 공식 MCP 툴킷에 추가되고 있으며, 이를 통해 사용자는 다음을 수행할 수 있습니다:
Docker Desktop의 MCP 툴킷 UI에서 발견
원클릭 설치
시각적 구성
MCP 호환 클라이언트(Claude Desktop, Cursor 등)와 함께 사용
상태: Docker MCP 레지스트리에 제출 진행 중
linux/amd64
linux/arm64
# Clone the repository
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
# Build the image
npm install
npm run build
docker build -t olostep/mcp-server .
# Run locally
docker run -i --rm -e OLOSTEP_API_KEY="your-key" olostep/mcp-serverISC 라이선스
Unclaimed servers have limited discoverability.
If you are the server author, to access and configure the admin panel.
Stealth scraping & search. Bypasses Cloudflare, DataDome & LinkedIn via Cyborg HITL approach.
Web search, page extraction and structured commerce, social and business data for AI agents
B2B and local lead gen: verified emails, site contacts, Maps and Yellow Pages leads.
We provide all the information about MCP servers via our MCP API.
curl -X GET 'https://glama.ai/api/mcp/v1/servers/olostep/olostep-mcp-server'
If you have feedback or need assistance with the MCP directory API, please join our Discord server
