olostep-mcp
Olostep MCP 服务器
这是一个模型上下文协议 (MCP) 服务器实现,集成了 Olostep 的网页抓取、内容提取和搜索功能。 要设置 Olostep MCP 服务器,您需要一个 API 密钥。您可以通过在 Olostep 网站 上注册来获取 API 密钥。
功能
以 HTML、Markdown、JSON 或纯文本格式抓取网站内容(带有可选解析器)
基于解析器的网页搜索,提供结构化结果
AI 回答,包含引用和可选的 JSON 格式输出
批量抓取多达 10,000 个 URL
从起始 URL 开始的自主网站爬取
网站 URL 发现和映射(带有包含/排除过滤器)
针对特定国家的请求路由,用于地理定位内容
可配置的 JavaScript 重型网站等待时间
全面的错误处理和报告
简单的 API 密钥配置
Related MCP server: Parallel Task MCP
安装
有多种方式可以连接到 Olostep MCP 服务器。选择最适合您工作流程的一种。
☁️ 远程端点(推荐)
最简单的方法——无需本地安装。直接连接到我们托管的 MCP 服务器:
https://mcp.olostep.com/mcp身份验证通过 Authorization 标头中的 Bearer 令牌使用您的 Olostep API 密钥完成。有关配置示例,请参阅下方的 客户端设置 部分。
🐳 Docker Hub
拉取并运行官方 Docker 镜像:
docker pull olostep/mcp-server
docker run -i --rm \
-e OLOSTEP_API_KEY="your-api-key" \
olostep/mcp-server🔧 本地 Docker 构建
如果您更喜欢从源代码自行构建镜像:
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
npm install
npm run build
docker build -t olostep/mcp-server:local .
docker run -i --rm -e OLOSTEP_API_KEY="your-api-key" olostep/mcp-server:local📦 npx
使用 npx 运行,无需任何安装:
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp在 Windows (PowerShell) 上:
$env:OLOSTEP_API_KEY = "your-api-key"; npx -y olostep-mcp在 Windows (CMD) 上:
set OLOSTEP_API_KEY=your-api-key && npx -y olostep-mcp或者全局安装:
npm install -g olostep-mcp客户端设置
Cursor
最简单的方法是使用远程端点。在您的项目根目录中创建或编辑 .cursor/mcp.json:
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}替代方案(本地): 转到 Cursor 设置 > 功能 > MCP 服务器,点击“+ 添加新 MCP 服务器”:
名称:
olostep类型:
command命令:
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp
Claude Desktop
将其添加到您的 claude_desktop_config.json 中:
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}替代方案(Docker):
{
"mcpServers": {
"olostep": {
"command": "docker",
"args": [
"run", "-i", "--rm",
"-e", "OLOSTEP_API_KEY=YOUR_API_KEY_HERE",
"olostep/mcp-server"
]
}
}
}或者通过设备终端中的 Smithery CLI 安装:
npx -y @smithery/cli install @olostep/olostep-mcp-server --client claudeClaude Code
将远程端点添加到您的 Claude Code MCP 配置中:
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}替代方案(本地):
{
"mcpServers": {
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}Windsurf
将其添加到您的 ./codeium/windsurf/model_config.json 中:
{
"mcpServers": {
"olostep": {
"serverUrl": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}替代方案(本地):
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}VS Code
将其添加到您的 .vscode/mcp.json 中:
{
"servers": {
"olostep": {
"type": "http",
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}替代方案(本地):
{
"servers": {
"olostep": {
"type": "stdio",
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}Metorial
选项 1:一键安装(推荐)
打开 Metorial 仪表板
导航到 MCP 服务器目录
搜索“Olostep”
点击“安装”并输入您的 API 密钥
选项 2:手动配置
将此添加到您的 Metorial MCP 服务器配置中:
{
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}之后,Olostep 工具将在您的 Metorial AI 聊天中可用。
配置
环境变量
OLOSTEP_API_KEY:您的 Olostep API 密钥(必需)ORBIT_KEY:用于使用 Orbit 路由请求的可选密钥。
可用工具
1. 抓取网站 (scrape_website)
从单个 URL 提取内容。支持多种格式和 JavaScript 渲染。
{
"name": "scrape_website",
"arguments": {
"url_to_scrape": "https://example.com",
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 1000,
"parser": "@olostep/amazon-product"
}
}参数:
url_to_scrape:您要抓取的网站 URL(必需)output_format:选择格式(html、markdown、json或text) - 默认:markdowncountry:可选的国家代码(例如 US、GB、CA),用于特定位置的抓取wait_before_scraping:抓取前的等待时间(毫秒,0-10000)parser:用于专门提取的可选解析器 ID
响应(示例):
{
"content": [
{
"type": "text",
"text": "{\n \"id\": \"scrp_...\",\n \"url\": \"https://example.com\",\n \"markdown_content\": \"# ...\",\n \"html_content\": null,\n \"json_content\": null,\n \"text_content\": null,\n \"status\": \"succeeded\",\n \"timestamp\": \"2025-11-14T12:34:56Z\",\n \"screenshot_hosted_url\": null,\n \"page_metadata\": { }\n}"
}
]
}2. 搜索网页 (search_web)
搜索网页以获取给定查询,并获得结构化结果(非 AI,基于解析器)。
{
"name": "search_web",
"arguments": {
"query": "your search query",
"country": "US"
}
}参数:
query:搜索查询(必需)country:用于本地化结果的可选国家代码(默认:US)
响应:
代表基于解析器结果的结构化 JSON(作为文本)
3. 回答 (AI) (answers)
搜索网页并以您想要的 JSON 结构返回 AI 驱动的答案,包含来源和引用。
{
"name": "answers",
"arguments": {
"task": "Who are the top 5 competitors to Acme Inc. in the EU?",
"json": "Return a list of the top 5 competitors with name and homepage URL"
}
}参数:
task:使用网页数据回答的问题或任务(必需)json:可选的 JSON 模式/对象或所需输出形状的简短描述
响应包括:
answer_id、object、task、result(如果提供则为 JSON)、sources、created
4. 批量抓取 URL (batch_scrape_urls)
同时抓取多达 10,000 个 URL。非常适合大规模数据提取。
{
"name": "batch_scrape_urls",
"arguments": {
"urls_to_scrape": [
{"url": "https://example.com/a", "custom_id": "a"},
{"url": "https://example.com/b", "custom_id": "b"}
],
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 500,
"parser": "@olostep/amazon-product"
}
}响应包括:
batch_id、status、total_urls、created_at、formats、country、parser、urls
5. 创建爬取 (create_crawl)
启动一个 异步 爬取,通过跟踪链接自主发现并抓取整个网站。返回一个 crawl_id — 爬取在后台运行,此响应中不返回内容。您必须随后使用 crawl_id 调用 get_crawl_results 来轮询状态并检索抓取的页面(与 batch_scrape_urls + get_batch_results 相同的两步模式)。
{
"name": "create_crawl",
"arguments": {
"start_url": "https://example.com/docs",
"max_pages": 25,
"follow_links": true,
"output_format": "markdown",
"country": "US",
"parser": "@olostep/doc-parser"
}
}响应包括:
crawl_id、object、status、start_url、max_pages、follow_links、created、formats、country、parser
将此调用与
get_crawl_results配对 — 不要将crawl_id传递给get_batch_results(爬取和批处理是独立的资源)。
6. 创建地图 (create_map)
获取网站上的所有 URL。提取所有 URL 以进行发现和分析。
{
"name": "create_map",
"arguments": {
"website_url": "https://example.com",
"search_query": "blog",
"top_n": 200,
"include_url_patterns": ["/blog/**"],
"exclude_url_patterns": ["/admin/**"]
}
}响应包括:
map_id、object、url、total_urls、urls、search_query、top_n
7. 获取网页内容 (get_webpage_content)
以简洁的 Markdown 格式检索网页内容,支持 JavaScript 渲染。
{
"name": "get_webpage_content",
"arguments": {
"url_to_scrape": "https://example.com",
"wait_before_scraping": 1000,
"country": "US"
}
}参数:
url_to_scrape:要抓取的网页 URL(必需)wait_before_scraping:开始抓取前等待的时间(毫秒,默认:0)country:加载请求的居住国(例如 US、CA、GB)(可选)
响应:
{
"content": [
{
"type": "text",
"text": "# Example Website\n\nThis is the markdown content of the webpage..."
}
]
}8. 获取网站 URL (get_website_urls)
搜索并检索网站的相关 URL,按与您的查询的相关性排序。
{
"name": "get_website_urls",
"arguments": {
"url": "https://example.com",
"search_query": "your search term"
}
}参数:
url:要映射的网站 URL(必需)search_query:用于对 URL 进行排序的搜索查询(必需)
响应:
{
"content": [
{
"type": "text",
"text": "Found 42 URLs matching your query:\n\nhttps://example.com/page1\nhttps://example.com/page2\n..."
}
]
}9. 获取批处理结果 (get_batch_results)
使用其 batch_id 检索先前提交的批量抓取作业的结果。
{
"name": "get_batch_results",
"arguments": {
"batch_id": "batch_abc123"
}
}参数:
batch_id:从batch_scrape_urls返回的批处理 ID(必需)
响应包括:
batch_id、status(processing或completed)、total_urls、completed_urls、items(每个 URL 的抓取结果数组,包含url、custom_id、markdown_content、html_content、json_content、text_content、status、page_metadata)
10. 获取爬取结果 (get_crawl_results)
检索使用 create_crawl 启动的异步爬取的状态和抓取的页面。这是 create_crawl 的必需配套工具 — create_crawl 仅启动作业并返回 crawl_id;此工具是您实际获取发现的页面及其内容的方式。
{
"name": "get_crawl_results",
"arguments": {
"crawl_id": "crawl_abc123",
"formats": ["markdown"],
"items_limit": 20,
"cursor": 0
}
}参数:
crawl_id:从create_crawl返回的爬取 ID(必需)formats:每页要检索的格式数组 —markdown、html、json、text(默认:["markdown"])items_limit:要检索内容的最大页面数,1–100(默认:20)cursor:进入发现页面列表的分页游标(默认:0)search_query:可选过滤器,用于按与查询的相关性对页面进行排名/选择
响应包括:
进行中时:
crawl_id、status(in_progress)、pages_completed、pages_total以及提示您在大约 10 秒后再次调用的message。完成时:
crawl_id、status(completed)、pages_returned、next_cursor、has_more以及一个pages数组,其中每个条目都有url、custom_id和请求的内容字段(markdown_content、html_content、json_content、text_content)。
错误处理
服务器提供强大的错误处理:
针对 API 问题的详细错误消息
网络错误报告
身份验证失败处理
速率限制信息
错误响应示例:
{
"isError": true,
"content": [
{
"type": "text",
"text": "Olostep API Error: 401 Unauthorized. Details: {\"error\":\"Invalid API key\"}"
}
]
}分发
Docker 镜像
MCP 服务器以 Docker 镜像形式提供:
Docker Hub:
[olostep/mcp-server](https://hub.docker.com/r/olostep/mcp-server)官方 Docker MCP 注册表:
mcp/olostep(即将推出 - 增强了签名和 SBOM 的安全性)GitHub 容器注册表:
ghcr.io/olostep/olostep-mcp-server
Docker Desktop MCP 工具包
Olostep MCP 服务器正在被添加到 Docker Desktop 的官方 MCP 工具包中,这意味着用户将能够:
在 Docker Desktop 的 MCP 工具包 UI 中发现它
一键安装
可视化配置
将其与任何兼容 MCP 的客户端(Claude Desktop、Cursor 等)一起使用
状态:正在提交至 Docker MCP 注册表
支持的平台
linux/amd64linux/arm64
本地构建
# Clone the repository
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
# Build the image
npm install
npm run build
docker build -t olostep/mcp-server .
# Run locally
docker run -i --rm -e OLOSTEP_API_KEY="your-key" olostep/mcp-server许可证
ISC 许可证
Maintenance
Resources
Unclaimed servers have limited discoverability.
Looking for Admin?
If you are the server author, to access and configure the admin panel.
Related MCP Servers
- FlicenseBqualityDmaintenanceEnables web searching and content scraping through Google Custom Search API. Provides tools to search the internet, extract webpage content, and automatically scrape search results for comprehensive information gathering.3

hasdata-mcpofficial
AlicenseAqualityDmaintenanceDirect access to 40+ scraping and search tools. Extract structured data from Google (Search, Maps, Trends), Amazon, Airbnb, Social Media, and any web page directly into your AI agent.424MIT- MIT
Related MCP Connectors
Stealth scraping & search. Bypasses Cloudflare, DataDome & LinkedIn via Cyborg HITL approach.
Web search, page extraction and structured commerce, social and business data for AI agents
B2B and local lead gen: verified emails, site contacts, Maps and Yellow Pages leads.
Latest Blog Posts
- Who's Calling? MCP Hosts Are an Identity Blind Spot (And the Spec Knows It)By Om-Shree-0709 on .mcpAgent IdentityOAuth 2.1
- Your AI Chatbot Just Exposed Your CEO's Salary to an InternBy Om-Shree-0709 on .Agent IdentityMCP SecurityOAuth Delegation
- Why MCP Servers Need Execution Sandboxing (And Why Your Current Stack Isn't Enough)By Om-Shree-0709 on .Agentic AiPrompt InjectionWebAssembly
MCP directory API
We provide all the information about MCP servers via our MCP API.
curl -X GET 'https://glama.ai/api/mcp/v1/servers/olostep/olostep-mcp-server'
If you have feedback or need assistance with the MCP directory API, please join our Discord server