web_map
Discover crawlable URLs for a site by merging sitemap and homepage links, with optional search results and regex filtering, even when no sitemap exists.
Instructions
发现站点 URL:sitemap + 入口页站内链接,可选合并搜索结果。
与 web_index 的区别:web_index 做增量清单对比,web_map 只负责"尽快列出这个站有哪些 可抓的 URL"。无 sitemap 的站点也能从入口页链接得到候选;同一 URL 只出现一次, 并标出来源(sitemap / homepage / search)。
Args:
url: 站点根或任意页面 URL;也可直接给 sitemap 地址(此时不再抓入口页链接)。
include: 只保留 URL 匹配该正则的条目;不传不过滤。
exclude: 排除 URL 匹配该正则的条目;不传不排除。
search: 只保留 URL 中匹配该子串的条目(大小写不敏感);不传不过滤。
limit: 最多返回多少条 URL(默认 500,硬上限 5000)。
homepage: True 时抓入口页并提取站内链接(默认 True)。
use_search: True 时额外用 web_search 查 site:<host> 合并结果(默认 False)。
session: 抓入口页时使用的登录态会话名(默认 default)。
deadline_ms: 整次调用的总预算(毫秒),不传表示不限。
proxy: 本次所有请求共用的代理;不传则按代理池分配,未配池时沿用全局配置。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | ||
| limit | No | ||
| proxy | No | ||
| search | No | ||
| exclude | No | ||
| include | No | ||
| session | No | default | |
| homepage | No | ||
| use_search | No | ||
| deadline_ms | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |