WebSearch
WebSearch - 고급 웹 검색 및 콘텐츠 추출 도구
Python으로 구축된 강력한 웹 검색 및 콘텐츠 추출 도구로, 고급 웹 스크래핑, 검색 및 콘텐츠 분석 기능을 제공하는 Firecrawl API를 활용합니다.
🚀 특징
고급 웹 검색 : 사용자 정의 가능한 매개변수를 사용하여 지능형 웹 검색을 수행합니다.
콘텐츠 추출 : 자연어 프롬프트를 사용하여 웹 페이지에서 특정 정보를 추출합니다.
웹 크롤링 : 구성 가능한 깊이와 제한으로 웹사이트 크롤링
웹 스크래핑 : 다양한 출력 형식을 지원하여 웹 페이지 스크래핑
MCP 통합 : 원활한 통합을 위한 MCP(Model Context Protocol) 서버로 구축됨
Related MCP server: Firecrawl MCP Server
📋 필수 조건
Python 3.8 이상
uv 패키지 관리자
Firecrawl API 키
OpenAI API 키(선택 사항, 향상된 기능용)
Tavily API 키(선택 사항, 추가 검색 기능용)
🛠️ 설치
uv 설치:
지엑스피1
저장소를 복제합니다.
git clone https://github.com/yourusername/websearch.git
cd websearchuv를 사용하여 가상 환경을 만들고 활성화합니다.
# Create virtual environment
uv venv
# Activate on Windows
.\.venv\Scripts\activate.ps1
# Activate on Unix/MacOS
source .venv/bin/activateuv를 사용하여 종속성을 설치합니다.
# Install from requirements.txt
uv sync환경 변수 설정:
# Create .env file
touch .env
# Add your API keys
FIRECRAWL_API_KEY=your_firecrawl_api_key
OPENAI_API_KEY=your_openai_api_key🎯 사용법
데스크톱용 Claude 설정
서버를 직접 실행하는 대신 Claude for Desktop을 구성하여 WebSearch 도구에 액세스할 수 있습니다.
Claude for Desktop 구성 파일을 찾거나 만드세요.
윈도우:
%env:AppData%\Claude\claude_desktop_config.jsonmacOS:
~/Library/Application Support/Claude/claude_desktop_config.json
mcpServers섹션에 WebSearch 서버 구성을 추가합니다.
{
"mcpServers": {
"websearch": {
"command": "uv",
"args": [
"--directory",
"D:\\ABSOLUTE\\PATH\\TO\\WebSearch",
"run",
"main.py"
]
}
}
}디렉토리 경로를 WebSearch 프로젝트 폴더의 절대 경로로 바꿔야 합니다.
구성 파일을 저장하고 Claude for Desktop을 다시 시작합니다.
구성이 완료되면 WebSearch 도구가 Claude for Desktop의 도구 메뉴(망치 아이콘)에 나타납니다.
사용 가능한 도구
찾다
정보 추출
웹사이트 크롤링
스크랩 콘텐츠
📚 API 참조
찾다
query(str): 검색 쿼리반환: JSON 형식의 검색 결과
발췌
urls(List[str]): 정보를 추출할 URL 목록prompt(str): 추출 지침enableWebSearch(bool): 보충 웹 검색을 활성화합니다.showSources(bool): 소스 참조 포함반환: 지정된 형식으로 추출된 정보
기다
url(str): 시작 URLmaxDepth(int): 최대 크롤링 깊이limit(int): 크롤링할 최대 페이지 수반환: 마크다운/HTML 형식의 크롤링된 콘텐츠
긁다
url(str): 대상 URL반환: 선택적 스크린샷이 포함된 스크래핑된 콘텐츠
🔧 구성
환경 변수
이 도구가 작동하려면 특정 API 키가 필요합니다. 템플릿으로 사용할 수 있는 .env.example 파일이 제공됩니다.
예제 파일을 복사하세요:
# On Unix/MacOS
cp .env.example .env
# On Windows
copy .env.example .envAPI 키로
.env파일을 편집하세요.
# OpenAI API key - Required for AI-powered features
OPENAI_API_KEY=your_openai_api_key_here
# Firecrawl API key - Required for web scraping and searching
FIRECRAWL_API_KEY=your_firecrawl_api_key_hereAPI 키 가져오기
OpenAI API 키 :
OpenAI 플랫폼 방문
가입 또는 로그인
API 키 섹션으로 이동
새로운 비밀 키 생성
Firecrawl API 키 :
Firecrawl 웹사이트를 방문하세요
계정을 생성하세요
대시보드로 이동
새로운 API 키 생성
모든 것이 올바르게 구성되었다면 검색 결과가 포함된 JSON 응답을 받게 됩니다.
문제 해결
오류가 발생하는 경우:
모든 필수 API 키가
.env파일에 설정되어 있는지 확인하세요.API 키가 유효하고 만료되지 않았는지 확인하세요.
.env파일이 프로젝트의 루트 디렉토리에 있는지 확인하세요.환경 변수가 올바르게 로드되는지 확인하세요.
🤝 기여하기
저장소를 포크하세요
기능 브랜치를 생성합니다(
git checkout -b feature/AmazingFeature)변경 사항을 커밋합니다(
git commit -m 'Add some AmazingFeature')브랜치에 푸시(
git push origin feature/AmazingFeature)풀 리퀘스트 열기
📝 라이센스
이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여되었습니다. 자세한 내용은 라이선스 파일을 참조하세요.
🙏 감사의 말
📬 문의하기
호세 마르틴 로드리게스 모르탈로니(José Martín Rodriguez Mortaloni) - @m4s1t425 - jmrodriguezm13@gmail.com
Python과 Firecrawl을 사용하여 ❤️로 만들었습니다.
Available Tools
4 toolscrawlB
Crawls a website starting from the specified URL and extracts content from multiple pages. Args: - url: The complete URL of the web page to start crawling from - maxDepth: The maximum depth level for crawling linked pages - limit: The maximum number of pages to crawl
Returns:
- Content extracted from the crawled pages in markdown and HTML format
Inputs: url (required), maxDepth (required), limit (required).
extractB
Extracts specific information from a web page based on a prompt. Args: - url: The complete URL of the web page to extract information from - prompt: Instructions specifying what information to extract from the page - enabaleWebSearch: Whether to allow web searches to supplement the extraction - showSources: Whether to include source references in the response
Returns:
- Extracted information from the web page based on the prompt
Inputs: url (required), prompt (required), enabaleWebSearch (required), showSources (required).
scrapeD
Inputs: url (required).
searchC
Performs web searches and retrieves up-to-date information from the internet. Args: - prompt: Specific query or topic to search for on the internet - limit: Maximum number of results to return (between 1 and 20)
Returns:
- Search results with relevant information about the requested topic
Inputs: query (required).
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 4 tools
The tools have significant overlap and unclear boundaries. 'crawl' extracts content from multiple pages, 'extract' pulls specific info from a single page, and 'scrape' (with no description) is ambiguous—likely overlapping with both. 'search' is distinct for web searches, but the others could easily be confused for similar web content tasks.
All tool names follow a consistent, simple verb pattern (crawl, extract, scrape, search). They are short, clear, and uniformly styled without mixing conventions, making them predictable and easy to parse.
Four tools is reasonable for a web search domain, allowing coverage of crawling, extraction, scraping, and searching. It's slightly thin but manageable, as each tool addresses a core aspect of web data retrieval without being overly bloated.
There are notable gaps in the tool surface. The server covers basic retrieval (crawl, search) and extraction, but lacks update/delete operations (e.g., no tool to modify or clear cached data) and has a dead tool ('scrape' with no description), which limits functionality. However, agents can work around this for common web search tasks.
Related MCP Connectors
Scrape, crawl, and search the web via Firecrawl’s official hosted MCP.
Firecrawl, the context API for AI agents: search, scrape, interact with the web, plus paper search.
Web search API and MCP server for developers building AI agents.
Unofficial Firecrawl MCP — wraps the Firecrawl API (firecrawl.dev) for web scraping / crawling /…
Related MCP Servers
- AlicenseAqualityDmaintenanceA Model Context Protocol server that enables web search, scraping, crawling, and content extraction through multiple engines including SearXNG, Firecrawl, and Tavily.4230 npm148MIT
- AlicenseBqualityDmaintenanceA Model Context Protocol server that enables AI assistants to perform advanced web scraping, crawling, searching, and data extraction through the Firecrawl API.9MIT
- AlicenseAqualityDmaintenanceA Model Context Protocol server that enables web scraping, crawling, and content extraction capabilities through integration with Firecrawl.82MIT
- FlicenseAqualityDmaintenanceA production-ready Model Context Protocol (MCP) server that integrates with the Firecrawl API to give AI assistants the power to scrape, crawl, and search the web.3-
Appeared in Searches
- Web search tools and methods that don't require API keys
- A server for searching research papers, Kaggle datasets, and websites for ML/AI model training data
- iPhone 16e camera review summary and table creation in Italian
- Web scraping and content extraction
- Web scraping tool for extracting content from SearXNG search results