hybrid server

The server is able to function both locally and remotely, depending on the configuration or use case.

Integrations

Uses .ENV files to manage API keys and configuration settings for the WebSearch server.
Provides integration for repository management, allowing users to fork, clone, and contribute to the WebSearch project.
Supports output of crawled and extracted web content in Markdown format for improved readability and structure.

WebSearch - 고급 웹 검색 및 콘텐츠 추출 도구

Python으로 구축된 강력한 웹 검색 및 콘텐츠 추출 도구로, 고급 웹 스크래핑, 검색 및 콘텐츠 분석 기능을 제공하는 Firecrawl API를 활용합니다.

🚀 특징

고급 웹 검색 : 사용자 정의 가능한 매개변수를 사용하여 지능형 웹 검색을 수행합니다.
콘텐츠 추출 : 자연어 프롬프트를 사용하여 웹 페이지에서 특정 정보를 추출합니다.
웹 크롤링 : 구성 가능한 깊이와 제한으로 웹사이트 크롤링
웹 스크래핑 : 다양한 출력 형식을 지원하여 웹 페이지 스크래핑
MCP 통합 : 원활한 통합을 위한 MCP(Model Context Protocol) 서버로 구축됨

📋 필수 조건

Python 3.8 이상
uv 패키지 관리자
Firecrawl API 키
OpenAI API 키(선택 사항, 향상된 기능용)
Tavily API 키(선택 사항, 추가 검색 기능용)

🛠️ 설치

uv 설치:

지엑스피1

저장소를 복제합니다.

git clone https://github.com/yourusername/websearch.git
cd websearch

uv를 사용하여 가상 환경을 만들고 활성화합니다.

# Create virtual environment
uv venv

# Activate on Windows
.\.venv\Scripts\activate.ps1

# Activate on Unix/MacOS
source .venv/bin/activate

uv를 사용하여 종속성을 설치합니다.

# Install from requirements.txt
uv sync

환경 변수 설정:

# Create .env file
touch .env

# Add your API keys
FIRECRAWL_API_KEY=your_firecrawl_api_key
OPENAI_API_KEY=your_openai_api_key

🎯 사용법

데스크톱용 Claude 설정

서버를 직접 실행하는 대신 Claude for Desktop을 구성하여 WebSearch 도구에 액세스할 수 있습니다.

Claude for Desktop 구성 파일을 찾거나 만드세요.
- 윈도우: %env:AppData%\Claude\claude_desktop_config.json
- macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
mcpServers 섹션에 WebSearch 서버 구성을 추가합니다.

{
  "mcpServers": {
    "websearch": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\ABSOLUTE\\PATH\\TO\\WebSearch",
        "run",
        "main.py"
      ]
    }
  }
}

디렉토리 경로를 WebSearch 프로젝트 폴더의 절대 경로로 바꿔야 합니다.
구성 파일을 저장하고 Claude for Desktop을 다시 시작합니다.
구성이 완료되면 WebSearch 도구가 Claude for Desktop의 도구 메뉴(망치 아이콘)에 나타납니다.

사용 가능한 도구

찾다
정보 추출
웹사이트 크롤링
스크랩 콘텐츠

📚 API 참조

찾다

query (str): 검색 쿼리
반환: JSON 형식의 검색 결과

발췌

urls (List[str]): 정보를 추출할 URL 목록
prompt (str): 추출 지침
enableWebSearch (bool): 보충 웹 검색을 활성화합니다.
showSources (bool): 소스 참조 포함
반환: 지정된 형식으로 추출된 정보

기다

url (str): 시작 URL
maxDepth (int): 최대 크롤링 깊이
limit (int): 크롤링할 최대 페이지 수
반환: 마크다운/HTML 형식의 크롤링된 콘텐츠

긁다

url (str): 대상 URL
반환: 선택적 스크린샷이 포함된 스크래핑된 콘텐츠

🔧 구성

환경 변수

이 도구가 작동하려면 특정 API 키가 필요합니다. 템플릿으로 사용할 수 있는 .env.example 파일이 제공됩니다.

예제 파일을 복사하세요:

# On Unix/MacOS
cp .env.example .env

# On Windows
copy .env.example .env

API 키로 .env 파일을 편집하세요.

# OpenAI API key - Required for AI-powered features
OPENAI_API_KEY=your_openai_api_key_here

# Firecrawl API key - Required for web scraping and searching
FIRECRAWL_API_KEY=your_firecrawl_api_key_here

API 키 가져오기

OpenAI API 키 :
- OpenAI 플랫폼 방문
- 가입 또는 로그인
- API 키 섹션으로 이동
- 새로운 비밀 키 생성
Firecrawl API 키 :
- Firecrawl 웹사이트를 방문하세요
- 계정을 생성하세요
- 대시보드로 이동
- 새로운 API 키 생성

모든 것이 올바르게 구성되었다면 검색 결과가 포함된 JSON 응답을 받게 됩니다.

문제 해결

오류가 발생하는 경우:

모든 필수 API 키가 .env 파일에 설정되어 있는지 확인하세요.
API 키가 유효하고 만료되지 않았는지 확인하세요.
.env 파일이 프로젝트의 루트 디렉토리에 있는지 확인하세요.
환경 변수가 올바르게 로드되는지 확인하세요.

🤝 기여하기

저장소를 포크하세요
기능 브랜치를 생성합니다( git checkout -b feature/AmazingFeature )
변경 사항을 커밋합니다( git commit -m 'Add some AmazingFeature' )
브랜치에 푸시( git push origin feature/AmazingFeature )
풀 리퀘스트 열기

📝 라이센스

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여되었습니다. 자세한 내용은 라이선스 파일을 참조하세요.

🙏 감사의 말

강력한 웹 스크래핑 API를 제공하는 Firecrawl
AI 기능을 위한 OpenAI
MCP 프로토콜 사양을 위한 MCP 커뮤니티

📬 문의하기

호세 마르틴 로드리게스 모르탈로니(José Martín Rodriguez Mortaloni) - @m4s1t425 - jmrodriguezm13@gmail.com

Python과 Firecrawl을 사용하여 ❤️로 만들었습니다.

You must be authenticated.

A

security – no known vulnerabilities

F

license - not found

A

quality - confirmed to work

Tools

Firecrawl API를 사용하여 고급 웹 검색, 콘텐츠 추출, 웹 크롤링 및 스크래핑 기능을 제공하는 MCP(Model Context Protocol) 서버로 구축되었습니다.

Related Resources

Reddit Discussion about this server