qwen-web-research-mcp

웹 리서치용 MCP 서버: URL(또는 검색할 사이트 + 문구)이 주어지면 전체 페이지 콘텐츠를 가져와서 로컬 Qwen 모델(Ollama를 통해)을 사용해 해당 페이지에 대한 질문을 추출/답변합니다. 긴 페이지는 자동으로 청크로 분할되고 map-reduce 전략으로 분석되므로 건너뛰는 내용이 없습니다.

콘텐츠 추출은 trafilatura를 사용하며, 사이트별 CSS 선택자 대신 콘텐츠 휴리스틱을 기반으로 내비게이션/광고/보일러플레이트를 제거합니다. 따라서 사이트 레이아웃이 변경되어도 계속 작동합니다. 사이트 범위 검색은 DuckDuckGo의 site: 연산자를 사용하므로 사이트별 맞춤 스크래핑 코드 없이 모든 도메인에서 작동합니다.

도구

• analyze_page(url, question) — 페이지를 가져와 전체 콘텐츠에 대한 question에 답변합니다.

• search_site_and_analyze(site, phrase, question, max_results) — site에서 phrase를 포함하는 페이지를 찾은 다음 각 일치 항목에 대해 analyze_page 스타일 추출을 실행합니다.

• list_available_models() — 구성된 Ollama 서버에서 사용 가능한 Qwen/Ollama 모델을 나열합니다.

Related MCP server: searxng-mcp

요구 사항

• Python 3.11+

• Qwen 모델을 하나 이상 내려받은 Ollama 서버(기본값: qwen3:14b)

구성(환경 변수)

로컬에서 실행

python3 -m venv .venv
.venv/bin/pip install -e .
.venv/bin/python -m qwen_web_research.server

Docker로 실행

docker build -t qwen-web-research-mcp .
docker run -p 8001:8000 \
  -e MCP_TRANSPORT=streamable-http \
  -e MCP_HOST=0.0.0.0 \
  -e OLLAMA_HOST_IP=host.docker.internal \
  qwen-web-research-mcp

또는 다른 도구(예: Open WebUI)와 함께 docker-compose.yml의 서비스로 실행:

qwen-web-research:
  build: ./qwen-web-research-mcp
  ports:
    - "8001:8000"
  extra_hosts:
    - "host.docker.internal:host-gateway"
  environment:
    - MCP_TRANSPORT=streamable-http
    - MCP_HOST=0.0.0.0
    - MCP_PORT=8000
    - OLLAMA_HOST_IP=host.docker.internal
    - QWEN_MODEL=qwen3:14b

그런 다음 MCP 클라이언트(예: Open WebUI의 Tools/Connections 설정)를 http://qwen-web-research:8000/mcp(내부 Docker 네트워크) 또는 http://localhost:8001/mcp(호스트에서)로 지정하세요.