qwen-web-research-mcp

MCP-сервер для веб-исследований: по URL (или сайту + фразе для поиска) он получает полное содержимое страницы и использует локальную модель Qwen (через Ollama) для извлечения/ответа на вопрос о ней. Длинные страницы автоматически разбиваются на фрагменты и анализируются по стратегии map-reduce, так что ничего не пропускается.

Для извлечения контента используется trafilatura, которая отбрасывает навигацию/рекламу/шаблонный код на основе эвристики контента, а не CSS-селекторов конкретного сайта — поэтому она продолжит работать, если изменится вёрстка сайта. Поиск по сайту использует оператор site: DuckDuckGo, поэтому любой домен работает без написания собственного кода для парсинга.

Инструменты

• analyze_page(url, question) — получить страницу и ответить на question по её полному содержимому.

• search_site_and_analyze(site, phrase, question, max_results) — найти страницы на site, содержащие phrase, затем выполнить извлечение в стиле analyze_page для каждого совпадения.

• list_available_models() — вывести список моделей Qwen/Ollama, доступных на настроенном сервере Ollama.

Related MCP server: searxng-mcp

Требования

• Python 3.11+

• Сервер Ollama с загруженной хотя бы одной моделью Qwen (по умолчанию qwen3:14b)

Конфигурация (переменные окружения)

Запуск локально

python3 -m venv .venv
.venv/bin/pip install -e .
.venv/bin/python -m qwen_web_research.server

Запуск с помощью Docker

docker build -t qwen-web-research-mcp .
docker run -p 8001:8000 \
  -e MCP_TRANSPORT=streamable-http \
  -e MCP_HOST=0.0.0.0 \
  -e OLLAMA_HOST_IP=host.docker.internal \
  qwen-web-research-mcp

Или как сервис в docker-compose.yml вместе с другими инструментами (например, Open WebUI):

qwen-web-research:
  build: ./qwen-web-research-mcp
  ports:
    - "8001:8000"
  extra_hosts:
    - "host.docker.internal:host-gateway"
  environment:
    - MCP_TRANSPORT=streamable-http
    - MCP_HOST=0.0.0.0
    - MCP_PORT=8000
    - OLLAMA_HOST_IP=host.docker.internal
    - QWEN_MODEL=qwen3:14b

Затем укажите вашему MCP-клиенту (например, в настройках Tools/Connections в Open WebUI) адрес http://qwen-web-research:8000/mcp (внутренняя сеть Docker) или http://localhost:8001/mcp (с хоста).