Skip to main content
Glama
tjrgus0320

News Crawler MCP Server

by tjrgus0320

News Crawler MCP Server

뉴스 기사를 크롤링하여 블로그 포스팅용 마크다운을 자동 생성하는 MCP 서버입니다.

주요 기능

  • 카테고리별 뉴스 크롤링: 정치, 경제, 사회, 생활/문화, 세계, IT/과학

  • 블로그 포맷 출력: 복사하여 바로 사용 가능한 마크다운 형식

  • 일일 뉴스 다이제스트: 모든 카테고리의 주요 뉴스 한번에 수집

  • 자동 스케줄링: Windows Task Scheduler로 매일 자동 실행

Related MCP server: defuddle-mcp

빠른 시작

1. 저장소 클론

git clone <repository-url>
cd news-crawler-mcp

2. 가상환경 생성 및 의존성 설치

# Windows
python -m venv venv
.\venv\Scripts\activate
pip install -r requirements.txt
# macOS/Linux
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

3. 테스트 실행

python run_scheduler.py

실행 후 output/ 폴더에 마크다운 파일이 생성됩니다.

Claude Desktop 연동

%APPDATA%\Claude\claude_desktop_config.json (Windows) 또는 ~/Library/Application Support/Claude/claude_desktop_config.json (macOS) 파일에 추가:

{
  "mcpServers": {
    "news-crawler": {
      "command": "절대경로/venv/Scripts/python.exe",
      "args": ["-m", "src.server"],
      "cwd": "절대경로/news-crawler-mcp"
    }
  }
}

Windows 경로 예시: D:\\repository\\news-crawler-mcp

Claude Code 연동

프로젝트 폴더에서 Claude Code 실행 시 mcp.json이 자동 인식됩니다.

사용 가능한 MCP Tools

Tool

설명

주요 매개변수

list_categories

카테고리 목록 조회

-

crawl_news_by_category

특정 카테고리 크롤링

category, max_articles

crawl_daily_news

전체 카테고리 일일 뉴스

categories, max_per_category

get_article_detail

기사 상세 조회

url

save_to_file

마크다운 파일 저장

content, filename

카테고리 ID

ID

이름

politics

정치

economy

경제

society

사회

life

생활/문화

world

세계

it

IT/과학

프롬프트 예시

"오늘의 IT 뉴스 5개 크롤링해서 블로그용으로 정리해줘"

"경제 카테고리 주요 기사 요약해줘"

"오늘 하루 뉴스 전체 카테고리별로 정리해줘"

자동 스케줄링 (Windows)

매일 정해진 시간에 자동으로 뉴스를 크롤링하고 파일로 저장합니다.

Task Scheduler 등록

관리자 권한 PowerShell에서 실행:

# 매일 오전 9시 실행
schtasks /create /tn "NewsCrawler" /tr "경로\run_crawler.bat" /sc daily /st 09:00 /f

시간 변경

schtasks /change /tn "NewsCrawler" /st 18:00

등록 확인

schtasks /query /tn "NewsCrawler"

삭제

schtasks /delete /tn "NewsCrawler" /f

프로젝트 구조

news-crawler-mcp/
├── src/
│   ├── server.py           # MCP 서버 메인
│   ├── crawlers/
│   │   └── naver.py        # 네이버 뉴스 크롤러
│   ├── models/
│   │   └── article.py      # Article, Category 데이터 모델
│   ├── formatters/
│   │   └── blog.py         # 마크다운 블로그 포맷터
│   └── utils/
│       └── http.py         # 비동기 HTTP 클라이언트
├── config/
│   └── settings.yaml       # 크롤링 설정
├── output/                  # 생성된 마크다운 저장
├── run_scheduler.py         # 스케줄러 실행 스크립트
├── run_crawler.bat          # Windows 배치 파일
├── mcp.json                 # Claude Code 설정
├── requirements.txt
└── pyproject.toml

의존성

  • Python 3.10+

  • mcp >= 1.0.0

  • httpx >= 0.27.0

  • beautifulsoup4 >= 4.12.0

  • lxml >= 5.0.0

  • pydantic >= 2.0.0

  • pyyaml >= 6.0.0

출력 예시

# [2025.01.27] 오늘의 뉴스 모음

오늘의 주요 뉴스를 카테고리별로 정리했습니다.

---

## IT/과학

### 1. 삼성전자, 갤럭시 S25 시리즈 공개

> 출처: [원문](https://news.naver.com/...)

### 2. AI 스타트업 투자 급증

> 출처: [원문](https://news.naver.com/...)

---

*총 30개의 기사가 수집되었습니다.*

🌐 웹 애플리케이션

뉴스 크롤링 결과를 웹에서 조회하고 블로그 템플릿을 생성할 수 있는 웹 애플리케이션입니다.

기술 스택

  • Backend: FastAPI, Supabase, APScheduler

  • Frontend: React 18, TypeScript, Tailwind CSS, Vite

사전 요구사항

  1. Supabase 프로젝트 생성: supabase.com에서 무료 프로젝트 생성

  2. 테이블 생성: backend/supabase_schema.sql 실행

Backend 실행

cd backend

# 가상환경 생성
python -m venv venv
.\venv\Scripts\activate  # Windows
# source venv/bin/activate  # macOS/Linux

# 의존성 설치
pip install -r requirements.txt

# 환경변수 설정
copy .env.example .env
# .env 파일에 Supabase URL과 Key 입력

# 서버 실행
uvicorn main:app --reload --port 8000

Frontend 실행

cd frontend

# 의존성 설치
npm install

# 개발 서버 실행
npm run dev

접속

API 엔드포인트

Method

Endpoint

설명

GET

/api/news

뉴스 목록 (페이지네이션, 필터)

GET

/api/news/{id}

뉴스 상세

GET

/api/news/{id}/template

블로그 템플릿

GET

/api/categories

카테고리 목록

GET

/api/status

마지막 크롤링 상태

POST

/api/news/crawl

수동 크롤링 실행

스케줄러

APScheduler가 매일 오전 9시에 자동으로 모든 카테고리의 뉴스를 크롤링합니다.

# .env에서 설정 변경 가능
SCHEDULER_ENABLED=true
CRAWL_HOUR=9
CRAWL_MINUTE=0

라이선스

MIT License

F
license - not found
-
quality - not tested
D
maintenance

Maintenance

Maintainers
Response time
Release cycle
Releases (12mo)
Commit activity

Resources

Unclaimed servers have limited discoverability.

Looking for Admin?

If you are the server author, to access and configure the admin panel.

Latest Blog Posts

MCP directory API

We provide all the information about MCP servers via our MCP API.

curl -X GET 'https://glama.ai/api/mcp/v1/servers/tjrgus0320/news-crawler-mcp'

If you have feedback or need assistance with the MCP directory API, please join our Discord server