Tech Collector MCP
About
Collects and summarizes technical articles from sources like Qiita, Dev.to, NewsAPI, and Hacker News using the Gemini API.
Details
- Author
- ruumalilja
- Categories
- Web Scraping, Other, AI
Jump to
Setup
Install Tech Collector MCP in your MCP client (Claude Desktop, Cursor, Windsurf, and others).
Repository: https://github.com/ruumalilja/tech-collector-mcp
Follow the installation instructions in the repository README, then restart your MCP client.
Collects and summarizes technical articles from sources like Qiita, Dev.to, NewsAPI, and Hacker News using the Gemini API.
Qiita × MCP × Gemini— AI クライアントから呼び出せる “技術記事収集・要約 & Notion 連携” プロトタイプ
tech-collector-mcpはMCP (Model Context Protocol)を使い、複数ソース（Qiita／Dev.to／NewsAPI／Hacker News）から技術記事を一括取得し、Gemini APIで要約、Notionデータベースへ自動同期まで行うCLI ベースの実験プロジェクトです。
AI-Powered Prototyping: ChatGPT や Claude を活用した迅速なプロトタイピングを実施しています。
Prototyping Phase🛠️ スキーマ & プロンプトは随時更新中。
- Node.js18.x以上
- npm または yarn
- .envは.env.exampleを参照して作成
# ==== API Keys & Tokens ==== GEMINI_API_KEY=your_gemini_api_key_here # Google Generative AI NEWSAPI_KEY=your_newsapi_api_key_here # NewsAPI.org QIITA_TOKEN=your_qiita_token_here # Qiita (optional) # ==== Pagination Settings ==== PAGE_LIMIT=3 # デフォルト取得件数/サービス ITEMS_PER_PAGE=10 # ページネーション単位 # ==== Notion Integration ==== NOTION_API_KEY=your_notion_api_key_here # Notion Integration Token NOTION_DATABASE_ID=your_database_id_here # 記事保存用DB ID
# 1) Clone $ git clone https://github.com/RuumaLilja/tech-collector-mcp.git $ cd tech-collector-mcp # 2) Install dependencies $ npm install # または yarn install # 3) Setup environment $ cp .env.example .env # .env を編集して各種キーを入力 # 4) Run MCP server (STDIO mode) $ node src/index.js
{ "mcpServers": { "tech-collector": { "command": "node", "args": ["/absolute/path/to/tech-collector-mcp/src/index.js"] } } }
Dev.toでreactタグの記事を3件取得して 最新テックニュースを取得して Hacker Newsのトップ技術ネタを5件 https://example.com/article を要約して 取得した記事を Notion に保存して 全ソースを取得して Notion に同期して 全部まとめて最新技術記事を取得して おすすめ記事（パーソナライズ推薦）を5件教えて
tech-collector-mcp/ ├── adapters/ │ └── notionSdkStorage.js # Notion SDK 実装 (StoragePort) ├── clients/ │ ├── devtoClient.js │ ├── geminiClient.js │ ├── hackerNewsClient.js │ ├── newsApiClient.js │ └── qiitaClient.js ├── config/ │ ├── constants.js │ ├── environment.js │ ├── prompts.js # プロンプト定義 │ ├── toolDefinitions.dynamic.js# Notionスキーマ連動ツール │ └── toolDefinitions.static.js # 静的ツール定義 ├── ports/ │ └── storage.js # StoragePort インターフェース ├── services/ │ ├── aggregatorService.js # 全ソース取得→Notion同期 │ ├── devtoService.js │ ├── fetchService.js # 全ソース取得 │ ├── hackerNewsService.js │ ├── newsApiService.js │ ├── qiitaRanking.js │ ├── recommenderService.js # 読了×評価×タグベース推薦 │ ├── reportService.js # 同期結果レポート │ ├── summarizeService.js # URL要約 │ ├── syncBatchService.js # Notion並列同期 │ └── syncService.js # 単一記事同期 ├── utils/ │ ├── errors.js │ ├── fieldMapper.js # 外部→Notionフィールド変換 │ ├── rpcHelpers.js │ └── simhash.js # URL→SimHash (MD5) └── index.js # エントリーポイント
``
-
getQiitaRanking— Qiita 人気記事ランキング取得
- getDevtoArticles— Dev.to のタグ/検索記事取得
- getNewsApiArticles— NewsAPI.org からテックニュース取得
- getHackerNewsTopStories— Hacker News トップストーリー取得
- fetchAllArticles— 全ソースまとめて最新取得
- summarizeUrlArticle— 任意 URL 記事を Gemini で要約
- syncArticleToNotion— 記事を Notion に保存
- aggregateArticles— 全ソース取得 →Notion 一括同期
- recommendArticles— 読了 × 評価 × タグで簡易推薦
- Phase 1: Qiita ランキング＋要約 (✅)
- Phase 2: マルチソース収集 (✅)
- Phase 3: Notion 連携 & パーソナライズ推薦 (✅)
- Phase 4: Slack 連携
- Phase 5: 定期バッチ
Real-time news aggregation from AP, BBC, NPR, Hacker News, and Google News
Extracts factual claims from text using the Claimify methodology. Requires an OpenAI API key.
A server for web crawling and content extraction using the Crawl4AI library.
An MCP server for crawling WeChat articles. It supports single and batch crawling with multiple output formats, designed for AI tools like Cursor.
Fetches and caches daily articles from GeekNews using web scraping.
Fetches and parses stories from Hacker News, providing structured data for top, new, ask, show, and job posts.
An MCP server for the Kakuyomu novel posting site, enabling users to search for works, retrieve episode lists, and read content.
Local-first MCP server that captures web URLs (X, Reddit, YouTube, Wikipedia, articles) as typed data + Markdown into a self-hosted capture/store/recall substrate, with offline semantic recall. Six tools over a local khiipd daemon; run
khiipd serve` first.
Fetches and caches RSS feeds using a SQLite database for use with LLMs via the MCP protocol.
YouTube transcript extraction for AI agents. Clean text, timestamps, or structured JSON from any video. No API keys required.
Sign in to leave a review
Use Google, GitHub, or an email account so ratings stay tied to real people.
No reviews posted yet.
