Crawl MCP

🚀真正能下载图片的微信文章抓取工具- 基于Model Context Protocol (MCP)的智能抓取服务器，专为Cursor IDE和AI工具设计。

🎉 v1.1.0 重大升级：从"指令生成器"升级为"真正下载工具"，支持完整的图片本地化！

- 真正的图片下载: ✅ 实际下载微信图片，不只是生成指令
- 双模式设计: 指令模式（学习用）+ 自动模式（效率用）
- 完整本地化: 图片下载 + 路径更新 + 离线可用的Markdown文档
- 智能处理: 微信域名识别、正确Headers、并发控制、重试机制

- 专业图片处理:

- 🎯 微信图片域名识别（mmbiz.qpic.cn）
- 🎯 正确的HTTP Headers（Referer, User-Agent）
- 🎯 wx_fmt参数处理（jpeg, png, gif）
- 🎯 并发控制（同时下载3张）+ 重试机制

- 一键安装:npx crawl-mcp-server@1.1.0
- 开箱即用: 无需复杂配置，直接可用
- AI工具支持: 在Cursor中直接使用AI进行完整抓取
- 工具自动识别: Agent自动调用相关抓取工具

# 使用最新的v1.1.0版本 npx crawl-mcp-server@1.1.0

npm install -g crawl-mcp-server@1.1.0 crawl-mcp-server

npm install crawl-mcp-server@1.1.0 npx crawl-mcp-server

{ "mcpServers": { "crawl-mcp": { "command": "npx", "args": ["-y", "crawl-mcp-server@1.1.0"], "env": { "NODE_ENV": "production" } } } }

请使用crawl mcp抓取这篇微信文章：https://mp.weixin.qq.com/s/xxxxx

- url(必需): 微信文章链接
- outputFormat(可选): 输出格式 (markdown/json/html，默认: markdown)
- strategy(可选): 抓取策略 (basic/conservative/fast，默认: basic)
- includeImages(可选): 是否包含图片 (默认: true)

{ "url": "https://mp.weixin.qq.com/s/example123", "outputFormat": "markdown", "strategy": "basic", "includeImages": true }

- urls(必需): 文章链接数组
- outputFormat(可选): 输出格式
- strategy(可选): 抓取策略
- maxConcurrent(可选): 最大并发数 (默认: 3)

{ "urls": [ "https://mp.weixin.qq.com/s/example1", "https://mp.weixin.qq.com/s/example2" ], "outputFormat": "markdown", "maxConcurrent": 2 }

crawl-mcp/ ├── src/ │ ├── core/ # 核心模块 │ │ ├── CrawlMCPServer.ts # MCP服务器 │ │ ├── CallOrchestrator.ts # 调用编排器 │ │ └── StateManager.ts # 状态管理 │ ├── adapters/ # 输出适配器 │ │ ├── MCPOutputAdapter.ts # MCP格式转换 │ │ └── FileOutputAdapter.ts # 文件输出 │ ├── clients/ # 客户端 │ │ └── PlaywrightMCPClient.ts # Playwright客户端 │ ├── processors/ # 内容处理器 │ │ ├── ContentExtractor.ts # 内容提取 │ │ ├── MarkdownConverter.ts # Markdown转换 │ │ └── ImageProcessor.ts # 图片处理 │ ├── tools/ # MCP工具定义 │ ├── types/ # TypeScript类型 │ └── utils/ # 工具函数 ├── docs/ # 文档 ├── examples/ # 示例代码 └── tests/ # 测试文件

- ✅25个测试全部通过
- 🧪单元测试: 核心组件功能验证
- 🔗集成测试: MCP协议完整性测试
- 📋配置测试: 所有配置文件验证
- Fork 这个仓库
- 创建你的特性分支 (git checkout -b feature/AmazingFeature)
- 提交你的更改 (git commit -m 'Add some AmazingFeature')
- 推送到分支 (git push origin feature/AmazingFeature)
- 开启一个 Pull Request

- 📦NPM包
- 🐙GitHub仓库
- 📖API文档
- 🛠️故障排除
- 📋发布指南

Extracts plain text from web pages using WebforAI.