coreclaw webscraper

用户对话 -> AI Agent -> MCP 协议 -> CoreClaw MCP 服务 -> CoreClaw OpenAPI v2 HTTP mcp.coreclaw.com openapi.coreclaw.com

优先使用托管入口。仅在开发、调试或客户端只支持本地 stdio 时，才需要本地运行coreclaw-mcp-server。

{ "mcpServers": { "coreclaw": { "url": "https://mcp.coreclaw.com/mcp", "headers": { "Authorization": "Bearer YOUR_CORECLAW_API_KEY" } } } }

保存配置后，如果客户端要求重启或重新加载，请完成对应操作。之后 AI Agent 就可以在对话中调用 CoreClaw 工具。

托管 MCP 服务使用Authorization: Bearer <token>认证——与 CoreClaw OpenAPI v2 相同的请求头。为兼容旧集成，api-key和X-API-Key请求头仍被接受：

- Authorization: Bearer YOUR_CORECLAW_API_KEY（推荐）
- api-key: YOUR_CORECLAW_API_KEY（旧版）
- X-API-Key: YOUR_CORECLAW_API_KEY（旧版）

MCP 服务会把认证信息转发给 CoreClaw OpenAPI v2，上游请求统一使用Authorization: Bearer <token>。

不要把 API 密钥提交到版本控制系统。客户端支持安全凭据存储时，请优先使用该能力。

CoreClaw MCP 服务公开42 个工具——39 个 OpenAPI v2 操作（1:1）加 3 个编排助手。Worker 版本创建/更新接口和 Worker internal 详情接口属于内部接口，不会通过 MCP 暴露。

poll_run接受timeout_seconds（1–900，默认 300）和poll_interval_seconds（1–60，默认 5），成功时可预取少量结果预览（limit）。运行时间超过单次 MCP 调用窗口的 Worker 用它。verify_run用来区分真实成功与”CAPTCHA/403 行填满了列表但无真实负载”的假阳性——它会把后者标为ERROR_RECORD。get_worker_run_log还支持进程内grep（管道分隔、大小写不敏感）加context_lines与max_matches。

list_store_workers(keyword) -> get_worker_input_schema(worker_id) -> run_worker(worker_id, input_json, is_async=true) -> get_worker_run(run_id) -> list_worker_run_results(run_id) 或 export_worker_run_results(run_id)

list_worker_tasks(worker_id) -> run_worker_task(worker_task_id, is_async=true) -> get_worker_run(run_id) -> list_worker_run_results(run_id)

如果 Worker 输入 schema 需要代理地区，先调用list_proxy_regions。只有在用户明确要求重试或重复运行时才使用rerun_工具；只有在用户明确要求停止运行时才使用abort_工具。

{ "worker_id": "YOUR_WORKER_ID", "version": "latest", "input_json": "{\"keyword\":\"coffee\",\"limit\":10}", "is_async": true }

MCP 服务会把input_json包装为 CoreClaw 使用的input.parameters.custom。高级调用方可以通过raw_input_json直接传完整 CoreClawinput对象，但不能同时传input_json和raw_input_json。

除了标准 MCP 端点/mcp，服务还提供 REST 兼容入口/mcp/<tool_name>，适合偏好按工具发起 HTTP 请求的平台：

curl -X POST https://mcp.coreclaw.com/mcp/list_store_workers \ -H "Content-Type: application/json" \ -H "Authorization: Bearer YOUR_CORECLAW_API_KEY" \ -d '{"keyword":"amazon","offset":1,"limit":5}'

- 托管服务使用 Streamable HTTP。只支持本地 stdio 的客户端需要本地运行coreclaw-mcp-server。
- 认证基于 API key；托管入口不需要 OAuth。
- 内部接口不会通过 MCP 暴露，包括 Worker 版本创建/更新和 Worker internal 详情。

Enable AI agents to get structured data from unstructured web with AgentQL.

Easy web data access. Simplified retrieval of information from websites and online sources.

Turn websites into datasets with Scrapezy

Scrapfly MCP Server gives AI agents a simple, unified way to scrape live web data with built-in anti-bot handling.

Interact with WebScraping.AI for web data extraction and scraping.

CrawlForge MCP is a production-ready MCP server with 18 web scraping tools for AI agents. It gives Claude, Cursor, and any MCP-compatible client the ability to fetch URLs, extract structured data with CSS/XPath selectors, run deep multi-step research, bypass anti-bot detection with TLS fingerprint randomization, process documents, monitor page changes, and more. Credit-based pricing with a free tier (1,000 credits/month, no credit card required).

A high-performance x402 intelligence gateway providing 20+ social and web endpoints. Powered by 6-stage routing logic—including cloud-rendered JS fetches, residential IP rotation, and automatic settlement refunds for blocked hosts. Built for AI Agents that require reliable, pay-per-request access to LinkedIn, Reddit, Instagram, and beyond without API key management

Scrape, crawl, and extract data from any website using the Firecrawl API.