Overview
MCP Web Scraper + AI Summarizer
🕸️ 网页抓取与AI智能摘要工具 — 一个 MCP (Model Context Protocol) 工具，抓取任何网页内容并用 AI 生成智能摘要
📋 功能
| 工具 | 描述 |
|---|---|
| 🔧 fetch_url | 抓取指定 URL 的网页内容，自动提取可读文本（移除导航、脚本、广告等干扰元素） |
| 🤖 summarize_url | 抓取网页内容并用 AI 生成智能摘要（支持多语言：中文、English、日本語等） |
| 🔍 search_web | 通过搜索引擎搜索网络信息（基于 Tavily Search API，专为 AI Agent 优化） |
🚀 快速开始
方式一：通过 Smithery 使用（推荐）
直接在支持 MCP 的客户端（如 Cursor、Claude Desktop）中搜索 web-scraper-ai-summarizer 安装即可。
方式二：自托管部署
# 1. 克隆仓库
git clone https://github.com/asdqwsadq/mcp-web-scraper.git
cd mcp-web-scraper
# 2. 配置环境变量
cp .env.example .env
# 编辑 .env 填入你的 API Key
# - NVIDIA_API_KEY: AI摘要（免费，注册 https://build.nvidia.com）
# - TAVILY_API_KEY: 网络搜索（免费，注册 https://tavily.com）
# 3. 安装依赖
pip install -r requirements.txt
# 4. 启动服务
python3 -m uvicorn server:app --host 0.0.0.0 --port 8080
方式三：Docker 部署
docker build -t mcp-web-scraper .
docker run -d --name mcp-web-scraper -p 8080:8080 --env-file .env mcp-web-scraper
🔧 MCP 协议调用示例
1. 抓取网页
{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/call",
"params": {
"name": "fetch_url",
"arguments": {
"url": "https://example.com/article",
"max_size": 30000
}
}
}
2. AI 摘要
{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/call",
"params": {
"name": "summarize_url",
"arguments": {
"url": "https://example.com/article",
"language": "中文"
}
}
}
3. 网络搜索
{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/call",
"params": {
"name": "search_web",
"arguments": {
"query": "最新人工智能技术趋势",
"count": 5
}
}
}
🔑 API 密钥配置
| 服务 | 用途 | 免费额度 | 申请地址 |
|---|---|---|---|
| 🧠 NVIDIA NIM | AI 摘要生成 | 1000 credits（无需信用卡） | https://build.nvidia.com |
| 🔍 Tavily Search | 网络搜索 | 1000 次/月 | https://tavily.com |
| 🔐 XPack（可选） | 用户认证 & 计费 | 自部署 | 见 XPack 文档 |
📦 技术架构
┌─────────────┐ HTTP/MCP ┌──────────────────┐
│ MCP 客户端 │ ◄─────────────► │ MCP HTTP Server │
│ (Cursor/Cline)│ │ (FastAPI + MCP) │
└─────────────┘ └────────┬─────────┘
│
┌───────────────────────┼───────────────────┐
│ │ │
▼ ▼ ▼
┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ NVIDIA NIM │ │ Tavily Search│ │ XPack Auth │
│ (AI摘要) │ │ (网络搜索) │ │ (计费) │
└──────────────┘ └──────────────┘ └──────────────┘
🛠️ 开发
# 启动开发服务器（热重载）
uvicorn server:app --host 0.0.0.0 --port 8080 --reload
# MCP 协议测试
curl -X POST http://localhost:8080/mcp \
-H "Content-Type: application/json" \
-d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'
📄 协议
MIT License
Project Info
Created At
a month agoUpdated At
a month agoAuthor Name
asdqwsadqStar
-Language
-License
-Tags
Recommend Servers
View AllAmap Maps
@amap
高德地图官方 MCP Server
a year ago
Memory
@modelcontextprotocol
a year ago
Playwright Mcp
@microsoft
Playwright MCP server
TypeScript
10 months ago
Serper MCP Server
@garymengcom
A Serper MCP Server
Python
a year ago
mcp-server-flomo MCP Server
@chatmcp
Write notes to Flomo
JavaScript
a year ago
Shippo
@Shippo
20 hours ago
Filesystem
@modelcontextprotocol
2 months ago
Mnemom
13 hours ago