下载地址
https://www.zhengdianxue.com/wp-content/uploads/skills/org-odeahxzi--travel-complaint-emergency-crawler.zip将提示词发送给你的 AI 安装该 skills
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-odeahxzi/travel-complaint-emergency-crawler。旅游投诉与应急数据采集技能。从 RSS 新闻(真实联网)、OTA 差评、社交媒体舆情、12345 热线四类渠道自动采集旅游投诉数据,经清洗去重后送入事件监测系统自动分级(S1 特急-S4 咨询)。支持通过 config.json 配置数据源、关键词过滤、去重时间窗口。当用户咨询旅游投诉数据采集、舆情监测、多渠道数据接入、采集管道部署与运行等场景时调用本技能。
阅读全文 (展开查看完整说明)
概述
一、技能定位
本技能是"旅游投诉与应急处理"体系的数据采集层,负责从多渠道采集旅游投诉数据:
多渠道采集 → 数据清洗去重 → 送入事件监测 → 自动分级(S1-S4) → 流程分派 → 闭环回访
└────────── 本技能负责 ──────────┘└────── 事件监测技能负责 ─────────┘二、四类数据源
| 数据源 | 渠道 | 工作模式 | 启用真实采集的条件 |
|---|---|---|---|
| RSS 新闻 | 中新网社会/文体、澎湃新闻 | 真实联网抓取,按关键词过滤 | 部署到可访问外网的机器即可 |
| OTA 差评 | 携程/美团/飞猪 | 模拟模式(不联网,生成仿真差评) | 通过平台商务合作获取授权 API |
| 社交舆情 | 微博/小红书/抖音 | 模拟模式(不联网,生成仿真舆情) | 通过各平台开放平台获取授权 API |
| 12345 热线 | 政务工单系统 | 模拟模式(不联网,生成仿真工单) | 向当地大数据局申请工单 API |
安全设计:所有未配置/未授权的数据源自动跳过或回退模拟数据。
三、目录结构
travel-complaint-crawler/
├── SKILL.md # 本技能说明文档
├── scripts/
│ ├── main.py # 主入口
│ ├── pipeline.py # 采集管道编排
│ ├── data_processor.py # 数据清洗去重
│ ├── config.json # 配置文件
│ └── crawlers/
│ ├── __init__.py
│ ├── base.py # 爬虫基类
│ ├── rss_news.py # RSS 新闻采集(真实联网)
│ ├── ota_reviews.py # OTA 差评采集
│ ├── social_media.py # 社交媒体舆情
│ └── hotline_api.py # 12345 热线 API
└── references/
└── config-schema.md # 配置项详细说明四、运行方式
完整流程
cd scripts
python main.py仅采集+清洗
python main.py --collect纯演示模式(不联网)
python main.py --demo运行环境:Python 3.8+,零第三方依赖(纯标准库)。
五、配置说明
RSS 数据源
在 scripts/config.json 的 sources.rss_news.feeds 中添加:
{
"name": "数据源名称",
"url": "RSS 订阅地址(.xml/.rss 结尾)",
"keyword_filter": ["投诉", "宰客", "景区", "游客"]
}OTA/社交媒体
设置 mock_mode: false 并填入授权 API 地址。
12345 热线
设置 enabled: true 并填入 api_key 和 api_base。
事件监测联动
配置 pipeline.event_monitor_path 指向事件监测技能代码路径。
六、回答规范
收到数据采集相关咨询时,按以下框架回答:
- 明确用户的数据源诉求(哪个渠道、真实还是演示)
- 给出对应的配置方案
- 说明运行命令和预期输出
- 提示该数据源的授权前提
示例问题:如何添加省文旅厅官网的新闻源?
在
scripts/config.json的rss_news.feeds数组里新增一个块:name 填"省文旅厅",url 填该网站的 RSS 订阅地址(通常以 .xml 结尾),keyword_filter 填["投诉","景区","游客","通报","整治"]。保存后运行python main.py即可采集。