抖音热门视频数据爬虫

cd ~/.workbuddy/skills/douyin-selenium-scraper
python -m venv .venv
.venv/Scripts/pip install -r requirements.txt

python run.py                      # 全量抓取，产出到 ./reports/
python run.py --only search        # 只抓热搜
python run.py --limit 5 --json out.json

# 全量抓取（热门 + 电商 + 热搜）
.venv/Scripts/python.exe douyin_scraper.py

# 只抓热搜（不需要浏览器，约 0.3s）
.venv/Scripts/python.exe douyin_scraper.py --only search

douyin-selenium-scraper/
├── SKILL.md                # 本文档
├── _icon.png               # 图标 512×512（界面展示用）
├── douyin_scraper.py       # 主脚本
├── run.py                  # 一键入口（自动准备 .venv）
├── categories.json         # 分类规则（可改，无需动代码）
├── requirements.txt
└── tests/test_scraper.py   # 回归测试（31 项）

reports/
├── douyin_report_20261029_120500.txt        # 四段式报告
├── douyin_hot_videos_20261029_120500.csv    # 热门视频（UTF-8-BOM）
├── douyin_ecommerce_20261029_120500.csv     # 电商带货（含销量/销售额）
└── out.json                                 # 指定 --json 时额外生成

python douyin_scraper.py [options]

--only {hot,ecommerce,search}   只抓哪些板块，逗号分隔（默认全部）
--limit N                       每个榜单输出条数（默认 10）
--outdir PATH                   输出目录（默认 ./reports）
--json PATH                     额外输出 JSON，供下游自动化消费
--headed                        有头模式，排查反爬时用
--timeout N                     单页等待数据渲染超时秒数（默认 20）
--keep-days N                   产物保留天数（默认 3，0=不清理）
--no-cleanup                    跳过历史文件清理

ℹ️ 数据说明：chromedriver 不可用，已自动改用 Chrome --dump-dom 免驱动渲染完成抓取
（不支持滚动交互，仅首屏 TOP10）。

============================================================
抖音热门视频 TOP 10
============================================================

🏆 Top 1 - {视频标题，超 42 字截断}
达人：{作者名}
热度：{点赞数}
详情链接：https://www.douyin.com/video/{ID}

🥈 Top 2 - ...
...（共10条）

============================================================
全网热搜 TOP 10（来源：百度实时热搜）
============================================================

🏆 Top 1 - {热搜词}
热度：{万级热度值}
详情链接：https://www.douyin.com/search/{URL编码词}
...（共10条）

============================================================
电商带货热榜视频 TOP 10
============================================================

🏆 Top 1 - {商品标题}
达人：{作者名，未登录时为"未知"}
热度：{点赞数}
品类：{电商品类}
周期内销量：{区间 估算值} · 销售额：{区间 估算值}
详情链接：https://www.douyin.com/video/{ID}
...（共10条）

注：本榜按成交额口径排序；销量/销售额为蝉妈妈展示的区间与估算值；
达人名为「未知」表示该榜单对未登录访客隐藏作者信息。

============================================================
趋势洞察
============================================================

赛道分布：情感(3条)、搞笑(1条)、社会热点(1条)...
热搜特征：时政类；社会民生；财经商业
超级爆款：{标题} 等 N 条视频突破 30 万点赞
电商热品：家居日用(4条)、食品饮料(4条)...
带货榜首：{标题}，周期内销售额 10w~25w（榜单按成交额排序）
今日节点：体育赛事、教育考试、天气气候 相关内容占据主导
黑马观察：{冷门内容}(@达人)等冷门赛道内容异军突起

数据更新时间：YYYY年MM月DD日 HH:MM

（本次未运行热门视频板块，非抓取失败）     ← --only search 主动跳过
（本次未获取到热门视频数据）               ← 真的跑了但抓不到

create_driver() 成功?  ── 是 → Selenium（支持滚动、可点详情）
        │
        否 → 报 DriverUnavailable，找 Chrome 可执行文件
                │
                找到 → Chrome --dump-dom（免驱动，5s/页，仅首屏 TOP10）
                        │
                        失败 → 仅热搜模式 + 报告首行提示

douyin_scraper.py
│
├── 分类规则
│   ├── categories.json 加载（缺失/损坏自动回落内置默认值）
│   ├── categorize_video()          → 17 赛道 + 其他
│   └── _categorize_ecommerce()     → 7 大商品品类
│
├── 渲染
│   ├── create_driver()             → Selenium Manager 启动 + about:blank 探活
│   ├── fetch_page_selenium()       → 等到 ≥3 行真实数据，再兜底滚动 1 轮
│   ├── find_chrome()               → 定位 Chrome/Edge
│   └── fetch_page_chrome_dump()    → 免驱动渲染（临时 profile，不抢用户 Chrome）
│
├── 解析
│   ├── parse_chanmama()            → 三策略降级：表格 → 卡片 → 正则
│   ├── _build_col_map()            → ★按表头名建映射（不依赖列位）
│   ├── _extract_from_cells()       → 表格行 → 字典（7 列/9 列通用）
│   ├── _range_cell_text()          → 读「区间+估算值」单元格
│   └── convert_ies_to_douyin()     → iesdouyin → 标准 douyin 地址
│
├── 清洗
│   ├── _parse_number()             → "38.6万" → 386000
│   ├── clean_author_name()         → 去粉丝数/时间戳/「查看」占位符
│   ├── clean_title() / short_title() → 合并空白 / 报告内截断
│   ├── one_line()                  → 异常信息压单行
│   └── _deduplicate_and_rank()     → 去重 + 保留官方名次
│
├── 输出
│   ├── save_to_csv()               → 分类器与追加列由调用方注入
│   ├── save_report() / save_json()
│   └── cleanup_stale_files()       → 清理 .tmp 与过期产物
│
├── 热搜
│   ├── fetch_hot_search_top10()    → 主源百度（~0.3s）
│   └── _fetch_hot_selenium()       → 备源
│
└── main() → Step1 渲染通道 → Step2 热门 → Step3 电商 → Step4 热搜 → 落盘 → 退出码

/douyin-selenium-scraper 全量跑一次，结果放 reports/

用 douyin-selenium-scraper 这个 skill，抓热门、电商、热搜各 10 条

你是一个定时运行的抖音数据分析助手。

#### Step 1：运行爬虫
cd ~/.workbuddy/skills/douyin-selenium-scraper
.venv/Scripts/python.exe douyin_scraper.py --json reports/latest.json

#### Step 2：判断结果
- 退出码 0：全部成功（含 dump-dom 降级），继续
- 退出码 2：部分成功（通常只剩热搜）。报告首行有「数据完整性提示」，
  最终输出中必须标注哪些板块缺失，不要假装数据完整
- 退出码 1：全部失败，改用 WebSearch 兜底

#### Step 3：读取数据
优先读 --json 生成的 JSON（结构稳定），没有则读 reports/ 下最新 txt + CSV。

#### Step 4：AI 增强
- 为每条视频写一句话点评（爆火原因/传播点）
- 与上一份 JSON 对比，标注排名变动（↑↓新）
- 识别今日特别值得关注的内容

#### Step 5：推送
格式化为 Markdown，通过 mcp__tencent-docs API 推送到腾讯文档。

# 1) 回归测试（31 项，无需网络/浏览器）
.venv/Scripts/python.exe -m unittest discover -s tests -v

# 2) 只抓热搜，验证链路（最快，约 2s）
.venv/Scripts/python.exe douyin_scraper.py --only search

# 3) 检查最新产物
.venv/Scripts/python.exe -c "
import csv, glob, os
for pat, label in [('reports/douyin_hot_videos_*.csv','视频'),('reports/douyin_ecommerce_*.csv','电商')]:
    fs = sorted(glob.glob(pat))
    if fs:
        rows = list(csv.DictReader(open(fs[-1], encoding='utf-8-sig')))
        print(f'{label}: {len(rows)} 条 | 列: {list(rows[0].keys())}')
txt = sorted(glob.glob('reports/douyin_report_*.txt'))
if txt:
    t = open(txt[-1], encoding='utf-8').read()
    print(f'报告: {os.path.getsize(txt[-1])}B, 四段齐全={all(k in t for k in ["抖音热门视频","全网热搜","电商带货","趋势洞察"])}')
"