下载地址
https://www.zhengdianxue.com/wp-content/uploads/skills/org-l7548nxs--all-media-content-extractor.zip将提示词发送给你的 AI 安装该 skills
请根据 https://skillhub.cn/install/skillhub.md，安装 @org-l7548nxs/all-media-content-extractor。视频图片音频内容提取与多模态分析工具：图片OCR文字识别（中文高精度）、视频文案提取（B站链接/本地视频文件）、音频转文字（Whisper中文优化）、硬字幕OCR、智能关键帧提取。抖音视频请先保存到本地再分析。当用户需要提取视频文案、视频转文字、识别图片中的文字、字幕提取、播客音频转录、总结视频内容时使用。
阅读全文 （展开查看完整说明）
概述
多模态内容识别分析·满血Pro版
整合图片OCR识别、视频内容提取、音频转录三大能力的统一分析工具。
【满血Pro版，无收费版本】
版本： 1.1.0架构： 三层防护（P0远端化 + P1动态配置 + P2干扰模块）
v1.1.0 更新（2026-10-21）
修复
- 图片OCR真正生效：此前分析图片只返回清晰度、亮度等质量指标，OCR结果恒为写死的"已加载"。现已真实调用OCR引擎，返回识别文字、逐行坐标与置信度，并标注所用引擎（tesseract / RapidOCR）
- 修复致命缺陷：核心库遗漏
import cv2，导致图片与视频分析入口必然崩溃（NameError）。已修复 - 修复B站下载：此前统一走 yt-dlp，对B站稳定触发 412 反爬。现按平台路由，B站改走自带公开API通道，实测可完整下载音视频
- 修复崩溃：输出目录不存在时程序直接崩溃，现自动创建
- 无管理员权限可用：tesseract 在本机因权限限制无法安装，改用 RapidOCR（纯 pip、自带中文模型）作为兼容层
平台支持口径调整（重要）
- 抖音不再承诺免配置下载。抖音已对程序化下载加入签名校验，匿名解析一律失败（业界通用的 yt-dlp 同样被拦）。
此前报错为"视频可能已下架或私密"，属谎报——现改为如实说明"抖音拒绝匿名访问"。
- 抖音视频请保存到本地后分析，本地文件的全部能力不受影响。
核心能力
1. 图片OCR识别
- 智能区域分类（字幕区/标题区/正文区/水印区）
- OCR质量评估与自动重试
- 多帧结果融合去重
- 硬字幕与语音双向交叉验证
2. 视频内容提取
- 智能场景切换检测
- 自适应关键帧提取（拒绝固定间隔）
- 视频类型自动识别（口播/PPT/画面/混合）
- 视频质量评估与推荐深度
- 黑帧/重复帧自动跳过
3. 音频转录
- Whisper模型分级调用（清晰用tiny，模糊升级base）
- 时间戳精准对齐
- 说话人检测占位
4. 多模态融合
- 音画时间轴精准对齐
- OCR与语音双向交叉验证纠错
- 质量自检测与自动深度升级
- 智能摘要与章节划分
- 关键实体识别
自适应渐进式分析
| 模式 | 特点 | 适用场景 |
|---|---|---|
| basic（快速） | 轻量分析，快速出结果 | 短视频、简单图片、预览 |
| full（深度） | 全量分析，质量优先 | 长视频、复杂文档、高质量需求 |
- 自动检测内容质量，决定是否升级分析深度
- 结果缓存，二次分析零成本
支持格式
图片： JPG, PNG, BMP, TIFF, WEBP, GIF 视频： MP4, AVI, MKV, MOV, FLV, WMV, WEBM, M4V 音频： MP3, WAV, M4A, AAC, FLAC, OGG, WMA
在线平台： 目前仅 B站链接可自动下载。抖音、YouTube、小红书等平台请先保存为本地文件再分析。
平台支持说明
| 来源 | 支持情况 |
|---|---|
| 本地图片 / 视频 / 音频文件 | 完全支持（推荐） |
| B站（BV号、bilibili.com、b23.tv） | 自动下载 + 分析，免登录 |
| 抖音 | 请保存到本地后分析；配置登录凭据后可尝试直连（不保证成功，详见下） |
B站（公开API，免登录）
使用B站公开API下载，不需要SESSDATA，避免yt-dlp 412错误。
原理： 调用api.bilibili.com/x/web-interface/view获取视频信息→调用x/player/playurl获取DASH音视频流→直接下载音频或视频流。
音频优先： 仅需转录时可只下载音频流（几MB），速度快、流量小。
支持格式： BV号、bilibili.com视频链接、b23.tv短链接。
抖音（需先保存到本地）
抖音已对程序化下载加入签名校验，匿名下载一律失败，业界通用的 yt-dlp 同样被拦截（返回 403 并要求登录凭据）。
因此本技能不再提供抖音免配置下载。正确用法：在抖音客户端把视频保存到本地，再交给本技能分析——语音转文字、硬字幕OCR、关键帧、智能摘要等能力对本地文件全部可用。
若此前遇到过"视频可能已下架或私密"的提示：那是旧版本的误报，真实原因是被反爬拦截，与视频本身无关。现版本会如实报错。
进阶（可选）： 确有批量需求的用户可自行提供登录凭据，技能会自动带上再试：
# 方式一：Netscape 格式的 cookie 文件
export DOUYIN_COOKIE_FILE=/path/to/douyin_cookies.txt
# 方式二：直接从已登录的浏览器读取（需该浏览器已完全退出）
export DOUYIN_COOKIES_FROM_BROWSER=edge注意：Chrome / Edge 自 127 版本起启用 App-Bound 加密，外部程序无法读取浏览器 cookie，方式二在多数新版本浏览器上已失效。方式一仍可用，cookie 文件仅保存在本机，不会上传。
由于抖音持续升级校验，此路径不保证成功，也不作为宣传承诺。
中文ASR后处理
Whisper转录结果自动经过以下后处理，提升中文文本质量：
| 处理项 | 说明 |
|---|---|
| 简繁转换 | Whisper base模型常输出繁体，统一转为简体。优先使用OpenCC，不可用时使用内置映射兜底 |
| 同音纠错 | 200+常见同音/近音混淆词自动纠错（如"攻擊"→"工具"、"視頻"→"视频"） |
| 短语纠错 | 300+技术领域短语纠错（AI/编程/互联网/商业财经等） |
| 标点规范化 | 重复标点合并、中英文标点混合修正、多余空格清理 |
| 重复段去重 | Whisper重复输出的相邻片段自动合并 |
| 语气词清理 | 可选清理填充词（嗯、啊、就是说、你懂吧等） |
沙箱环境踩坑经验
Whisper模型下载
国内镜像源： 使用 hf-mirror.com 替代 huggingface.co，下载速度快几十倍。
模型地址示例：
https://hf-mirror.com/Systran/faster-whisper-tiny/resolve/main/model.bin完整目录要求： faster-whisper 加载本地模型需要以下4个文件缺一不可：
model.bin— 模型权重config.json— 模型配置tokenizer.json— 分词器vocabulary.txt— 词汇表
常见坑：
- 只下载了 model.bin，缺少其他文件 → 加载失败
vocabulary.json文件存在但内容为空（{}）→ 解析报错。正确的应该是vocabulary.txt- 模型文件放在
/root/.cache/huggingface/路径下可能触发沙箱路径过滤 → 建议放在自定义目录
环境依赖
系统依赖： ffmpeg（音视频处理）
OCR（三选一，自动探测）： RapidOCR（默认推荐，纯 pip 安装、自带中文模型、无需管理员权限）／ tesseract-ocr（需系统安装）／ PaddleOCR
Python依赖： faster-whisper、opencv-python-headless、scenedetect[opencv]、Pillow、opencc-python-reimplemented、rapidocr-onnxruntime
OCR 采用兼容层设计：优先 tesseract，结果为空时自动退回 RapidOCR；两者都没有时如实报错，不会假装成功。
输出格式
- 结构化JSON
- Markdown报告
- 纯文本转录
- 字幕文件（SRT/VTT）
架构说明
本技能采用三层防护架构设计：
- P0 核心服务远端化：OCR智能引擎、视频分析引擎、视频下载服务、内容融合引擎四大核心服务，完整版算法在云端，本地为简化实现
- P1 动态配置依赖：所有核心参数运行时从服务端动态加载，不写死在代码中
- P2 干扰模块：智能图像预处理引擎（7阶段管线）+ 中文ASR后处理引擎，增加代码量和理解成本
升级到专业版可解锁完整云端引擎能力。
使用方式
# 查看技能信息
python3 multimodal_skill.py --info
# 查看架构说明
python3 multimodal_skill.py --architecture
# 分析图片
python3 multimodal_skill.py image.png --depth basic
# 分析本地视频
python3 multimodal_skill.py video.mp4 --depth full
# 分析音频
python3 multimodal_skill.py audio.mp3
# 下载B站视频（仅音频，用于转录）
python3 multimodal_skill.py BV1xx411c7mu --download-only --audio-only --output-dir ./output
# 分析在线视频（自动下载+分析）
python3 multimodal_skill.py BV1xx411c7mu --depth basic
# 分析抖音视频：先保存到本地，再分析（推荐）
python3 multimodal_skill.py ./douyin_video.mp4 --depth full目录结构
skill_multimodal-content-extractor/
├── multimodal_skill.py # 技能入口
├── SKILL.md # 技能说明
├── services/ # 核心服务层（P0远端化）
│ ├── __init__.py
│ ├── ocr_engine_service.py # OCR智能引擎服务
│ ├── video_analyzer_service.py # 视频智能分析服务
│ ├── video_downloader_service.py # 视频下载服务（B站公开API；抖音需凭据且不保证）
│ ├── content_fusion_service.py # 多模态内容融合服务
│ └── dynamic_config.py # 动态配置管理器（P1）
├── scripts/ # 脚本层
│ ├── __init__.py
│ ├── multimodal_core.py # 多模态核心（下载/转录/OCR底层）
│ ├── smart_preprocessor.py # 智能预处理引擎（P2干扰）
│ ├── asr_postprocessor.py # 中文ASR后处理引擎
│ └── export_douyin_cookies.py # （可选）导出本机抖音登录凭据
└── data/ # 数据目录
└── config_cache/ # 配置缓存
