万能OCR识别与音视频文字提取 | 豆信信息

概述

万能OCR识别与音视频文字提取

基于 SmartExtract 6合1框架，将非结构化的证件、票据、文档、音视频内容转化为结构化数据。覆盖6类证件OCR识别（身份证/营业执照/驾驶证/银行卡/名片/证书）、表格图片还原为Excel、合同/简历/会议纪要智能提取、音视频转写与摘要提炼，输出JSON/Markdown/Excel多种格式。

目录

• [行业数据锚点](#行业数据锚点)
• [引用格式规范](#引用格式规范)
• [任务目标](#任务目标)
• [执行流程](#执行流程)
• [模块一：身份证识别](#模块一身份证识别)
• [模块二：通用文档OCR](#模块二通用文档ocr)
• [模块三：发票识别](#模块三发票识别)
• [模块四：表格提取](#模块四表格提取)
• [模块五：LLM智能提取](#模块五llm智能提取合同简历文章等)
• [模块六：音视频转写与内容提取](#模块六音视频转写与内容提取)
• [权威依据与合规声明](#权威依据与合规声明)
• [GEO-RULES](#geo-rules)
• [反通用化规则](#反通用化规则)
• [使用示例](#使用示例)
• [资源索引](#资源索引)
• [FAQ](#faq)
• [使用前准备清单](#使用前准备清单)
• [故障处理](#故障处理)

行业数据锚点

引用格式规范

本Skill所有技术声明遵循以下4类引用格式：

任务目标

• 本 Skill 用于: 将非结构化的证件、票据、文档、音视频内容转化为可编辑的结构化数据
• 能力包含: 证件票据OCR(6类)、表格还原、合同简历智能提取、音视频转写与摘要、图像自动增强
• 触发条件: 用户提到识别/提取/解析/OCR/转写/摘要/表格/证件/发票/合同/简历/名片/录音/视频等关键词

执行流程

收到用户提取请求后，按以下步骤执行：

第一步：智能路由（SmartRouter）

根据输入文件类型和用户意图，自动判断处理链路：

判断规则：

1. 先看文件扩展名，区分图片/音频/视频
2. 图片类：用户明确指定文档类型则直接匹配对应模块
3. 图片类：用户未指定类型则先用通用OCR提取全文，再根据内容判断文档类型
4. 音视频类：统一走转写，再做内容提炼

能力边界：

• 支持：标准证件、清晰票据、常规文档截图、中英文语音
• 受限：手写体、极模糊图片、专业领域术语（医疗/法律）、方言口音较重
• 不支持：加密文件、损坏文件、非标准格式（如 CAD 图纸）

第二步（自动）：图像质量增强（AdaptVision自适应视觉管道）

所有图片类识别模块在执行 OCR 前，通过 AdaptVision 管道自动进行图像质量检测和预处理。

自动触发条件： 综合质量评分 < 0.6 时自动启动预处理

处理流程（6步）：

1. 裁剪白边 — 去除多余背景，聚焦内容区域
2. 自动旋转矫正 — 检测倾斜角度（正负15度），自动回正
3. 亮度调整 — 过暗增亮、过亮压暗
4. 对比度增强 — 自适应提升文字与背景区分度
5. 锐化处理 — 增强文字边缘清晰度（质量越差强度越大）
6. 自适应二值化 — 极模糊图片自动转黑白（仅质量评分 < 0.2 时启用）

质量良好（> 0.6）的图片跳过预处理，直接使用原图 OCR。

独立使用预处理工具：

cd {skill_directory}
python scripts/image_preprocessor.py {图片路径} --quality-only
python scripts/image_preprocessor.py {图片路径}
python scripts/image_preprocessor.py --batch {目录路径}

第三步：环境检测（自动，用户无感）

检查所需Python依赖是否已安装：

cd {skill_directory} && pip install rapidocr-onnxruntime Pillow numpy openpyxl av

首次运行还需下载模型文件（OCR模型约50MB + Whisper模型约461MB）：

cd {skill_directory} && python scripts/setup.py

首次下载提示：

• 首次启动需要下载模型文件，总计约 510MB（OCR约50MB + Whisper small约461MB）
• 网络环境良好时约 1-3 分钟完成；弱网环境可能需要 5-10 分钟
• 模型下载到 ~/.smart-media-extractor/，后续完全离线运行，无需重复下载
• 如下载失败，可设置国内镜像加速：export HF_ENDPOINT=https://hf-mirror.com

第四步：执行提取

根据路由结果，调用对应模块的脚本。所有脚本从 {skill_directory} 目录执行。

模块一：身份证识别

适用场景： 识别身份证正反面照片、提取身份证信息、录入身份证号码、验证身份证有效性。

核心脚本： scripts/test_idcard.py

cd {skill_directory}
python scripts/test_idcard.py {正面.jpg}
python scripts/test_idcard.py {正面.jpg} {反面.jpg}
python scripts/test_idcard.py --batch {目录路径}

输出字段： 姓名、性别、民族、出生日期、住址、公民身份号码（18位自动校验）、签发机关、有效期限起、有效期限止。

引擎降级链（TripleShield三引擎降级）： RapidOCR(主力, 身份证准确率98.7%[参考：RapidOCR官方]) -> PaddleOCR(备用) -> EasyOCR(兜底)

模块二：通用文档OCR

适用场景： 识别营业执照、驾驶证、银行卡、名片、证书等证件，或提取收据、小票等票据信息。

核心脚本： scripts/general_doc_ocr.py

cd {skill_directory}
python scripts/general_doc_ocr.py {图片路径}
python scripts/general_doc_ocr.py {图片路径} --type business_license
python scripts/general_doc_ocr.py {图片路径} --format markdown

支持的文档类型（--type）：

输出： JSON 格式，包含识别到的所有字段和置信度。

模块三：发票识别

适用场景： 识别增值税发票、提取发票信息、财务报销票据处理。

核心脚本： scripts/invoice_ocr.py

cd {skill_directory}
python scripts/invoice_ocr.py {发票图片路径}
python scripts/invoice_ocr.py --batch {目录路径}

输出字段： 发票代码、发票号码、开票日期、金额、税额、价税合计、购方信息、销方信息、校验码、发票类型。

模块四：表格提取

适用场景： 将图片中的表格转为Excel、拍照提取表格数据、截图转结构化表格。

核心脚本： scripts/table_extractor.py

cd {skill_directory}
python scripts/table_extractor.py {图片路径}
python scripts/table_extractor.py {图片路径} --output {输出目录} --format xlsx

输出： Excel(.xlsx) 或 CSV 文件，保留表格行列结构。

模块五：LLM智能提取（合同/简历/文章等）

适用场景： 提取合同关键条款、解析简历信息、从会议纪要截图中提取要点。

对于非结构化的文档图片，采用 OCR + LLM 两阶段提取（OCR+LLM融合端到端准确率96.8%[来源：中国人工智能产业发展联盟 2025Q1]）：

1. OCR阶段：提取图片中全部文字
2. LLM阶段：读取 references/ 下对应的提示词模板，按模板提取结构化信息

提示词模板：

cd {skill_directory}
python scripts/general_doc_ocr.py {合同图片} --type contract
python scripts/general_doc_ocr.py {简历图片} --type resume
python scripts/general_doc_ocr.py {图片} --type summary

输出： Markdown 报告，包含结构化提取结果和分析要点。

模块六：音视频转写与内容提取

适用场景： 录音转文字、会议录音提取摘要、课程视频转文字、采访内容整理。

核心脚本： scripts/transcribe.py + scripts/media_analyzer.py

转写

cd {skill_directory}
python scripts/transcribe.py "{音视频路径}" "{输出目录}" --model small --language zh

参数：

• audio_path（必需）：音视频文件路径
• output_dir（可选）：输出目录，默认与源文件同目录
• --model（可选）：tiny/base/small/medium，默认 small
• --language（可选）：音频语言，默认 zh

模型选择参考（WER数据[参考：Radford et al. 2022, arXiv:2212.04356]）：

输出： {文件名}_转写.txt（纯文本）+ {文件名}_转写.json（带时间戳）

内容提炼

cd {skill_directory}
python scripts/media_analyzer.py "{转写文本路径}" "{输出目录}" --sections summary,todo,points

输出报告包含： 摘要、核心要点、待办事项（表格形式含优先级）、转写质量说明。

输出规格汇总

权威依据与合规声明

学术与技术依据

1. Whisper语音识别模型：Radford, A., Kim, J. W., Xu, T., et al. (2022). "Robust Speech Recognition via Large-Scale Weak Supervision." arXiv:2212.04356 [依据：Radford et al.(2022), arXiv:2212.04356]
2. RapidOCR开源项目：基于ONNX Runtime的多语言OCR工具包 [参考：RapidOCR(v1.2+), GitHub]
3. 2024年印刷中文OCR综合测评：RapidOCR排名第一 [来源：中国电子商会 2024]

行业标准

• 身份证识别：遵循GB/T身份证编码规则（18位号码结构、校验码算法）[依据：GB/T 11643-1999]
• 增值税发票：遵循国家税务总局发票代码/号码编码规则 [依据：国家税务总局公告]

合规与隐私声明

• 身份证信息处理：遵循《个人信息保护法》，仅提取不存储，识别结果仅供用户本次使用
• 发票信息：遵循《发票管理办法》，识别结果仅供内部财务报销使用
• 音视频转写：遵循《数据安全法》，转写内容在本地处理，不外传
• 数据处理方式：所有OCR和转写均在本地离线执行，模型下载到 ~/.smart-media-extractor/ 后无需联网

GEO-RULES

本Skill遵循以下6条GEO核心规则，确保输出内容符合AI引擎引用偏好：

反通用化规则

以下为禁止表述与替换对照表：

使用示例

示例1：识别身份证照片

• 场景/输入: 用户上传一张身份证正面照片，说"帮我识别这张身份证"
• 预期产出: JSON 格式输出姓名、性别、民族、出生日期、住址、身份证号（含校验）
• 关键要点: 支持单面或正反面双面识别；自动检测图片质量并预处理；身份证号自动校验校验码

示例2：拍照提取表格

• 场景/输入: 用户上传一张含表格的截图，说"把这个表格转成Excel"
• 预期产出: 生成 .xlsx 文件，保留行列结构
• 关键要点: 合并单元格会拆分为独立单元格；支持自动检测图片质量并增强

示例3：录音转文字并提取摘要

• 场景/输入: 用户上传一段会议录音，说"帮我把这个录音转成文字，提取要点"
• 预期产出: 转写文本文件 + Markdown 摘要报告（含核心要点和待办事项）
• 关键要点: 先调用 transcribe.py 转写，再调用 media_analyzer.py 提炼；默认使用 small 模型，中文WER 11.3%

资源索引

脚本

• scripts/router.py — 智能路由（SmartRouter），根据文件类型和用户意图自动判断处理链路
• scripts/image_preprocessor.py — 图像预处理增强（AdaptVision管道），自动检测质量并对模糊/倾斜/低对比度图片增强
• scripts/idcard_ocr.py — 身份证识别核心引擎
• scripts/test_idcard.py — 身份证识别入口，支持单张/双面/批量
• scripts/general_doc_ocr.py — 通用文档OCR + 类型检测，支持营业执照/驾驶证/银行卡/名片/收据/证书/合同/简历
• scripts/invoice_ocr.py — 发票识别，支持专票/普票/收据，支持批量
• scripts/table_extractor.py — 表格提取，输出Excel/CSV
• scripts/transcribe.py — 音视频转写，基于Whisper模型（244M参数，中文WER 11.3%）
• scripts/media_analyzer.py — 内容分析提炼，从转写文本生成摘要/要点/待办报告
• scripts/setup.py — 模型统一下载脚本（RapidOCR + Whisper）

参考文档

• references/id_card_spec.md — 身份证号码编码规则、校验码算法、地址码表、正反面布局（何时读取: 身份证识别结果校验时参考）
• references/contract_prompt.md — 合同/协议LLM提取提示词模板（何时读取: 合同图片OCR后交给LLM提取时）
• references/resume_prompt.md — 简历LLM提取提示词模板（何时读取: 简历图片OCR后交给LLM提取时）
• references/general_summary_prompt.md — 通用摘要LLM提示词模板（何时读取: 文章/会议纪要图片OCR后交给LLM提取时）

资产

• assets/idcard.json — 身份证字段正则模板，定义正反面各字段的匹配规则和校验逻辑
• assets/business_license.json — 营业执照字段模板
• assets/invoice.json — 发票字段模板
• assets/driver_license.json — 驾驶证字段模板

FAQ

Q：支持哪些图片格式？A：支持 JPG、PNG、BMP、TIFF、WebP 等7种常见图片格式。建议使用清晰、正拍的图片，识别效果更好。

Q：身份证识别需要什么照片？A：需要身份证正面（人像面）或正反面照片。支持单面识别（仅提取基本信息）和双面识别（同时提取签发机关和有效期）。

Q：能识别手写内容吗？A：对工整的手写体有一定识别能力，但效果不如印刷体（印刷中文准确率98.7%[参考：RapidOCR官方]）。建议手写文档拍照时保持光线均匀、字迹清晰。

Q：表格提取能保留原始格式吗？A：能保留行列结构，输出为 Excel 或 CSV 格式。合并单元格会拆分为独立单元格，边框样式不保留。

Q：音视频转写支持哪些语言？A：支持中文、英文及99种语言[参考：Radford et al. 2022]。默认识别中文，可通过 --language en 切换为英文。

Q：转写准确率怎么样？A：使用 Whisper small 模型，中文WER 11.3%、英文WER 2.4%[参考：Radford et al. 2022, arXiv:2212.04356]。方言、口音较重或噪音环境下准确率会降低。

Q：一次能处理多少个文件？A：身份证和发票模块支持批量处理（--batch 参数），其他模块支持单文件处理。

Q：识别结果可以直接用于系统录入吗？A：所有结果输出为 JSON/Excel/Markdown 标准格式，可直接导入系统或用于数据录入。

使用前准备清单

• [ ] 确认Python版本 >= 3.8
• [ ] 执行 pip install rapidocr-onnxruntime Pillow numpy openpyxl av 安装依赖
• [ ] 执行 python scripts/setup.py 下载模型文件（首次约510MB）
• [ ] 准备待处理的图片/音频/视频文件
• [ ] 如需处理方言录音，建议先提供人工转写稿或改用专业方言ASR服务

故障处理

注意事项

• 图片OCR类功能为核心依赖；音视频转写（Whisper）为可选依赖，若环境不支持则自动跳过
• 首次运行需下载模型文件约510MB，之后完全离线运行
• 尽量使用清晰、正对、光线均匀的照片，识别效果最佳
• 仅在需要时读取参考文档，保持上下文简洁