文档解析工程

概述

围绕文档解析的真实工程方法：分型→选通道→版面还原→字段抽取→校验。只给可套用的流程与阈值，不含任何外部服务依赖。

一、这个技能解决什么（定位 + 人群）

• 谁用：做知识库、合同抽取、报销识别、RAG 入库的开发者、数据工程师。
• 典型场景：扫描件识别错字；表格抽成乱码；合同关键字段漏抽；版面阅读顺序错；抽完不校验污染下游。
• 本技能不做什么：不接入任何外部账号或密钥；只提供解析方法与模板，具体引擎由你选型部署。

二、能力地图（5 个能力）

能力要点（每个能力怎么用）

• 文档分型：先判原生PDF/扫描件/表格型/合同型，选不同通道；听到「什么类型」即触发。
• OCR识别：扫描件 DPI≥300 再识别，看 CER 与逐字置信度；听到「扫描件」即触发。
• 版面还原：用 pdfplumber/PymuPDF 取阅读顺序与坐标，表格用 camelot/lattice；听到「版面」即触发。
• 字段抽取：按 Schema 用正则/模型抽关键字段，低置信转人工；听到「抽取」即触发。
• 校验纠错：勾稽(金额合计=明细和)、必填非空、格式校验；听到「校验」即触发。

听到对应触发词即进入该能力；多诉求组合使用。

三、核心工作流

3.1 解析流水线工作流

• 输入：一批待结构化文档
• 步骤：
• 1 分型：原生PDF(可选文本)/扫描件(必OCR)/表格(必表格引擎)/合同(字段Schema)
• 2 通道：扫描件→PaddleOCR/Tesseract(DPI≥300)；原生→pdfplumber 取文本
• 3 版面：还原阅读顺序，表格用 camelot(lattice/stream)
• 4 抽取：按 Schema 正则/模型抽字段，记置信度
• 5 校验：勾稽+必填+格式，低置信(<0.8)转人工
• 常见卡点 / 自救：
• 识别乱码→提 DPI 至 300+ 或换引擎
• 表格错→lattice 改 stream 或框选区域

3.2 合同字段抽取工作流

• 输入：一份合同 PDF + 字段清单
• 步骤：
• 1 定义 Schema：甲方/乙方/金额/期限/签署日/关键条款
• 2 抽文本：OCR/原生取全文
• 3 定位：正则+上下文(如"总金额(人民币)[:：]?s*([d,]+)")
• 4 校验：金额合计=各期之和；日期先后合理
• 5 输出：结构化 JSON + 置信度 + 待人工项
• 常见卡点 / 自救：
• 金额多写→勾稽校验拦出
• 签署日格式乱→统一 YYYY-MM-DD 再抽

四、输出物模板（完整示例，可直接套用）

4.1 抽取结果(示例·报销单)

{
  "invoice_no": "202609-00123",
  "amount_total": 1280.00,
  "amount_detail_sum": 1280.00,   // 勾稽通过
  "date": "2026-09-12",
  "vendor": "某科技",
  "confidence": {"amount":0.97,"date":0.95,"vendor":0.82},
  "need_review": ["vendor"]        // <0.8 转人工
}

4.2 分型与通道

原生PDF(可选文本): pdfplumber/PymuPDF 直取，最快最准
扫描件/图片:       DPI≥300 → PaddleOCR/Tesseract，看 CER
表格密集:          camelot(lattice 有线/stream 无线)
合同/固定模板:      Schema+正则/LayoutLM 抽取

五、量表 / 检查清单

5.1 解析质量自检

[ ] 文档已分型并选对通道[ ] 扫描件 DPI≥300，CER 在可接受范围[ ] 表格用专用引擎，非纯 OCR 全文[ ] 字段抽取带置信度，<0.8 转人工[ ] 勾稽校验通过(合计=明细和)[ ] 必填字段非空、格式统一

5.2 准确率阈值

六、识别信号表（意图路由）

七、合规护栏（硬性，不可绕过）

• 含个人信息的文档按授权与最小必要处理，抽取后脱敏存储。
• 识别结果须人工抽检复核后方可进入业务系统，不全自动采信。
• 不保留无关字段，解析完成及时清理临时图像副本。

八、常见问题

Q：这个技能能直接产出什么？

A：按对应能力输出分型判断、OCR 参数、抽取 Schema 与校验规则模板，可直接套用，不含任何外部服务依赖。

Q：内容是否需要密钥或付费服务？

A：完全免费，纯方法框架与模板，不接入任何外部服务或 API。

Q：为什么表格抽成乱码？

A：纯 OCR 把表格当图片文字流，应用 camelot/lattice 按线还原单元格；无线表格用 stream 并框选区域。

九、行业纵深（文档解析实战方法论）

1. 先分型再解析，通道选错全错。 四类文档通道不同：原生 PDF(含可选文本)用 pdfplumber 直取最快最准；扫描件必须 OCR；表格密集用 camelot；合同用 Schema 抽取。拿扫描件当原生 PDF 解析会得到空文本；拿表格当普通 OCR 会得到乱序字符流。分型是第一步也是性价比最高的一步。

2. OCR 的天花板是 DPI。 扫描件低于 200 DPI 字符粘连，识别率断崖。经验阈值 DPI≥300 配 PaddleOCR/Tesseract，CER(字符错率)目标<3%。但 DPI 不是越高越好——超过 600 边际收益骤减且耗时翻倍。倾斜矫正与降噪预处理常比换引擎更管用。

3. 表格用引擎不用 OCR 全文。 表格的难点是单元格对齐与跨页合并，纯 OCR 输出的是无结构文字流。camelot 的 lattice 模式认表格线、stream 模式靠空白推断，选错模式全乱。无线表格手动框选区域能显著提升还原率。

4. 抽取带置信度，低分转人工。 字段抽取(正则/LayoutLM)必须返回逐字段置信度，单字或字段<0.8 的列 need_review 转人工，不盲信自动结果进库。Schema 先行(甲方/金额/期限…)让抽取有目标，比"全文本向量化"在固定模板(合同/票据)上准得多。

5. 勾稽校验是最后防线。 金额合计必须等于各明细之和、签署日期早于生效日期、必填非空——这些确定性规则能拦掉大部分抽错。解析流水线以"校验不通过即转人工"为闭环，下游 RAG/数据库才不会被脏数据污染。

典型陷阱：①不分型统一 OCR 丢文本；②DPI 不足致错字；③表格当全文抽乱；④无置信度盲信；⑤抽完不校验。高质量解析=分型选通道+足 DPI+表格引擎+置信转人工+勾稽闭环。

十、版本与触发词

• v1.1.0 提优：删除泛化模板，注入文档解析真实方法(四分型/OCR DPI/CER/版面还原/字段抽取/勾稽校验)，给出准确率阈值，免费、零宣传。

触发词：文档解析、PDF解析、OCR、扫描件、表格抽取、版面还原、字段抽取、结构化、合同抽取、camelot、pdfplumber、CER、置信度