资料脱敏清洗和经验升维提炼

概述

数据清洗与升维提炼技能

概述

将包含敏感信息的原始业务文档处理为两份可上传云端的输出文档：

1. 脱敏版原文 ([原文件名]_anonymized.md) — 保留完整叙事，所有敏感信息替换为占位标签
2. 知识提炼文档 ([原文件名]_knowledge.md) — 脱离具体案例，提炼可复用的底层逻辑、方法论和 SOP

支持的文件类型

非结构化文件处理原则：所有非纯文本文件，先运行对应提取脚本，将文字内容保存为临时 .md 文件，后续脱敏和升维均基于提取后的文本进行。原始文件不会被修改。

工作流程

阶段零：文件类型检测与文本提取

0. 检测文件类型，必要时提取文本

根据文件扩展名采取不同策略：

纯文本文件（.txt / .md / .csv）：

• 直接用 Read 工具读取内容，进入阶段一。

Word 文档（.docx）：

/Users/ai/.workbuddy/binaries/python/versions/3.13.12/bin/python3 
  [skill_dir]/scripts/extract_docx.py <input.docx> <output_extracted.md>

• 脚本会将文档标题转换为 Markdown 标题层级（# / ## / ###），表格转为 Markdown 表格。
• 提取结果保存为 [原文件名]_extracted.md，作为后续处理的输入。

PDF 文件（.pdf）：

/Users/ai/.workbuddy/binaries/python/versions/3.13.12/bin/python3 
  [skill_dir]/scripts/extract_pdf.py <input.pdf> <output_extracted.md>

• 脚本按页提取文本，每页之间用 --- 分隔。
• 提取结果保存为 [原文件名]_extracted.md。
• PDF 提取可能存在段落错位，执行后快速确认段落逻辑是否连贯，必要时手动调整。

PPT 文件（.pptx）：

/Users/ai/.workbuddy/binaries/python/versions/3.13.12/bin/python3 
  [skill_dir]/scripts/extract_pptx.py <input.pptx> <output_extracted.md>

• 脚本提取每张幻灯片的标题（最大字号文本）和正文要点，按幻灯片顺序输出。
• 每张幻灯片格式为 ## 幻灯片 N + 标题 + 要点列表，幻灯片之间用 --- 分隔。
• 提取结果保存为 [原文件名]_extracted.md。

[skill_dir] 指本技能的安装目录，可通过 Skill 工具加载时获取实际路径。

若无法获取，可直接使用脚本的相对路径 scripts/extract_xxx.py（在工作目录中执行时）。

提取完成后，后续所有步骤均基于提取出的纯文本（.md 文件）进行。

阶段一：准备阶段

1. 读取原始文件（或提取后的文本）

用 Read 工具读取文本内容（纯文本文件直接读取；非结构化文件读取阶段零提取出的 .md 文件）。

2. 快速扫描，识别文档类型

判断文档属于哪类（项目复盘 / 销售记录 / 客户沟通 / 工作总结 / 方案文档 / 其他），并在脑海中标记高敏感度片段（人名密集区、金额数据区、时间线区域）。

阶段二：数据脱敏

核心原则：零残留。任何真实身份信息都不得出现在输出文件中。

3. 运行脚本预处理（纯文本文件可选，非结构化文件建议执行）

/Users/ai/.workbuddy/binaries/python/versions/3.13.12/bin/python3 
  [skill_dir]/scripts/anonymize.py <input_file> <output_anonymized_file>

脚本会输出替换统计，告知哪些类型被替换了多少处。

对于非结构化文件，对提取后的 .md 文件运行此脚本。

4. LLM 精细补充脱敏

脚本基于正则，对以下情况覆盖不足，需要 LLM 补充处理：

• 英文人名（如 Tom Zhang, David Lee）
• 语境推断的人名（如"李总"、"王老师"、"小陈"）
• 非标准公司写法（如"我们甲方"、"那家做 SaaS 的"）
• 间接可识别信息（如"深圳某2021年成立的独角兽"可被搜索定位）
• 组合信息泄露（如"月流水2360万、312个门店"组合后可定位企业）
• 文档元数据（PDF/Word 的文件属性中可能包含作者名、公司名，需一并检查）

读取 references/anonymization_rules.md 获取详细规则和难点处理方案。

5. 一致性检查

同一实体在全文多次出现时，确保使用相同的占位标签（如第一处是[机构名A]，后续同一机构都用[机构名A]）。

如果文中有多个不同机构/人物，建议在文首添加映射说明块：

【脱敏映射说明】
- [客户A] = 某制造业企业（华东地区，中型规模）
- [顾问B] = 某咨询公司合伙人
- [金额1] = 首批合同（百万元量级）

6. 执行脱敏自查清单

使用 references/anonymization_rules.md 中的"脱敏质量自查清单"逐项核对，确认无遗漏。

阶段三：经验升维提炼

读取 references/distillation_framework.md 加载完整的提炼方法论框架。

7. 识别问题类型

按框架 Step 1，判断文档主要属于哪类业务问题（客户管理 / 项目交付 / 谈判 / 内部决策等）。

8. 提炼底层逻辑

按框架 Step 2，用以下三要素描述核心规律：

• 底层逻辑（一句话）
• 触发条件
• 失效条件

9. 构建通用方法论

按框架 Step 3，将"我们这次怎么做"转化为"这类问题应该怎么做"：

• 去主语、去特指
• 用条件句表达
• 提炼可观测信号

10. 生成 SOP 或决策框架

按框架 Step 4，生成对应格式：

• 有明确步骤的 → 生成 SOP（三阶段格式）
• 有多种选择路径的 → 生成决策树

11. 提炼关键决策点

按框架 Step 5，找出"如果当时换一个决定，结果会完全不同"的节点，逐一分析。

阶段四：输出文档

12. 生成脱敏版原文

• 纯文本/Markdown 输入：在原文件同目录写入 [文件名]_anonymized.md
• 非结构化文件输入：在提取文本的同目录写入 [文件名]_anonymized.md
• 如输入是直接粘贴的文本：在当前工作目录输出

13. 生成知识提炼文档

读取 assets/knowledge_template.md 作为结构模板，填写 [文件名]_knowledge.md。

提炼文档必须：

• 有完整的元数据头（来源类型 / 适用规模 / 适用阶段 / 关键词）
• 覆盖模板全部七个章节
• 不包含任何可识别真实主体的信息（比脱敏版更高标准）
• SOP 具体到可以直接执行，避免"保持沟通"这类模糊建议

14. 清理临时文件（可选）

如果阶段零生成了 [原文件名]_extracted.md 临时文件，处理完成后询问用户是否保留。如不需要，可删除。

15. 展示结果

使用 present_files 向用户呈现两个输出文件，并附简短摘要。

文件路径约定

• 默认输出位置：与输入文件同目录
• 脱敏文件命名：{原文件名}_anonymized.md
• 知识文档命名：{原文件名}_knowledge.md
• 提取文件命名：{原文件名}_extracted.md（仅非结构化文件）
• 如用户未提供文件路径，要求用户粘贴文本后在当前工作目录输出

注意事项

• 脱敏标准：零残留优先于可读性。宁可多脱，不可漏脱。
• 升维标准：提炼内容必须可迁移，脱离原案例仍然有效。
• 如遇模糊信息（难以判断是否敏感），默认脱敏。
• 对于超长文档（>5000字），可分段处理后合并输出。
• 不修改用户文档的原始结构和叙事逻辑；脱敏版只替换敏感词，不改写句式。
• 非结构化文件：提取文本时尽量保留原始结构（标题层级、段落顺序），但脱敏版输出为 .md 格式，不保留原始文件格式（字体、颜色、表格样式等）。

技能资源