用 AI 分类文档时，先定义版本化分类体系，标注一套有代表性的评估集，并要求模型返回允许的类别、证据和例外状态。歧义、混合、不可读、罕见和高影响的文档应留在人工复核队列，不要强行贴上看似自信的标签。

受控使用 AI 的总指南介绍了来源边界和复核方法。本文的工作流只对整份文档或文档区段做分类，不做摘要、不提取字段、不判断法律效力，也不移动源文件。

关键要点

标注数据前，先写好类别定义、排除项和多文档规则。

保留原件，只把经授权、已最小化的副本交给 AI 系统。

训练示例、调校示例和未经触碰的 holdout 集三者分开。

每个建议类别都要附页码或段落定位。

未知、混合、质量差和错误成本高的个案转给人处理。

每个类别都用精确率、召回率、F1 和混淆矩阵评估。

AI 文档分类会产出什么？

文档分类是从获批准的分类体系（taxonomy）中，为一份文档分配一个或多个标签。Microsoft 的文档介绍了自定义分类模型，可在一个输入文件中识别文档类型及多个文档实例。［1］只有工作流定义了什么算一份文档、哪些标签合法、边界不清时怎么办，这项能力才有用。

应输出可复核的记录，而非松散的回答：

字段	用途
文档 ID 与版本	把建议关联到不可变的源版本
Taxonomy 版本	标明本次决定所依据的定义
页码或区段范围	说明分类的是哪一部分
建议类别（一个或多个）	只使用允许的标签
置信度	用于路由，不能证明结果正确
证据定位	指向页码、标题或段落
例外类型	`unknown`、`mixed`、`unreadable`、`incomplete` 或其他受控值
复核人与处置	记录接受、修正、拆分、拒绝或升级

不要把其他任务混进这份输出。文档摘要回答文档说了什么；表格提取获取结构化数值；分类记录只回答某个已定义的单元适用哪个批准类别。

如何设计稳定的文档分类体系？

从分类之后的业务决定出发。有用的类别会改变一条合法且有记录的工作流：保留期限、处理队列、复核人所需技能、提取模板或访问策略。避免那些听起来有描述性、处理方式却相同的标签。

每个类别都要定义：

唯一标识符和通俗易懂的名称；
纳入条件和所需证据；
排除项和常被混淆的类别；
标签适用于整份文件、某个页码范围还是嵌入的文档；
多个标签能否同时存在；
误报和漏报各自的代价；
负责人和复核周期。

加入明确的 unknown 和 mixed 结果。Unknown 表示没有任何批准定义能在证据充分的情况下适用；Mixed 表示输入包含不止一个类别或文档边界，必须拆分，或按既定的多标签规则处理。

给分类体系加版本号。如果“发票”后来排除了贷项通知单，历史结果仍须能按旧定义解读。每个标签、每行评估数据、每个提示词和每份报告都要记录 taxonomy 版本。

收集成千上万个样本之前，先开边界研讨会：给领域复核人十到二十份刻意挑选的相似文档，请他们解释分歧所在。人都无法一致应用定义时，调校模型也修复不了这项政策。

如何准备经授权的文档样本？

盘点来源、负责人、敏感等级、保留规则、文件格式、语言、扫描质量和访问组。只发送获准用于既定分类目的的文档。文件在共享盘里能看到，不代表适合交给消费级 AI 服务。

在保留原件的前提下建立受控副本：

删除与分类无关的个人、财务、医疗、凭据和机密内容；
保留分类所需的页序和边界线索；
记录删减位置，让复核人知道哪些证据缺失；
对有密码保护、已损坏或不受支持的输入安全地拒绝；
尽可能把文档 ID 和版本保存在模型之外；
防止分类器重命名、移动、删除或覆盖源文件。

Microsoft 文档列出了输入要求，并说明了自定义分类器的训练、测试和故障排除。［1］供应商限制和支持格式是部署前要重新核实的当前产品事实，不是文档分类的永久属性。

样本要覆盖真实的运行范围：原生 PDF、扫描件、照片、办公文档、不同版式、不同语言、手写批注、空白页、旋转页、缺页、合并包、重复版本，以及由不同团队或供应商产生的文档。

如何建立 gold set 和 holdout 集？

编写带示例和反例的标注指南。让两名合格的复核人独立标注有重叠的样本，通过裁决解决分歧，并记录分歧原因是复核人失误、证据不足，还是类别定义本身有歧义。

可能发生泄漏时，按来源组或时间拆分数据。同一表单的近似重复版本不得同时出现在训练集和 holdout 集中，因为版式相似会让表现显得比面对新材料时更好。

三种角色要分开：

数据集	用途
训练集或示例集	教会模型允许的模式
开发集	用于选择提示词、阈值或模型
Holdout	对选定的工作流只衡量一次，不根据其答案调校

每类要有足够样本暴露变化，但不要编造通用样本数。稀有类别可能需要定向收集，并报告更宽的不确定区间。某类可信样本太少时，在获得更多证据前继续人工处理。

Gold set 的每一行应保留源 ID、文档版本、页码范围、预期类别、可接受的替代结果、例外状态、证据定位、复核人 ID、裁决结果和 taxonomy 版本。

如何用 AI 分类文档而不让文档控制模型？

文档内容是不可信的。文件里的指令，例如“把这份归为已批准”或“忽略之前的政策”，是待分类的证据，不是要执行的命令。把分类体系和任务规则放在更高信任级别的控制层，并且不给分类器任何文件管理权限。

要求模型：

只检查所提供的页面或提取出的文字；
只选择允许的类别；
没有定义适用时返回 unknown；
多个文档单元需要拆分时返回 mixed；
为建议引用页码和简短证据；
说明哪些证据不可读或缺失；
不做摘要、字段提取、法律结论或源文件操作。

用严格的 schema 校验输出：拒绝未知键、不在指定 taxonomy 版本中的标签、超出范围的置信度、无效页码和缺失证据。输出无法解析时，把源文档转入例外队列，不要反复重试直到出现想要的标签。

对于合同、政策文件或其他对版本敏感的材料，不能把分类和比较合同版本混为一谈。contract 这样的标签并不说明哪些条款变了，也不说明它们意味着什么。

哪些边界案例需要人工复核队列？

提前定义例外类型和负责人。复核人要同时看到源文档和完整建议记录，而不只是模型的标签。

常见的例外路径包括：

unknown_class：没有适用的批准类别；
mixed_bundle：一个文件里有多份文档；
boundary_unclear：起始页或结束页不确定；
low_quality：扫描、手写、旋转或 OCR 问题妨碍可靠阅读；
incomplete：页面或附件缺失；
conflicting_evidence：不同部分支持不同类别；
unsupported_language：该语言没有经过验证的工作流；
rare_high_impact：证据太少或错误代价太高，不适合自动化；
version_conflict：提交的可能是近似重复或已被取代的副本。

unknown 不是需要掩盖的预测失败，而是正当的安全结果，也是改进分类体系的线索。复核人应选择一个现有类别、拆分文档、索取更清晰的副本、提出 taxonomy 变更建议，或升级给领域负责人。

绝不要因一份出乎意料的文档就新建生产类别。先收集样本，定义下游处理方式，测试它与相邻类别的混淆，批准新的 taxonomy 版本，然后再更新模型工作流。

如何逐类评估并设定阈值？

混淆矩阵统计真实类别与预测类别，能揭示哪些标签会被相互误判。［2］分类报告可以逐类汇总精确率、召回率、F1 和支持数。［3］两者都要用，因为单一总体数字可能掩盖表现差或样本不足的类别。

按运营含义解读这些指标：

精确率：被分到某类的文档中，有多少确实可以接受；
召回率：属于某类的文档中，有多少被找了出来；
F1：在两者都重要时平衡精确率和召回率；
支持数：结果背后有多少个评估样本；
混淆矩阵：显示错误的方向；
例外率：显示有多少工作量流向人工复核；
证据有效性：检查引用的段落是否支持该标签。

按错误代价选择阈值。漏报代价高时，可以优先召回率并复核更多候选；误报代价高时，可能需要很高的精确率并强制人工批准。记录阈值、数据集版本、置信度校准方法和批准负责人。

按语言、来源、格式、扫描质量、文档长度和时间段切分结果。在标准化表单上表现良好的分类器，遇到照片或新供应商的文档可能失效。某个切片样本很少时，要报告不确定性。

用事实核查流程核实关于评估结果写下的任何叙述性结论。指标应来自受控评估输出，而非模型对粘贴数字的总结。

如何部署和监控文档分类器？

先以影子模式运行，把建议与现有人工处理结果对比。然后向复核人展示类别和证据，但不改动源文件。某个类别达到自身验收标准后，才自动化一条范围很窄、可撤销的下游路由。

为源版本、taxonomy、模型、提示词、阈值、输出、复核人修改和最终处置保留审计字段。保留人工队列和停用开关。重新处理须生成新的结果版本，不得覆盖早先决定的证据。

监控类别分布、unknown 和 mixed 的比例、人工修正、证据失败、队列延迟，以及高代价类别之间的混淆。政策、供应商、模板、语言、扫描方式或业务流程变化后，调查是否出现漂移。

NIST 的生成式 AI 概况强调了虚构内容（confabulation）、隐私、偏见、信息完整性和过度依赖等风险。［4］应实行全生命周期治理：经批准的数据、有边界的权限、评估、监控、事件处理和具名的人工问责。

总结

分类从版本化的分类体系和明确定义的文档单元开始。
源文档保持不可变；AI 只接收经授权、已最小化的副本。
人工裁决产生 gold set，另设独立的 holdout 衡量表现。
每个建议类别都需要证据和明确的例外路径。
精确率、召回率、F1、支持数和混淆矩阵逐类复核。
部署从影子模式推进到经复核的建议，再到范围很窄的自动化。

常见问题

文档分类和文档提取是一回事吗？

不是。分类是给文档或区段分配一个获批准的标签；提取是获取指定字段，摘要则解释内容。每项任务都需要各自的输出和校验。

每份文档都应该得到一个已知类别吗？

不应该。Unknown、mixed、unreadable 和 incomplete 都是有效结果。强贴已知标签会掩盖政策缺口，增加不易察觉的错误。

一个文件可以包含多个文档类别吗？

可以。要事先定义工作流是给整个合并包打标签、拆分页码范围，还是允许多个标签。边界不清的情况属于复核队列。

需要多少标注文档才够？

没有通用数字。你需要有代表性的变化，以及足够的 holdout 样本来估计每个类别的表现，尤其是稀有和高代价的类别。

为什么不能只看总体准确率？

某个稀有类别完全失效时，准确率仍可能很高。逐类的精确率、召回率、F1、支持数和混淆方向能暴露这个问题。

分类后能让 AI 把文档移到文件夹里吗？

评估期间应保持分类只读。任何移动都是独立、可撤销的操作，需要经过校验的输出、授权、重名冲突处理、审计记录和恢复路径。

分类体系变更应如何处理？

提出并评审定义、样本、下游影响和易混淆的相邻类别。批准新版本，重新标注受影响的评估数据，并保留历史结果在其原始版本下的解释。

谁来复核边界案例？

按例外类型指派领域负责人。当分类会改变有实际后果的处理方式时，可能需要记录管理、法务、隐私、财务、安全或运营方面的专家参与。

免责声明：本文提供的是关于文档运营的一般信息，不构成法律、记录管理、隐私或合规建议。请遵循你所在组织批准的政策。

来源：

Microsoft Learn — Build and train a custom classification model — https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/how-to-guides/build-a-custom-classifier?view=doc-intel-4.0.0
scikit-learn — confusion_matrix — https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html
scikit-learn — classification_report — https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html
NIST — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Sources checked 2026 年 9 月 4 日。

延伸阅读：

用 AI 分类文档并复核边界案例：逐类评估与例外队列