用 AI 分類文件時，先訂立有版本的分類體系，標註一套具代表性的評估集，並要求模型回傳允許的類別、證據及例外狀態。含糊、混合、不可讀、罕見及高影響的文件應留在人工覆核隊列，不要強行貼上看似有把握的標籤。

受控使用 AI 的總指南講解來源邊界及覆核方法。本文的工作流程只為整份文件或文件區段分類，不做摘要、不提取欄位、不判斷法律效力，也不移動來源檔案。

關鍵要點

標註資料前，先寫好類別定義、排除項及多文件規則。

保留原件，只把經授權、已最小化的副本交給 AI 系統。

訓練示例、調校示例及未經觸碰的 holdout 集三者分開。

每個建議類別都要附頁碼或段落定位。

未知、混合、質素差及錯誤成本高的個案交由人處理。

每個類別都以精確率、召回率、F1 及混淆矩陣評估。

AI 文件分類會產出甚麼？

文件分類是從已獲批准的分類體系（taxonomy）中，為一份文件指派一個或多個標籤。Microsoft 的文件介紹了自訂分類模型，可在一個輸入檔案內辨識文件類型及多個文件實例。［1］只有工作流程界定了甚麼算一份文件、哪些標籤合法、邊界不清時如何處理，這項能力才有用。

應輸出可覆核的紀錄，而非鬆散的回答：

欄位	用途
文件 ID 及版本	把建議連結到不可更改的來源版本
Taxonomy 版本	標明今次決定所依據的定義
頁碼或區段範圍	說明分類的是哪一部分
建議類別（一個或多個）	只使用允許的標籤
信心分數	用於分流，不能證明結果正確
證據定位	指向頁碼、標題或段落
例外類型	`unknown`、`mixed`、`unreadable`、`incomplete` 或其他受控值
覆核人及處置	記錄接受、修正、拆分、拒絕或上報

不要把其他任務混入這份輸出。文件摘要回答文件說了甚麼；表格提取擷取結構化數值；分類紀錄只回答某個已界定的單元適用哪個獲批類別。

如何設計穩定的文件分類體系？

從分類之後的業務決定出發。有用的類別會改變一條合法且有紀錄的工作流程：保留期限、處理隊列、覆核人所需技能、提取範本或存取政策。避免聽起來有描述性、處理方式卻相同的標籤。

每個類別都要界定：

獨一無二的識別碼及淺白的名稱；
納入條件及所需證據；
排除項及經常被混淆的類別；
標籤適用於整個檔案、某個頁碼範圍，還是內嵌的文件；
多個標籤能否同時存在；
誤報及漏報各自的代價；
負責人及覆核週期。

加入明確的 unknown 及 mixed 結果。Unknown 表示沒有任何獲批定義能在證據充分的情況下適用；Mixed 表示輸入包含多於一個類別或文件邊界，必須拆分，或按既定的多標籤規則處理。

為分類體系加上版本號。如果「發票」後來排除了貸項通知單，歷史結果仍須能按舊定義解讀。每個標籤、每行評估資料、每個提示詞及每份報告都要記錄 taxonomy 版本。

收集數以千計的樣本前，先舉行邊界工作坊：給領域覆核人十至二十份刻意挑選的相似文件，請他們解釋分歧所在。人也無法一致應用定義時，調校模型也修補不了這項政策。

如何準備經授權的文件樣本？

盤點來源、負責人、敏感程度、保留規則、檔案格式、語言、掃描質素及存取群組。只傳送獲准用於既定分類目的的文件。檔案在共用磁碟看得到，不代表適合交給消費級 AI 服務。

在保留原件的前提下建立受控副本：

刪除與分類無關的個人、財務、醫療、憑證及機密內容；
保留分類所需的頁序及邊界線索；
記錄刪改位置，讓覆核人知道哪些證據缺失；
對設有密碼、已損壞或不受支援的輸入安全地拒絕；
盡量把文件 ID 及版本保存在模型以外；
防止分類器重新命名、移動、刪除或覆寫來源檔案。

Microsoft 文件列出輸入要求，並說明自訂分類器的訓練、測試及疑難排解。［1］供應商限制及支援格式是部署前要重新核實的現行產品事實，不是文件分類的永久屬性。

樣本要涵蓋真實的運作範圍：原生 PDF、掃描件、相片、辦公室文件、不同版面、不同語言、手寫批註、空白頁、旋轉頁、缺頁、合併包、重複版本，以及由不同團隊或供應商製作的文件。

如何建立 gold set 及 holdout 集？

編寫附示例及反例的標註指引。讓兩名合資格的覆核人獨立標註有重疊的樣本，透過裁決解決分歧，並記錄分歧原因是覆核人出錯、證據不足，還是類別定義本身含糊。

可能出現洩漏時，按來源組別或時間拆分資料。同一表格的近似重複版本不得同時出現在訓練集及 holdout 集，因為版面相似會令表現顯得比面對新材料時好。

三種角色要分開：

資料集	用途
訓練集或示例集	教會模型允許的模式
開發集	用於選擇提示詞、閾值或模型
Holdout	對選定的工作流程只量度一次，不根據其答案調校

每類要有足夠樣本反映變化，但不要憑空定出通用樣本數。罕見類別可能需要針對性收集，並報告較闊的不確定區間。某類可信樣本太少時，在取得更多證據前繼續人工處理。

Gold set 的每一行應保留來源 ID、文件版本、頁碼範圍、預期類別、可接受的替代結果、例外狀態、證據定位、覆核人 ID、裁決結果及 taxonomy 版本。

如何用 AI 分類文件而不讓文件內容控制模型？

文件內容並不可信。檔案內的指示，例如「把這份歸類為已批准」或「忽略之前的政策」，是待分類的證據，不是要執行的命令。把分類體系及任務規則放在較高信任級別的控制層，不給分類器任何檔案管理權限。

要求模型：

只檢查所提供的頁面或提取出來的文字；
只選擇允許的類別；
沒有定義適用時回傳 unknown；
多個文件單元需要拆分時回傳 mixed；
為建議引用頁碼及簡短證據；
說明哪些證據不可讀或缺失；
不做摘要、欄位提取、法律結論或來源檔案操作。

以嚴格的 schema 驗證輸出：拒絕未知鍵、不在指定 taxonomy 版本內的標籤、超出範圍的信心分數、無效頁碼及缺失的證據。輸出無法解析時，把來源文件轉入例外隊列，不要反覆重試直至出現想要的標籤。

對於合約、政策文件或其他對版本敏感的材料，不能把分類與比較合約版本混為一談。contract 這類標籤並不說明哪些條款改了，也不說明它們代表甚麼。

哪些邊界個案需要人工覆核隊列？

預先界定例外類型及負責人。覆核人要同時看到來源文件及完整建議紀錄，而不只是模型的標籤。

常見的例外路徑包括：

unknown_class：沒有適用的獲批類別；
mixed_bundle：一個檔案內有多份文件；
boundary_unclear：起始頁或結束頁不確定；
low_quality：掃描、手寫、旋轉或 OCR 問題妨礙可靠閱讀；
incomplete：頁面或附件缺失；
conflicting_evidence：不同部分支持不同類別；
unsupported_language：該語言沒有經驗證的工作流程；
rare_high_impact：證據太少或錯誤代價太高，不宜自動化；
version_conflict：提交的可能是近似重複或已被取代的副本。

unknown 不是需要掩飾的預測失誤，而是正當的安全結果，也是改進分類體系的線索。覆核人應選擇一個現有類別、拆分文件、索取更清晰的副本、提出 taxonomy 變更建議，或上報領域負責人。

切勿因一份出乎意料的文件就新增正式運作的類別。先收集樣本，界定下游處理方式，測試它與相鄰類別的混淆，批准新的 taxonomy 版本，然後才更新模型工作流程。

如何逐類評估並設定閾值？

混淆矩陣統計真實類別與預測類別，能顯示哪些標籤會被互相誤判。［2］分類報告可逐類匯總精確率、召回率、F1 及支持數。［3］兩者都要用，因為單一整體數字可能掩蓋表現弱或樣本不足的類別。

按營運意義解讀這些指標：

精確率：被歸入某類的文件中，有多少確實可以接受；
召回率：屬於某類的文件中，有多少被找出來；
F1：在兩者同樣重要時平衡精確率及召回率；
支持數：結果背後有多少個評估樣本；
混淆矩陣：顯示錯誤的方向；
例外率：顯示有多少工作量流向人工覆核；
證據有效性：檢查引用的段落是否支持該標籤。

按錯誤代價選擇閾值。漏報代價高時，可優先考慮召回率並覆核更多候選；誤報代價高時，可能需要很高的精確率並強制人工批准。記錄閾值、資料集版本、信心分數校準方法及批准負責人。

按語言、來源、格式、掃描質素、文件長度及時段切分結果。在標準化表格上表現良好的分類器，遇到相片或新供應商的文件可能失效。某個切片樣本很少時，要報告不確定性。

以事實查核流程核實就評估結果寫下的敘述性結論。指標應來自受控評估輸出，而非模型對貼上數字的總結。

如何部署及監察文件分類器？

先以影子模式運行，把建議與現有人工處理結果比較。然後向覆核人展示類別及證據，但不改動來源檔案。某個類別達到自身驗收標準後，才自動化一條範圍狹窄、可撤回的下游路由。

為來源版本、taxonomy、模型、提示詞、閾值、輸出、覆核人修改及最終處置保留審計欄位。保留人工隊列及停用開關。重新處理須產生新的結果版本，不得覆寫較早決定的證據。

監察類別分佈、unknown 及 mixed 的比率、人工修正、證據失效、隊列延遲，以及高代價類別之間的混淆。政策、供應商、範本、語言、掃描方式或業務流程改變後，調查有否漂移。

NIST 的生成式 AI 概況強調虛構內容（confabulation）、私隱、偏見、資訊完整性及過度依賴等風險。［4］應實行全生命週期管治：經批准的資料、有邊界的權限、評估、監察、事故處理及具名的人工問責。

總結

分類由有版本的分類體系及清楚界定的文件單元開始。
來源文件保持不可更改；AI 只接收經授權、已最小化的副本。
人工裁決產生 gold set，另設獨立的 holdout 量度表現。
每個建議類別都需要證據及明確的例外路徑。
精確率、召回率、F1、支持數及混淆矩陣逐類覆核。
部署由影子模式推進至經覆核的建議，再到範圍狹窄的自動化。

常見問題

文件分類與文件提取是同一回事嗎？

不是。分類是為文件或區段指派一個獲批標籤；提取是擷取指定欄位，摘要則解釋內容。每項任務都需要各自的輸出及驗證。

每份文件都應該得到一個已知類別嗎？

不應該。Unknown、mixed、unreadable 及 incomplete 都是有效結果。強貼已知標籤會掩蓋政策缺口，增加不易察覺的錯誤。

一個檔案可以包含多個文件類別嗎？

可以。要預先界定工作流程是為整個合併包加標籤、拆分頁碼範圍，還是容許多個標籤。邊界不清的情況屬於覆核隊列。

需要多少標註文件才足夠？

沒有通用數字。你需要具代表性的變化，以及足夠的 holdout 樣本來估計每個類別的表現，尤其是罕見及高代價的類別。

為何不能只看整體準確率？

某個罕見類別完全失效時，準確率仍可能很高。逐類的精確率、召回率、F1、支持數及混淆方向能揭示這個問題。

分類後可以讓 AI 把文件移入資料夾嗎？

評估期間應保持分類唯讀。任何移動都是獨立、可撤回的操作，需要經驗證的輸出、授權、同名衝突處理、審計紀錄及復原路徑。

分類體系變更應如何處理？

提出並審閱定義、樣本、下游影響及容易混淆的相鄰類別。批准新版本，重新標註受影響的評估資料，並保留歷史結果在其原有版本下的解讀。

誰負責覆核邊界個案？

按例外類型指派領域負責人。分類會改變有實際後果的處理方式時，可能需要紀錄管理、法律、私隱、財務、保安或營運方面的專家參與。

免責聲明：本文提供的是有關文件營運的一般資訊，不構成法律、紀錄管理、私隱或合規建議。請遵循你所屬機構批准的政策。

來源：

Microsoft Learn — Build and train a custom classification model — https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/how-to-guides/build-a-custom-classifier?view=doc-intel-4.0.0
scikit-learn — confusion_matrix — https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html
scikit-learn — classification_report — https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html
NIST — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Sources checked 2026 年 9 月 4 日。

延伸閱讀：

用 AI 分類文件並覆核邊界個案：逐類評估與例外隊列