開啟 3 天免費試用
註冊即可免費體驗全部高級功能。
*只限新用戶;每位用戶只可獲得一次試用。


要用 AI 清理混亂的試算表資料,就讓模型剖析問題、提出明確規則,再以確定性工具把規則套用到資料副本。接納結果前,核對列數、唯一鍵、缺失值、資料類型和控制總額;絕不能讓對話式回答悄悄改寫主活頁簿。
關鍵要點:
- 清理之前,先凍結來源活頁簿,並界定每個欄位的含義。
- 向 AI 索取候選規則和例外,而不是來歷不明的「乾淨」檔案。
- 以可重複的公式、Power Query、OpenRefine 或程式碼執行已批准的轉換。
- 比較清理前後的控制指標,把被拒的列留在例外佇列。
本流程在建立有邊界的 AI 流程之上加入資料質素循環,並刻意與分析試算表分開:清理負責準備可信的輸入,分析負責詮釋它們。
混亂資料指表示方式令原本含義變得含糊、不一致或難以處理的資料。典型問題包括開頭空格、混用的日期格式、以文字儲存的數字、不一致的標籤、合併儲存格、重複記錄、隱藏的錯誤值、一欄塞進多項事實,以及缺失的識別碼。
並非所有差異都是錯誤。ACME Ltd、Acme Limited 和 ACME 可能是同一機構、三個法律實體,或同一公司在不同時期的名稱。空白可能代表未知、不適用、不予提供、零,或尚未收集。清理由語意開始,而不是由全局尋找取代開始。
為每個重要欄位建立資料字典:
| 欄位 | 業務含義 | 預期類型 | 容許值或格式 | 空值含義 | 例子 |
|---|---|---|---|---|---|
| order_id | 不可變的訂單鍵 | 文字 | ORD- 加數字 | 不容許 | ORD-1042 |
| order_date | 本地交易日期 | 日期 | ISO YYYY-MM-DD | 未記錄 | 2026-08-04 |
| amount | 總金額 | 小數 | 非負,貨幣另欄 | 未知 | 1250.50 |
| status | 目前流程狀態 | 分類 | pending、paid、canceled | 未審核 | paid |
資料字典給 AI 一個可檢驗的依據。沒有它,模型可能按自己的假設去統一數值。
在副本上操作,原檔案設為唯讀保存。記錄活頁簿和工作表名稱、取得日期、列數、欄數、公式、命名範圍、隱藏列和篩選條件。匯出為 CSV 可能遺失公式、格式、註解、多個工作表和部分類型資料,要記錄工作格式丟失了甚麼。
以確定性計算剖析每一欄:
交給 AI 的應是 schema、一小份獲批樣本和剖析結果,而非整個敏感活頁簿。請它歸類問題、提出規則、列出假設,並指出哪些數值需由人決定。刪除設計規則用不上的姓名、帳戶細節、私人財務資料和識別碼。
每項擬議改動佔一列:
| 欄位 | 問題 | 原值 | 目標值 | 規則 | 影響列數 | 驗證 | 批准者 |
|---|---|---|---|---|---|---|---|
| status | 大小寫及空格 | Paid | paid | 去空格再按獲批映射 | 184 | 全屬容許值 | 資料負責人 |
| amount | 文字小數 | 1,250.50 | 1250.50 | 按聲明的 locale 解析 | 72 | 金額總和不變 | 財務負責人 |
| customer_id | 缺失 | 空白 | 保持不變 | 進入例外佇列 | 11 | 不虛構 ID | 資料管理員 |
這份清單是 AI 建議與實際執行之間的契約。任何說不清適用範圍、例外和驗證方法的規則,都應否決。
請模型根據資料字典和剖析結果推理。一個有用的提示詞是:
審閱這份 schema、剖析結果和脫敏樣本。按欄位列出資料質素問題。就每個問題提出確定性規則、前提條件、受影響數值的模式、可能的誤報、例外處理和驗證檢查。除非有已批准的業務規則明確容許,否則不要填補缺失值、合併類別、刪除資料列或推斷身份。
要求按問題清單的欄位輸出,再以邊界情況質疑這些建議:帶重音的姓名、不換行空格、識別碼的前導零、03/04/2026 這類日期、負數調整、傳回空字串的公式,以及最新一列未必權威的重複記錄。
AI 很適合草擬轉換運算式、測試個案和覆核清單,但它不是執行記錄。把已批准的運算式複製到受控的查詢、公式集或程式,執行前先覆核。
低風險的規範化可包括:刪除已知的空白字元、對類別套用已批准的大小寫慣例,或按聲明的 locale 轉換含義明確的數字字串。語意決定則包括:合併客戶身份、選定標準地址、推算缺失值,或決定保留哪一筆重複記錄。
把語意決定放進例外佇列。佇列每一列應包括記錄 ID、欄位、原值、候選值、理由、證據、負責人和處置結果。清理後的數據集不得隱藏未解決項目。
選擇能記錄步驟的執行工具。Power Query 以有序查詢整理資料,Excel 可管理、複製、參照、合併和重新整理查詢。[1] OpenRefine 的轉換把運算式套用到儲存格,並支援預覽結果和復原操作。[4] 公式或程式只要有版本管理並經測試,同樣適用。
按以下次序套用規則:
不要就地覆寫來源儲存格。查詢應讀取凍結的來源並產生新輸出,新來源檔案到來時即可用同一配方重新整理。
Power Query 的重複值處理比較的是你選定的欄位。[2] 選的欄位太少,可能把不同記錄合併;選取所有欄位,又可能漏掉只有細微格式差異的重複項。先界定鍵和記錄粒度。
刪除前先計算重複組,把所有成員留在審計表中。判斷這些記錄屬完全重複、其後的更正、不同事件,還是可能指向同一實體。業務規則授權保留其中一筆時,記錄排序規則並保存被刪列的 ID。
Power Query 並不保證保留重複項中的哪一筆。[2] 因此,明確的保留規則和保存下來的審計表必不可少;這個語意決定仍需批准。
Excel 的 CLEAN 會刪除 7 位元 ASCII 字元集中的首 32 個非打印字元,但 Microsoft 指出,它不會刪除所有其他 Unicode 非打印字元。[3] 這項限制正好說明:熟悉的函數不能被說成萬能的清理手段。
只在明確規則下組合文字函數。刪除一般空格未必能刪除不換行空格;改變大小寫可能破壞區分大小寫的識別碼;刪除標點可能損壞參考編號。以具代表性和刁鑽的數值測試每項轉換。
驗證是為了證明已批准的規則確實執行,而且沒有損壞無關資料。在每個重要階段前後比較控制指標。
至少做以下檢查:
| 控制項 | 預期結果 |
|---|---|
| 來源列數 | 在獲批的篩選或去重步驟之前保持不變 |
| 輸出加例外 | 等於範圍內的來源總體 |
| 唯一鍵數目 | 符合已批准的記錄粒度規則 |
| 各欄位空值數 | 只按獲批規則變化 |
| 類型失敗 | 為零,或全部在例外佇列中 |
| 分類分佈 | 只有獲批的標籤改變 |
| 數值總額 | 保持不變,除非有記錄在案的更正解釋差額 |
| 樣本記錄 | 由來源到輸出的數值與規則日誌一致 |
測試冪等性:把清理配方再套用到其自身輸出,數值不應繼續改變。再以結構相同的新來源檔案測試可重新整理性。只有人手改過儲存格才能執行成功一次的配方,是不可重現的。
使用與數據集相稱的控制總額:交易資料用總和與計數,流程記錄用按狀態的計數,事件用最早和最晚日期,不應改變的欄位用雜湊或精確比較。驗證報告應區分通過、失敗和不適用。
影響重大的資料,由資料負責人批准規則,再由另一位覆核人檢查已改動、未改動和例外三類樣本。NIST 的 AI 風險指引強調資訊完整性和人工監督;清晰可見的批准與證據記錄,比把模型的流暢表達當作質素保證更安全。流程中產生的說法,使用核驗資料工作中的 AI 說法一文的方法。
把凍結來源的參照、資料字典、剖析結果、已批准的規則清單、映射表、轉換配方、例外表、驗證報告和最終輸出一併打包。工具版本和 locale 設定影響解析時,亦要記錄。
變更記錄應寫明誰批准了每條規則、何時修改及原因。來源欄位的含義或類型改變時,停止重新整理,而不是強行轉換成舊 schema。schema 漂移是輸入契約的失敗,不是另一個需要「清理」的數值。
數據集通過質素控制後,便可分析試算表、進行負責任的資料視覺化,或以雙表核對流程與另一來源比較。
就地修改會抹去來源記錄,也令復原變得困難。讀取凍結的來源,寫出有版本的輸出。
看似重複不等於含義重複。先確定記錄粒度、把候選分組並批准保留規則,然後才刪除。
看似合理的數值仍是虛構的。已知空值原因時予以保留,需要決定的記錄轉入例外佇列。
03/04/2026 可能代表不同日期。使用聲明的格式,拒絕含糊的數值,並保留原始數值供覆核。
沒有規則日誌的「乾淨」檔案既無法重現,也無法審計。要求確定性步驟和前後控制指標。
它可以建議、有時也能執行轉換,但自動執行不能證明規則符合你資料的含義。覆核規則,在副本上執行,並在接納前驗證結果。
不必。有些重複是不同事件、更正或合理的重複值。界定記錄鍵和業務規則,覆核重複組,並為任何刪除的列保留審計記錄。
只有在有明確、合理並經驗證的推算規則時才可以。否則保留空白,盡量區分其含義,並把有後果的缺失值交付覆核。
聲明來源的 locale 和可接受格式,解析含義明確的數值,把含糊的日期轉入例外佇列,並保留原始字串以便審計。
視乎任務。Power Query 記錄有序的匯入和轉換步驟;對較小的試算表,公式可能更透明。無論哪種方式,都應保留來源並支援可重複的驗證。
在清理前後計算相關控制總額,解釋每項獲授權的差異,並把輸出加例外與來源總體核對。
優先提供 schema、剖析結果和一小份脫敏樣本。刪除不必要的識別碼,並只使用獲准處理該資料類別的服務和帳戶。
清理是按規則把一個數據集標準化;核對則比較兩個數據集,連繫對應記錄,並解釋已配對、未配對和互相矛盾的數值。
來源:
Sources checked 2026 年 8 月 30 日。
延伸閱讀:
註冊即可免費體驗全部高級功能。
*只限新用戶;每位用戶只可獲得一次試用。