如何用 AI 清理混亂的試算表資料:由規則清單到結果核對

如何用 AI 清理混亂的試算表資料:由規則清單到結果核對

Olivia Park
2026年8月29日· 更新於 2026年8月30日· 9 分鐘讀完

要用 AI 清理混亂的試算表資料,就讓模型剖析問題、提出明確規則,再以確定性工具把規則套用到資料副本。接納結果前,核對列數、唯一鍵、缺失值、資料類型和控制總額;絕不能讓對話式回答悄悄改寫主活頁簿。

關鍵要點:

  • 清理之前,先凍結來源活頁簿,並界定每個欄位的含義。
  • 向 AI 索取候選規則和例外,而不是來歷不明的「乾淨」檔案。
  • 以可重複的公式、Power Query、OpenRefine 或程式碼執行已批准的轉換。
  • 比較清理前後的控制指標,把被拒的列留在例外佇列。

本流程在建立有邊界的 AI 流程之上加入資料質素循環,並刻意與分析試算表分開:清理負責準備可信的輸入,分析負責詮釋它們。

甚麼是混亂資料?

混亂資料指表示方式令原本含義變得含糊、不一致或難以處理的資料。典型問題包括開頭空格、混用的日期格式、以文字儲存的數字、不一致的標籤、合併儲存格、重複記錄、隱藏的錯誤值、一欄塞進多項事實,以及缺失的識別碼。

並非所有差異都是錯誤。ACME Ltd、Acme Limited 和 ACME 可能是同一機構、三個法律實體,或同一公司在不同時期的名稱。空白可能代表未知、不適用、不予提供、零,或尚未收集。清理由語意開始,而不是由全局尋找取代開始。

為每個重要欄位建立資料字典:

欄位業務含義預期類型容許值或格式空值含義例子
order_id不可變的訂單鍵文字ORD- 加數字不容許ORD-1042
order_date本地交易日期日期ISO YYYY-MM-DD未記錄2026-08-04
amount總金額小數非負,貨幣另欄未知1250.50
status目前流程狀態分類pending、paid、canceled未審核paid

資料字典給 AI 一個可檢驗的依據。沒有它,模型可能按自己的假設去統一數值。

如何在清理前剖析試算表?

在副本上操作,原檔案設為唯讀保存。記錄活頁簿和工作表名稱、取得日期、列數、欄數、公式、命名範圍、隱藏列和篩選條件。匯出為 CSV 可能遺失公式、格式、註解、多個工作表和部分類型資料,要記錄工作格式丟失了甚麼。

以確定性計算剖析每一欄:

  • 總列數和非空白列數;
  • 不同數值的數目;
  • 最小值、最大值和代表值;
  • 推斷的類型和類型轉換失敗;
  • 空白、大小寫和 Unicode 變體;
  • 空值、錯誤值和佔位符數目;
  • 按擬議鍵找出的重複候選;
  • 公式與常數;
  • 日期和小數分隔符的模式。

交給 AI 的應是 schema、一小份獲批樣本和剖析結果,而非整個敏感活頁簿。請它歸類問題、提出規則、列出假設,並指出哪些數值需由人決定。刪除設計規則用不上的姓名、帳戶細節、私人財務資料和識別碼。

建立問題清單

每項擬議改動佔一列:

欄位問題原值目標值規則影響列數驗證批准者
status大小寫及空格Paidpaid去空格再按獲批映射184全屬容許值資料負責人
amount文字小數1,250.501250.50按聲明的 locale 解析72金額總和不變財務負責人
customer_id缺失空白保持不變進入例外佇列11不虛構 ID資料管理員

這份清單是 AI 建議與實際執行之間的契約。任何說不清適用範圍、例外和驗證方法的規則,都應否決。

如何用 AI 清理混亂的試算表資料並制定安全規則?

請模型根據資料字典和剖析結果推理。一個有用的提示詞是:

審閱這份 schema、剖析結果和脫敏樣本。按欄位列出資料質素問題。就每個問題提出確定性規則、前提條件、受影響數值的模式、可能的誤報、例外處理和驗證檢查。除非有已批准的業務規則明確容許,否則不要填補缺失值、合併類別、刪除資料列或推斷身份。

要求按問題清單的欄位輸出,再以邊界情況質疑這些建議:帶重音的姓名、不換行空格、識別碼的前導零、03/04/2026 這類日期、負數調整、傳回空字串的公式,以及最新一列未必權威的重複記錄。

AI 很適合草擬轉換運算式、測試個案和覆核清單,但它不是執行記錄。把已批准的運算式複製到受控的查詢、公式集或程式,執行前先覆核。

分開無害規範化與語意決定

低風險的規範化可包括:刪除已知的空白字元、對類別套用已批准的大小寫慣例,或按聲明的 locale 轉換含義明確的數字字串。語意決定則包括:合併客戶身份、選定標準地址、推算缺失值,或決定保留哪一筆重複記錄。

把語意決定放進例外佇列。佇列每一列應包括記錄 ID、欄位、原值、候選值、理由、證據、負責人和處置結果。清理後的數據集不得隱藏未解決項目。

如何確定性執行並處理重複項?

選擇能記錄步驟的執行工具。Power Query 以有序查詢整理資料,Excel 可管理、複製、參照、合併和重新整理查詢。[1] OpenRefine 的轉換把運算式套用到儲存格,並支援預覽結果和復原操作。[4] 公式或程式只要有版本管理並經測試,同樣適用。

按以下次序套用規則:

  1. 保留記錄 ID 和來源列參照。
  2. 規範編碼和明確批准的空白字元。
  3. 以聲明的 locale 解析類型,並處理解析失敗。
  4. 透過已覆核的映射表統一類別。
  5. 只有分隔規則可靠時才拆分複合欄位。
  6. 標記重複項,但不刪除。
  7. 把無效或含糊的記錄轉入例外佇列。
  8. 把結果載入新的表格或活頁簿。

不要就地覆寫來源儲存格。查詢應讀取凍結的來源並產生新輸出,新來源檔案到來時即可用同一配方重新整理。

把重複項視為業務規則

Power Query 的重複值處理比較的是你選定的欄位。[2] 選的欄位太少,可能把不同記錄合併;選取所有欄位,又可能漏掉只有細微格式差異的重複項。先界定鍵和記錄粒度。

刪除前先計算重複組,把所有成員留在審計表中。判斷這些記錄屬完全重複、其後的更正、不同事件,還是可能指向同一實體。業務規則授權保留其中一筆時,記錄排序規則並保存被刪列的 ID。

Power Query 並不保證保留重複項中的哪一筆。[2] 因此,明確的保留規則和保存下來的審計表必不可少;這個語意決定仍需批准。

謹慎使用文字函數

Excel 的 CLEAN 會刪除 7 位元 ASCII 字元集中的首 32 個非打印字元,但 Microsoft 指出,它不會刪除所有其他 Unicode 非打印字元。[3] 這項限制正好說明:熟悉的函數不能被說成萬能的清理手段。

只在明確規則下組合文字函數。刪除一般空格未必能刪除不換行空格;改變大小寫可能破壞區分大小寫的識別碼;刪除標點可能損壞參考編號。以具代表性和刁鑽的數值測試每項轉換。

如何驗證清理結果?

驗證是為了證明已批准的規則確實執行,而且沒有損壞無關資料。在每個重要階段前後比較控制指標。

至少做以下檢查:

控制項預期結果
來源列數在獲批的篩選或去重步驟之前保持不變
輸出加例外等於範圍內的來源總體
唯一鍵數目符合已批准的記錄粒度規則
各欄位空值數只按獲批規則變化
類型失敗為零,或全部在例外佇列中
分類分佈只有獲批的標籤改變
數值總額保持不變,除非有記錄在案的更正解釋差額
樣本記錄由來源到輸出的數值與規則日誌一致

測試冪等性:把清理配方再套用到其自身輸出,數值不應繼續改變。再以結構相同的新來源檔案測試可重新整理性。只有人手改過儲存格才能執行成功一次的配方,是不可重現的。

使用與數據集相稱的控制總額:交易資料用總和與計數,流程記錄用按狀態的計數,事件用最早和最晚日期,不應改變的欄位用雜湊或精確比較。驗證報告應區分通過、失敗和不適用。

影響重大的資料,由資料負責人批准規則,再由另一位覆核人檢查已改動、未改動和例外三類樣本。NIST 的 AI 風險指引強調資訊完整性和人工監督;清晰可見的批准與證據記錄,比把模型的流暢表達當作質素保證更安全。流程中產生的說法,使用核驗資料工作中的 AI 說法一文的方法。

如何記錄並重新運行清理?

把凍結來源的參照、資料字典、剖析結果、已批准的規則清單、映射表、轉換配方、例外表、驗證報告和最終輸出一併打包。工具版本和 locale 設定影響解析時,亦要記錄。

變更記錄應寫明誰批准了每條規則、何時修改及原因。來源欄位的含義或類型改變時,停止重新整理,而不是強行轉換成舊 schema。schema 漂移是輸入契約的失敗,不是另一個需要「清理」的數值。

數據集通過質素控制後,便可分析試算表、進行負責任的資料視覺化,或以雙表核對流程與另一來源比較。

常見錯誤有哪些?

覆蓋主活頁簿

就地修改會抹去來源記錄,也令復原變得困難。讀取凍結的來源,寫出有版本的輸出。

未定義鍵便刪除重複項

看似重複不等於含義重複。先確定記錄粒度、把候選分組並批准保留規則,然後才刪除。

猜補缺失值

看似合理的數值仍是虛構的。已知空值原因時予以保留,需要決定的記錄轉入例外佇列。

不聲明 locale 便解析日期

03/04/2026 可能代表不同日期。使用聲明的格式,拒絕含糊的數值,並保留原始數值供覆核。

接受沒有配方的 AI 檔案

沒有規則日誌的「乾淨」檔案既無法重現,也無法審計。要求確定性步驟和前後控制指標。

總結

  • 保留來源,在提出修改前先界定欄位含義。
  • 以確定性方法剖析數值、類型、空值、鍵、公式和重複項。
  • 用 AI 草擬規則、例外、測試和轉換運算式。
  • 把語意決定與無害的規範化分開批准。
  • 在可重複的查詢、公式集、OpenRefine 項目或程式中執行規則。
  • 驗證總體、鍵、空值、類型、類別、總額和冪等性。
  • 保存規則清單、例外佇列、驗證報告和變更記錄。

常見問題

AI 能自動清理 Excel 檔案嗎?

它可以建議、有時也能執行轉換,但自動執行不能證明規則符合你資料的含義。覆核規則,在副本上執行,並在接納前驗證結果。

所有重複列都要刪除嗎?

不必。有些重複是不同事件、更正或合理的重複值。界定記錄鍵和業務規則,覆核重複組,並為任何刪除的列保留審計記錄。

AI 可填補空白儲存格嗎?

只有在有明確、合理並經驗證的推算規則時才可以。否則保留空白,盡量區分其含義,並把有後果的缺失值交付覆核。

怎樣安全統一日期?

聲明來源的 locale 和可接受格式,解析含義明確的數值,把含糊的日期轉入例外佇列,並保留原始字串以便審計。

Power Query 比公式好嗎?

視乎任務。Power Query 記錄有序的匯入和轉換步驟;對較小的試算表,公式可能更透明。無論哪種方式,都應保留來源並支援可重複的驗證。

如何證明總額未被破壞?

在清理前後計算相關控制總額,解釋每項獲授權的差異,並把輸出加例外與來源總體核對。

敏感活頁簿應給 AI 甚麼?

優先提供 schema、剖析結果和一小份脫敏樣本。刪除不必要的識別碼,並只使用獲准處理該資料類別的服務和帳戶。

清理和核對兩張表有何分別?

清理是按規則把一個數據集標準化;核對則比較兩個數據集,連繫對應記錄,並解釋已配對、未配對和互相矛盾的數值。


來源:

  1. Microsoft Support - Power Query for Excel Help — https://support.microsoft.com/en-US/Excel/power-query-for-excel-help
  2. Microsoft Learn - Working with duplicate values — https://learn.microsoft.com/en-us/power-query/working-with-duplicates
  3. Microsoft Support - CLEAN function — https://support.microsoft.com/en-us/excel/functions/clean-function
  4. OpenRefine - Transforming data — https://openrefine.org/docs/manual/transforming/

Sources checked 2026 年 8 月 30 日。


延伸閱讀:

開啟 3 天免費試用

註冊即可免費體驗全部高級功能。

*只限新用戶;每位用戶只可獲得一次試用。

如何用 AI 清理混亂的試算表資料:由規則清單到結果核對 | AethoVPN