如何用 AI 清理混乱的电子表格数据:从规则清单到结果核对

如何用 AI 清理混乱的电子表格数据:从规则清单到结果核对

Olivia Park
2026年8月29日· 更新于 2026年8月30日· 9 分钟阅读

要用 AI 清理混乱的电子表格数据,就让模型剖析问题、提出明确规则,再用确定性工具把规则应用到数据副本上。接受结果前,核对行数、唯一键、缺失值、数据类型和控制总额;绝不能让对话式回答悄悄改写主工作簿。

关键要点:

  • 清理之前,先冻结源工作簿,并定义每个字段的含义。
  • 向 AI 要候选规则和例外,而不是一个来历不明的“干净”文件。
  • 用可重复的公式、Power Query、OpenRefine 或代码执行已批准的转换。
  • 比较清理前后的控制指标,把被拒的行留在异常队列中。

本流程在建立有边界的 AI 流程之上加了一个数据质量循环,并刻意与分析电子表格分开:清理负责准备可信的输入,分析负责解读它们。

什么是混乱数据?

混乱数据指表示方式让原本含义变得含糊、不一致或难以处理的数据。典型问题包括开头的空格、混用的日期格式、以文本存储的数字、不一致的标签、合并单元格、重复记录、隐藏的错误值、一列塞进多个事实,以及缺失的标识符。

并非所有差异都是错误。ACME Ltd、Acme Limited 和 ACME 可能是同一个组织、三个法律实体,或同一家公司在不同时期的名称。空白可能表示未知、不适用、不予提供、零,或尚未收集。清理从语义开始,而不是从全局查找替换开始。

为每个重要字段建立数据字典:

字段业务含义预期类型允许值或格式空值含义示例
order_id不可变的订单键文本ORD- 加数字不允许ORD-1042
order_date本地交易日期日期ISO YYYY-MM-DD未记录2026-08-04
amount总金额小数非负,币种单列未知1250.50
status当前流程状态分类pending、paid、canceled未审核paid

数据字典给了 AI 可以检验的依据。没有它,模型可能按自己的假设去规范数值。

如何在清理前剖析表格?

在副本上操作,原文件设为只读保存。记录工作簿和工作表名称、获取日期、行数、列数、公式、命名区域、隐藏行和筛选条件。导出为 CSV 可能丢失公式、格式、批注、多个工作表和部分类型信息,要记录工作格式丢了什么。

用确定性的计算剖析每一列:

  • 总行数和非空行数;
  • 不同值的数量;
  • 最小值、最大值和代表值;
  • 推断的类型和类型转换失败;
  • 空白、大小写和 Unicode 变体;
  • 空值、错误值和占位符的数量;
  • 按拟议键找出的重复候选;
  • 公式与常量;
  • 日期和小数分隔符的模式。

给 AI 的应是 schema、一小份获批样本和剖析结果,而非整个敏感工作簿。让它归类问题、提出规则、列出假设,并指出哪些值需人来决定。删除设计规则用不到的姓名、账户细节、私人财务数据和标识符。

建立问题清单

每个拟议变更占一行:

字段问题原值目标值规则影响行数验证批准者
status大小写及空格Paidpaid去空格后按批准映射184全部属于允许值数据负责人
amount文本小数1,250.501250.50按声明的 locale 解析72金额总和不变财务负责人
customer_id缺失空白保持不变进入异常队列11不编造 ID数据管理员

这份清单是 AI 建议与实际执行之间的契约。任何说不清适用范围、例外和验证方法的规则,都应否决。

如何用 AI 清理混乱的电子表格数据并制定安全规则?

让模型依据数据字典和剖析结果推理。一条有用的提示词是:

审阅这份 schema、剖析结果和脱敏样本。按字段列出数据质量问题。对每个问题,提出确定性的规则、前提条件、受影响值的模式、可能的误报、例外处理和验证检查。除非有已批准的业务规则明确允许,否则不要填补缺失值、合并类别、删除行或推断身份。

要求按问题清单的列输出,再用边界情况质疑这些建议:带重音的姓名、不换行空格、标识符的前导零、03/04/2026 这类日期、负数调整、返回空字符串的公式,以及最新一行未必权威的重复记录。

AI 很适合起草转换表达式、测试用例和复核清单,但它不是执行记录。把已批准的表达式复制到受控的查询、公式集或脚本中,运行前先复核。

分开无害规范化与语义决定

低风险的规范化可能包括:去掉已知的空白字符、对类别应用已批准的大小写约定,或按声明的 locale 转换含义明确的数字字符串。语义决定则包括:合并客户身份、选定标准地址、推算缺失值,或决定保留哪条重复记录。

把语义决定放进异常队列。队列中的每一行应包含记录 ID、字段、原值、候选值、理由、证据、负责人和处置结果。清理后的数据集不得隐藏未解决的项目。

如何确定性执行并处理重复项?

选择能记录步骤的执行工具。Power Query 通过有序查询整形数据,Excel 可管理、复制、引用、合并和刷新查询。[1] OpenRefine 的转换把表达式应用到单元格上,并支持预览结果和撤销操作。[4] 公式或脚本只要有版本管理并经过测试,同样适用。

按以下顺序应用规则:

  1. 保留记录 ID 和源行引用。
  2. 规范编码和明确批准的空白字符。
  3. 用声明的 locale 解析类型,并处理解析失败。
  4. 通过已复核的映射表统一类别。
  5. 只有分隔规则可靠时才拆分复合字段。
  6. 标记重复项,但不删除。
  7. 把无效或含糊的记录转入异常队列。
  8. 把结果载入新的表或工作簿。

不要就地覆盖源单元格。查询应读取冻结的源文件并生成新输出,新源文件到来时即可用同一配方刷新。

把重复项当作业务规则

Power Query 的重复值处理比较的是你选定的列。[2] 选的列太少,可能把不同的记录合并;选中所有列,又可能漏掉只有细微格式差异的重复项。先定义键和记录粒度。

删除前先计算重复组,把所有成员留在审计表中。判断这些记录是完全重复、后来的更正、不同事件,还是可能指向同一实体。业务规则授权保留其中一条时,记录排序规则并保存被删行的 ID。

Power Query 并不保证保留重复项中的哪一条。[2] 因此,明确的保留规则和保存下来的审计表必不可少;这个语义决定仍需批准。

谨慎使用文本函数

Excel 的 CLEAN 会删除 7 位 ASCII 字符集中的前 32 个非打印字符,但 Microsoft 指出,它并不会删除所有其他 Unicode 非打印字符。[3] 这个限制很好地说明:熟悉的函数不能被说成是万能的清理手段。

只在明确规则下组合使用文本函数。去掉普通空格未必能去掉不换行空格;改变大小写可能破坏区分大小写的标识符;删除标点可能损坏参考编号。用有代表性的值和刁钻的值测试每一项转换。

如何验证清理结果?

验证是为了证明已批准的规则确实执行、且未损坏无关数据。在每个重要阶段前后比较控制指标。

至少做以下检查:

控制项预期结果
源行数在获批的筛选或去重步骤之前保持不变
输出加异常等于范围内的源数据总体
唯一键数量符合已批准的记录粒度规则
各字段空值数只按获批规则变化
类型失败为零,或全部在异常队列中
分类分布只有获批的标签发生变化
数值总额保持不变,除非有记录在案的更正解释差额
样本记录从来源到输出的值与规则日志一致

测试幂等性:把清理配方再应用到自己的输出上,数值不应继续变化。再用结构相同的新源文件测试可刷新性。只有手工改过单元格才能跑通一次的配方不可复现。

使用与数据集相称的控制总额:交易数据用求和与计数,流程记录用按状态的计数,事件用最早和最晚日期,不应改变的字段用哈希或精确比较。验证报告应区分通过、失败和不适用。

影响重大的数据,由数据负责人批准规则,另一位复核人检查已变更、未变更和异常三类样本。NIST 的 AI 风险指南强调信息完整性和人工监督;清晰可见的批准与证据记录,比把模型的流畅表达当作质量保证更安全。对流程中生成的说法,使用核验数据工作中的 AI 说法一文的方法。

如何记录并重新运行清理?

把冻结的源文件引用、数据字典、剖析结果、已批准的规则清单、映射表、转换配方、异常表、验证报告和最终输出打包保存。工具版本和 locale 设置影响解析时,也一并记录。

变更日志应写明谁批准了每条规则、何时修改及原因。源列的含义或类型变了,就停止刷新,而非强行转换成旧 schema。schema 漂移是输入契约的失败,不是又一个需要“清理”的值。

数据集通过质量控制后,就可以分析电子表格、负责任地进行数据可视化,或用双表核对流程与另一个来源比较。

常见错误有哪些?

覆盖主工作簿

就地修改会抹掉来源记录,也让恢复变得困难。读取冻结的源文件,写出有版本的输出。

未定义键就删除重复项

看起来重复,不等于含义重复。先确定记录粒度、把候选分组,并批准保留规则,然后才删除。

猜补缺失值

看似合理的值仍然是编造的。已知空值原因时予以保留,需要决定的记录转入异常队列。

不声明 locale 就解析日期

03/04/2026 可能代表不同的日期。使用声明的格式,拒绝含糊的值,并保留原始值供复核。

接受没有配方的 AI 文件

没有规则日志的“干净”文件既无法复现,也无法审计。要求确定性的步骤和前后控制指标。

总结

  • 保留源文件,在提出修改前先定义字段含义。
  • 用确定性方法剖析值、类型、空值、键、公式和重复项。
  • 用 AI 起草规则、例外、测试和转换表达式。
  • 把语义决定与无害的规范化分开批准。
  • 在可重复的查询、公式集、OpenRefine 项目或脚本中执行规则。
  • 验证总体、键、空值、类型、类别、总额和幂等性。
  • 保存规则清单、异常队列、验证报告和变更日志。

常见问题

AI 能自动清理 Excel 文件吗?

它可以建议、有时也能执行转换,但自动执行并不能证明规则符合你的数据含义。复核规则,在副本上运行,并在接受前验证结果。

所有重复行都要删除吗?

不必。有些重复是不同的事件、更正或合理的重复值。定义记录键和业务规则,复核重复组,并为任何删除的行保留审计记录。

AI 可以填补空白单元格吗?

只有在有明确、合理且经过验证的推算规则时才可以。否则保留空白,尽可能区分其含义,并把有后果的缺失值交付复核。

怎样安全统一日期?

声明源数据的 locale 和可接受的格式,解析含义明确的值,把含糊的日期转入异常队列,并保留原始字符串以便审计。

Power Query 比公式更好吗?

取决于任务。Power Query 记录有序的导入和转换步骤;对较小的表格,公式可能更透明。无论哪种方式,都应保留源数据并支持可重复的验证。

如何证明总额没有被改坏?

在清理前后计算相关的控制总额,解释每一项获授权的差异,并把输出加异常与源数据总体核对。

敏感工作簿应该给 AI 什么?

优先提供 schema、剖析结果和一小份脱敏样本。删除不必要的标识符,并只使用获准处理该数据分类的服务和账户。

清理和核对两张表有何区别?

清理是按规则把一个数据集标准化;核对则是比较两个数据集,关联对应记录,并解释已匹配、未匹配和相互冲突的值。


来源:

  1. Microsoft Support - Power Query for Excel Help — https://support.microsoft.com/en-US/Excel/power-query-for-excel-help
  2. Microsoft Learn - Working with duplicate values — https://learn.microsoft.com/en-us/power-query/working-with-duplicates
  3. Microsoft Support - CLEAN function — https://support.microsoft.com/en-us/excel/functions/clean-function
  4. OpenRefine - Transforming data — https://openrefine.org/docs/manual/transforming/

Sources checked 2026 年 8 月 30 日。


延伸阅读:

开启 3 天免费试用

注册即可免费体验全部高级功能。

*仅限新用户;每位用户只能获得一次试用。

如何用 AI 清理混乱的电子表格数据:从规则清单到结果核对 | AethoVPN