开启 3 天免费试用
注册即可免费体验全部高级功能。
*仅限新用户;每位用户只能获得一次试用。


要用 AI 清理混乱的电子表格数据,就让模型剖析问题、提出明确规则,再用确定性工具把规则应用到数据副本上。接受结果前,核对行数、唯一键、缺失值、数据类型和控制总额;绝不能让对话式回答悄悄改写主工作簿。
关键要点:
- 清理之前,先冻结源工作簿,并定义每个字段的含义。
- 向 AI 要候选规则和例外,而不是一个来历不明的“干净”文件。
- 用可重复的公式、Power Query、OpenRefine 或代码执行已批准的转换。
- 比较清理前后的控制指标,把被拒的行留在异常队列中。
本流程在建立有边界的 AI 流程之上加了一个数据质量循环,并刻意与分析电子表格分开:清理负责准备可信的输入,分析负责解读它们。
混乱数据指表示方式让原本含义变得含糊、不一致或难以处理的数据。典型问题包括开头的空格、混用的日期格式、以文本存储的数字、不一致的标签、合并单元格、重复记录、隐藏的错误值、一列塞进多个事实,以及缺失的标识符。
并非所有差异都是错误。ACME Ltd、Acme Limited 和 ACME 可能是同一个组织、三个法律实体,或同一家公司在不同时期的名称。空白可能表示未知、不适用、不予提供、零,或尚未收集。清理从语义开始,而不是从全局查找替换开始。
为每个重要字段建立数据字典:
| 字段 | 业务含义 | 预期类型 | 允许值或格式 | 空值含义 | 示例 |
|---|---|---|---|---|---|
| order_id | 不可变的订单键 | 文本 | ORD- 加数字 | 不允许 | ORD-1042 |
| order_date | 本地交易日期 | 日期 | ISO YYYY-MM-DD | 未记录 | 2026-08-04 |
| amount | 总金额 | 小数 | 非负,币种单列 | 未知 | 1250.50 |
| status | 当前流程状态 | 分类 | pending、paid、canceled | 未审核 | paid |
数据字典给了 AI 可以检验的依据。没有它,模型可能按自己的假设去规范数值。
在副本上操作,原文件设为只读保存。记录工作簿和工作表名称、获取日期、行数、列数、公式、命名区域、隐藏行和筛选条件。导出为 CSV 可能丢失公式、格式、批注、多个工作表和部分类型信息,要记录工作格式丢了什么。
用确定性的计算剖析每一列:
给 AI 的应是 schema、一小份获批样本和剖析结果,而非整个敏感工作簿。让它归类问题、提出规则、列出假设,并指出哪些值需人来决定。删除设计规则用不到的姓名、账户细节、私人财务数据和标识符。
每个拟议变更占一行:
| 字段 | 问题 | 原值 | 目标值 | 规则 | 影响行数 | 验证 | 批准者 |
|---|---|---|---|---|---|---|---|
| status | 大小写及空格 | Paid | paid | 去空格后按批准映射 | 184 | 全部属于允许值 | 数据负责人 |
| amount | 文本小数 | 1,250.50 | 1250.50 | 按声明的 locale 解析 | 72 | 金额总和不变 | 财务负责人 |
| customer_id | 缺失 | 空白 | 保持不变 | 进入异常队列 | 11 | 不编造 ID | 数据管理员 |
这份清单是 AI 建议与实际执行之间的契约。任何说不清适用范围、例外和验证方法的规则,都应否决。
让模型依据数据字典和剖析结果推理。一条有用的提示词是:
审阅这份 schema、剖析结果和脱敏样本。按字段列出数据质量问题。对每个问题,提出确定性的规则、前提条件、受影响值的模式、可能的误报、例外处理和验证检查。除非有已批准的业务规则明确允许,否则不要填补缺失值、合并类别、删除行或推断身份。
要求按问题清单的列输出,再用边界情况质疑这些建议:带重音的姓名、不换行空格、标识符的前导零、03/04/2026 这类日期、负数调整、返回空字符串的公式,以及最新一行未必权威的重复记录。
AI 很适合起草转换表达式、测试用例和复核清单,但它不是执行记录。把已批准的表达式复制到受控的查询、公式集或脚本中,运行前先复核。
低风险的规范化可能包括:去掉已知的空白字符、对类别应用已批准的大小写约定,或按声明的 locale 转换含义明确的数字字符串。语义决定则包括:合并客户身份、选定标准地址、推算缺失值,或决定保留哪条重复记录。
把语义决定放进异常队列。队列中的每一行应包含记录 ID、字段、原值、候选值、理由、证据、负责人和处置结果。清理后的数据集不得隐藏未解决的项目。
选择能记录步骤的执行工具。Power Query 通过有序查询整形数据,Excel 可管理、复制、引用、合并和刷新查询。[1] OpenRefine 的转换把表达式应用到单元格上,并支持预览结果和撤销操作。[4] 公式或脚本只要有版本管理并经过测试,同样适用。
按以下顺序应用规则:
不要就地覆盖源单元格。查询应读取冻结的源文件并生成新输出,新源文件到来时即可用同一配方刷新。
Power Query 的重复值处理比较的是你选定的列。[2] 选的列太少,可能把不同的记录合并;选中所有列,又可能漏掉只有细微格式差异的重复项。先定义键和记录粒度。
删除前先计算重复组,把所有成员留在审计表中。判断这些记录是完全重复、后来的更正、不同事件,还是可能指向同一实体。业务规则授权保留其中一条时,记录排序规则并保存被删行的 ID。
Power Query 并不保证保留重复项中的哪一条。[2] 因此,明确的保留规则和保存下来的审计表必不可少;这个语义决定仍需批准。
Excel 的 CLEAN 会删除 7 位 ASCII 字符集中的前 32 个非打印字符,但 Microsoft 指出,它并不会删除所有其他 Unicode 非打印字符。[3] 这个限制很好地说明:熟悉的函数不能被说成是万能的清理手段。
只在明确规则下组合使用文本函数。去掉普通空格未必能去掉不换行空格;改变大小写可能破坏区分大小写的标识符;删除标点可能损坏参考编号。用有代表性的值和刁钻的值测试每一项转换。
验证是为了证明已批准的规则确实执行、且未损坏无关数据。在每个重要阶段前后比较控制指标。
至少做以下检查:
| 控制项 | 预期结果 |
|---|---|
| 源行数 | 在获批的筛选或去重步骤之前保持不变 |
| 输出加异常 | 等于范围内的源数据总体 |
| 唯一键数量 | 符合已批准的记录粒度规则 |
| 各字段空值数 | 只按获批规则变化 |
| 类型失败 | 为零,或全部在异常队列中 |
| 分类分布 | 只有获批的标签发生变化 |
| 数值总额 | 保持不变,除非有记录在案的更正解释差额 |
| 样本记录 | 从来源到输出的值与规则日志一致 |
测试幂等性:把清理配方再应用到自己的输出上,数值不应继续变化。再用结构相同的新源文件测试可刷新性。只有手工改过单元格才能跑通一次的配方不可复现。
使用与数据集相称的控制总额:交易数据用求和与计数,流程记录用按状态的计数,事件用最早和最晚日期,不应改变的字段用哈希或精确比较。验证报告应区分通过、失败和不适用。
影响重大的数据,由数据负责人批准规则,另一位复核人检查已变更、未变更和异常三类样本。NIST 的 AI 风险指南强调信息完整性和人工监督;清晰可见的批准与证据记录,比把模型的流畅表达当作质量保证更安全。对流程中生成的说法,使用核验数据工作中的 AI 说法一文的方法。
把冻结的源文件引用、数据字典、剖析结果、已批准的规则清单、映射表、转换配方、异常表、验证报告和最终输出打包保存。工具版本和 locale 设置影响解析时,也一并记录。
变更日志应写明谁批准了每条规则、何时修改及原因。源列的含义或类型变了,就停止刷新,而非强行转换成旧 schema。schema 漂移是输入契约的失败,不是又一个需要“清理”的值。
数据集通过质量控制后,就可以分析电子表格、负责任地进行数据可视化,或用双表核对流程与另一个来源比较。
就地修改会抹掉来源记录,也让恢复变得困难。读取冻结的源文件,写出有版本的输出。
看起来重复,不等于含义重复。先确定记录粒度、把候选分组,并批准保留规则,然后才删除。
看似合理的值仍然是编造的。已知空值原因时予以保留,需要决定的记录转入异常队列。
03/04/2026 可能代表不同的日期。使用声明的格式,拒绝含糊的值,并保留原始值供复核。
没有规则日志的“干净”文件既无法复现,也无法审计。要求确定性的步骤和前后控制指标。
它可以建议、有时也能执行转换,但自动执行并不能证明规则符合你的数据含义。复核规则,在副本上运行,并在接受前验证结果。
不必。有些重复是不同的事件、更正或合理的重复值。定义记录键和业务规则,复核重复组,并为任何删除的行保留审计记录。
只有在有明确、合理且经过验证的推算规则时才可以。否则保留空白,尽可能区分其含义,并把有后果的缺失值交付复核。
声明源数据的 locale 和可接受的格式,解析含义明确的值,把含糊的日期转入异常队列,并保留原始字符串以便审计。
取决于任务。Power Query 记录有序的导入和转换步骤;对较小的表格,公式可能更透明。无论哪种方式,都应保留源数据并支持可重复的验证。
在清理前后计算相关的控制总额,解释每一项获授权的差异,并把输出加异常与源数据总体核对。
优先提供 schema、剖析结果和一小份脱敏样本。删除不必要的标识符,并只使用获准处理该数据分类的服务和账户。
清理是按规则把一个数据集标准化;核对则是比较两个数据集,关联对应记录,并解释已匹配、未匹配和相互冲突的值。
来源:
Sources checked 2026 年 8 月 30 日。
延伸阅读:
注册即可免费体验全部高级功能。
*仅限新用户;每位用户只能获得一次试用。