要用 AI 设计实验计划，先从需要作出的决定出发，把它转化为可证伪的假设，并提供关于人群、处理、结果、分配和数据的已核实约束。用 AI 组织方案、暴露遗漏；统计选择、伦理、执行和解读由合格人员掌控。

这种方法适用于非临床的产品、服务、流程和运营实验。它补充更广泛的负责任 AI 工作流，但不授权临床研究、人体受试者研究，或需要伦理、法律、安全或监管批准的实验。

关键要点

先写下决定和可证伪的假设，再选择指标或方法。

界定实验单位、人群、处理、对照、分配方式和干扰风险。

预先选定一个主要结果、若干辅助结果、护栏指标和数据质量规则。

功效、样本量、多重比较、停止和分析选择由合格的分析人员负责。

记录偏离，用可复现的工具分析，而不是让 AI 下结论。

实验计划包含什么？

实验计划是一份有版本号的方案，它把一项决定与一次可检验的比较联系起来。NIST 把实验设计描述为解决工程问题的系统、严谨方法，并列出从目标和变量到设计、执行、分析和结论的顺序。［1］［2］关键词是“系统”：仅有一个漂亮的假设并不构成设计。

使用结构化的表头和方案表：

字段	记录内容
Experiment ID/version	稳定的身份标识和变更历史
Decision	证据将为哪项行动提供依据
Hypothesis	观察之前写下的可证伪主张
Unit/population	分配的对象，以及结果可推广到哪些人
Eligibility	纳入、排除、招募和抽样规则
Treatment/control	确切的体验、基线和禁止出现的差异
Outcomes	主要、次要、诊断和护栏指标
Assignment	随机化或分配方法以及分层
Sample rationale	功效、精度、假设和负责的分析人员
Analysis plan	估计目标、模型、缺失数据规则和多重比较处理
Stopping rule	时长、信息量阈值、安全停止和决定权
Data controls	埋点、校验、访问、保留和隐私
Decision rule	经审核的证据如何影响所指定的决定
Approval	统计、领域、伦理、隐私和运营签批

这份记录防止结果可见后随意改动，也便于区分设计缺陷与意外结果。

步骤 1：决定与假设

写下一项可操作的决定，例如：是否向某个界定清楚的客户细分群体推出改版后的新手引导流程。写明决定由谁负责、什么证据会改变它、哪些内容不在范围内。

然后写一个可证伪的假设。“新流程更好”无法检验。“对于符合条件的新用户，与当前流程相比，改版流程会改变其在七天内完成既定引导里程碑的比例”则明确了人群、比较对象、结果和时间窗口，且不假装已知效应的方向或大小。

不要把不确定性变成一次情景分析。情景分析探讨可能的情况及应对；实验则是在既定设计下有意改变某个因素并测量结果。两者都能支持决定，但它们的证据含义不同。

步骤 2：单位、人群和边界

写明实验单位：用户、账户、团队、门店、设备、会话、批次或其他实体。单位必须与处理的分配方式一致。如果按账户分配，却把每个会话都当作独立样本分析，就可能高估实验所含的信息量。

界定目标人群、抽样框、资格规则、排除项、地域、时间窗口，以及预期的干扰来源。要问：一个单位能否影响另一个单位？同一个人能否看到两个版本？共用设备或团队是否会造成污染？运行期间的季节性事件是否会改变人群？

记录谁可能受到影响，以及适用哪些同意、告知、政策、安全或伦理审查。涉及健康、受保护群体、员工、儿童、有后果的资源分配或人体受试者研究的实验，需要合格的机构审查。通用的 AI 教程无法判断活动是否可豁免或合乎伦理。

步骤 3：处理与对照

描述每组接受什么、暴露从何时开始、持续多久，以及哪些要素必须保持相同。对内容、代码、配置、资格查询和投放机制进行版本管理。体验若在测试中途改变，“B 版本”这类标签便毫无用处。

使用一份暴露契约：

项目	合成示例
对照	现有的三步帮助流程，版本 `H-17`
处理	同一流程，但调整了说明顺序，版本 `H-18`
分配单位	账户
暴露事件	分配后首次开始符合条件的流程
交叉	分析窗口期内不允许
同期变更	不改动定价、资格或通知
回滚	对新暴露恢复 `H-17`；保留分配日志

示例仅用合成数据。不要把客户级历史、员工记录、医疗数据、凭据或未发布的商业细节上传到 AI 工具。

步骤 4：冻结实验指标与护栏

选定最能回答这项决定的一个主要结果。定义它的分子、分母、单位、归因窗口、排除项、时区以及重复事件的处理方式。次要结果用于解释取舍；诊断指标检验实施是否按预期进行；护栏指标用于发现不可接受的损害。

避免一长串可互换的主要指标。如果审核人能在结束后挑选最有利的指标，决策规则就不再稳定。应由合格的分析人员规定如何处理多个结果和多次查看数据。

数据质量检查应与业务结果并列：

分配数量和组间平衡；
暴露日志和版本的一致性；
重复或缺失的单位；
事件的完整性和延迟；
使用获批方法进行样本比例检查；
交叉和污染；
迟到数据和时区边界；
运行期间的埋点变更。

如果结果依赖问卷，请通过受控的问卷问题流程单独确定问卷工具。看到早期结果后，不要更改问题、量表标签或抽样规则。

步骤 5：统计选择

NIST 的设计选择指南表明，正确的设计取决于目标、因素、约束、资源和分析需求。［3］AI 可以列出候选设计，但除非这些事实已被提供并核实，它并不了解组织的损失函数、依赖结构、合理的效应大小、方差或运营约束。

负责的分析人员应规定：

估计目标和分析单位；
效应大小或精度要求及其依据；
适用时的功效和显著性假设；
样本量计算方法和敏感性分析；
分配比例、区组、聚类或分层；
在查看结果之前选定的协变量和模型形式；
缺失数据和流失的处理；
多重比较和多次查看的政策；
置信区间或不确定性的报告方式；
哪些稳健性和子组分析是验证性的，哪些是探索性的。

不要让 AI 编造基线转化率、标准差、最小可检测效应或可接受的假阳性率。如果这些输入未知，方案应写明将由哪项试点、历史分析或专家判断提供。

步骤 6：分配、盲法与演练

描述单位如何进入分配、使用哪种随机化机制、它是否确定且可复现，以及谁可以查看分配结果。如果无法随机化，就写明准实验设计的假设，以及负责审查这些假设的专家。

盲法可以减少某些形式的偏差，但并非总是可行。写明哪些参与者、操作人员、分析人员或决策者处于盲态、何时揭盲，以及哪些紧急情况允许揭盲。若标签、界面差异、日志或操作流程会暴露分组，绝不要声称设计是盲法。

上线之前，用合成单位做一次实施演练。核实资格、分配的持久性、暴露事件、处理版本、指标计算、排除规则、访问权限和回滚。项目计划可以协调交付任务，但不能代替实验方案。

步骤 7：用 AI 设计实验计划的不虚构契约

提供一份已脱敏的证据包，并请模型起草一份聚焦缺口的草稿：

把提供的实验事实整理进规定的方案字段。
逐字保留 ID、定义、版本、负责人和来源引用。
不得编造假设、基线、效应大小、方差、样本量、
功效、显著性水平、结果、停止规则、伦理批准
或决策阈值。缺失的事实标为 [VERIFY]。
把已确认的事实、分析人员的决定和可选建议分开。
先返回矛盾和审核问题，再起草正文。

要求模型把每个已填写的字段追溯到一个证据 ID。它可以改进清晰度、比较术语或指出遗漏的失败模式；但不得用猜测的输入计算样本量，也不得宣称设计能支持因果结论。

NIST 的生成式 AI 配置文件把虚构内容、隐私、信息完整性和人机配置列为重大风险。［4］因此，来源追溯和角色分离属于实验设计本身，而非可有可无的编辑整理。

步骤 8：预定分析、停止与决定

在接触结果数据之前写好计划中的分析。写明数据集、数据转换、排除项、估计目标、模型、不确定性度量、诊断检查和输出表格。用确定性的统计软件或经过审查的代码进行计算；AI 可以解释代码或标出不一致之处，但数值结果必须能从冻结的数据和分析版本中复现。

定义实验何时结束。如果流量或数据延迟有波动，仅靠日历时长可能不够。写明最低暴露量、所需的信息量、最长时长、安全和护栏停止条件、运营停止条件，以及谁可以提前停止实验。如果计划进行多次分析，要在获批的统计方法中加以考虑。

决策规则不应把证据简化成“显著就上线”。它应当考虑效应大小、不确定性、护栏、外部有效性、实施质量、成本和可逆性。记录由谁解读这些因素，以及哪些结果触发进一步研究而非全面推出。

步骤 9：记录偏离

冻结获批的方案，并对所有实施产物进行版本管理。运行期间，记录故障、埋点变更、资格错误、交叉、延迟事件、人工干预，以及任何提前接触结果数据的情况。不要为迎合实际情况而悄悄修改原方案。

对每一次偏离，记录时间戳、受影响的单位或时段、发现者、即时应对、可能的偏差、负责人和处置结果。严重的偏离可能使计划中的分析失效；这一判断属于负责的分析人员和领域审核人。

监控角色要分离。操作人员可以关注安全和系统健康，但不应浏览可能影响处理或时长的结果切片。访问应遵循最小权限原则，尤其是在参与者级数据较为敏感的情况下。

步骤 10：分析与决定

用冻结的分析处理冻结的数据集，保留代码和环境信息，并独立核实输出。报告估计值及其不确定性、缺失情况、排除项、偏离、护栏表现和局限。把计划外的子组或指标探索标为探索性分析。

请第二位审核人质疑数据质量、假设、多重检验、实际意义和可推广性。对照数值输出和方案核验 AI 辅助的解释；不要让流畅的叙述凌驾于相互矛盾的表格之上。

决策负责人记录是采纳、否决、修改、重复实验，还是收集更多证据。把方案、分析、偏离、审核后的结果和决定作为独立的产物保存。这样日后可从中学习，而无需改写研究历史。

启动检查

总结

从一项决定和一个可证伪的假设出发。
准确界定单位、人群、处理、对照、结果和数据控制。
统计和伦理方面的选择交由合格的审核人。
用 AI 整理证据、查找缺口，而不是编造参数或结论。
预先确定分析、停止和决策规则。
保存偏离、可复现的结果、局限以及最终的人工决定。

常见问题

与项目计划相同吗？

不同。项目计划协调工作、负责人、依赖和日期。实验计划界定一次能够回答假设的比较，包括分配、结果、分析、停止和解读。

AI 能算实验样本量吗？

AI 可以帮助实现经过审核的公式，或解释需要哪些输入。但效应、方差、功效、错误率、依赖假设和方法必须由合格的分析人员选择；编造的输入只会得出精确却无依据的答案。

必须随机吗？

不一定，但如果分配没有随机化，因果解读就更加依赖假设。要记录原因、替代设计、可能的混杂、分析方法和专家审查。

多少个主要结果？

通常，一个定义清楚的主要结果能让决定保持可解读。如果确实需要多个，应在结果出来之前规定它们各自的作用和多重比较的处理方式。

护栏与次要结果有何区别？

次要结果补充有关收益或机制的背景。护栏代表损害或性能下降，即使主要结果改善，它也可能阻止或撤回推出。

何时提前停止实验？

只有在预先声明的安全、运营、无效、有效或信息量规则下，由具名决定权人按适当统计方法决定。仪表盘上出人意料的波动或 AI 的建议，都不构成充分的停止规则。

能处理参与者数据吗？

使用获批的工具、最少必要的访问权限，在适当时去标识，并有记录的保留规则。起草时优先使用汇总或合成材料；不要只为方便就上传敏感的个人记录。

显著就推广吗？

不是。决定还要考虑效应大小、不确定性、护栏、实施质量、外部有效性、成本、伦理和可逆性。由承担责任的负责人记录这一判断。

本文提供的是一般信息，不构成统计、临床、伦理或法律建议。临床或人体受试者研究需要合格的统计和机构审查。

来源

NIST/SEMATECH, What Is Experimental Design? — https://itl.nist.gov/div898/handbook/pri/section1/pri11.htm
NIST/SEMATECH, Detailed Planning for an Experiment — https://www.itl.nist.gov/div898/handbook/pri/section1/pri14.htm
NIST/SEMATECH, Selecting an Experimental Design — https://www.itl.nist.gov/div898/handbook/pri/section3/pri33.htm
NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Sources checked 2026 年 9 月 4 日。

用 AI 设计实验计划：样本量、功效与停止规则不靠猜