要用 AI 設計實驗計劃，先由需要作出的決定出發，把它轉化為可證偽的假設，並提供有關人群、處理、結果、分配和數據的已核實限制。用 AI 組織方案、揭示遺漏；統計選擇、倫理、執行和詮釋由合資格人員掌控。

這方法適用於非臨床的產品、服務、流程和營運實驗。它補充較廣泛的負責任 AI 工作流程，但不授權臨床研究、人體受試者研究，或需要倫理、法律、安全或規管批准的實驗。

關鍵要點

先寫下決定和可證偽的假設，再選擇指標或方法。

界定實驗單位、人群、處理、對照、分配方式和干擾風險。

預先選定一個主要結果、輔助結果、護欄指標和數據質素規則。

功效、樣本量、多重比較、停止和分析選擇由合資格的分析員負責。

記錄偏離，以可重現的工具分析，而不是讓 AI 下結論。

計劃包含甚麼？

實驗計劃是一份有版本號的方案，把一項決定與一次可檢驗的比較連繫起來。NIST 把實驗設計形容為解決工程問題的有系統、嚴謹方法，並列出由目標和變數到設計、執行、分析和結論的次序。［1］［2］關鍵在「有系統」：只有一個漂亮的假設並不構成設計。

使用結構化的標頭和方案表：

欄位	記錄內容
Experiment ID/version	穩定的身份識別和變更紀錄
Decision	證據將為哪項行動提供依據
Hypothesis	觀察之前寫下的可證偽主張
Unit/population	分配的對象，以及結果可推及哪些人
Eligibility	納入、排除、招募和抽樣規則
Treatment/control	確切的體驗、基線和禁止出現的差異
Outcomes	主要、次要、診斷和護欄指標
Assignment	隨機化或分配方法以及分層
Sample rationale	功效、精度、假設和負責的分析員
Analysis plan	估計目標、模型、缺失數據規則和多重比較處理
Stopping rule	時長、資訊量門檻、安全停止和決定權
Data controls	追蹤設置、驗證、存取、保留和私隱
Decision rule	經審核的證據如何影響指定的決定
Approval	統計、專業、倫理、私隱和營運簽批

這份紀錄防止結果可見後隨意改動，亦方便區分設計缺陷與意外結果。

步驟 1：決定與假設

寫下一項可操作的決定，例如：是否向某個界定清楚的客戶群推出改版的新手引導流程。寫明決定由誰負責、甚麼證據會改變它、哪些內容不在範圍內。

然後寫一個可證偽的假設。「新流程較好」無法檢驗。「對符合資格的新用戶而言，與現行流程相比，改版流程會改變其在七日內完成既定引導里程碑的比率」則明確了人群、比較對象、結果和時段，且不假裝已知效應的方向或大小。

不要把不確定性變成一次情景分析。情景分析探討可能的情況及應對；實驗則在既定設計下刻意改變某個因素並量度結果。兩者都能支援決定，但證據的含意不同。

步驟 2：單位、人群與界線

寫明實驗單位：用戶、帳戶、團隊、門市、裝置、工作階段、批次或其他實體。單位必須與處理的分配方式一致。如果按帳戶分配，卻把每個工作階段都當作獨立樣本分析，便可能高估實驗所含的資訊量。

界定目標人群、抽樣框架、資格規則、排除項目、地域、時段，以及預期的干擾來源。要問：一個單位能否影響另一個單位？同一人能否看到兩個版本？共用裝置或團隊會否造成污染？執行期間的季節性事件會否改變人群？

記錄誰可能受影響，以及適用哪些同意、通知、政策、安全或倫理審查。涉及健康、受保護群組、僱員、兒童、具後果的資源分配或人體受試者研究的實驗，需要合資格的機構審查。一般的 AI 教學無法判斷活動是否可獲豁免或合乎倫理。

步驟 3：處理與對照

描述每組接受甚麼、何時開始接觸、持續多久，以及哪些元素必須保持相同。為內容、程式碼、設定、資格查詢和發放機制做版本管理。體驗若在測試中途改變，「B 版本」這類標籤便毫無用處。

使用一份接觸契約：

項目	合成例子
對照	現有的三步說明流程，版本 `H-17`
處理	同一流程，但調整了說明次序，版本 `H-18`
分配單位	帳戶
接觸事件	分配後首次開始符合資格的流程
交叉	分析時段內不容許
同期變更	不改動定價、資格或通知
回滾	為新接觸恢復 `H-17`；保留分配紀錄

例子只用合成資料。不要把客戶層面的歷史、僱員紀錄、醫療資料、登入憑證或未公佈的商業細節上載到 AI 工具。

步驟 4：指標與護欄

選定最能回答這項決定的一個主要結果。界定它的分子、分母、單位、歸因時段、排除項目、時區以及重複事件的處理方式。次要結果用來解釋取捨；診斷指標檢驗實施是否按預期進行；護欄指標用來發現不可接受的損害。

避免一長串可互換的主要指標。如果審核人能在結束後揀選最有利的指標，決策規則便不再穩定。應由合資格的分析員訂明如何處理多個結果和多次查看數據。

數據質素檢查應與業務結果並列：

分配數目和組別之間的平衡；
接觸紀錄和版本的一致性；
重複或缺失的單位；
事件的完整性和延遲；
以已批准的方法進行樣本比例檢查；
交叉和污染；
遲到數據和時區邊界；
執行期間的追蹤設置變更。

如果結果依賴問卷，請透過受控的問卷題目流程另行確定問卷工具。看到早期結果後，不要改動題目、量表標籤或抽樣規則。

步驟 5：統計選擇

NIST 的設計選擇指引顯示，正確的設計取決於目標、因素、限制、資源和分析需要。［3］AI 可以列出候選設計，但除非這些事實已提供並經核實，它並不了解機構的損失函數、依賴結構、合理的效應大小、變異數或營運限制。

負責的分析員應訂明：

估計目標和分析單位；
效應大小或精度要求及其依據；
適用時的功效和顯著性假設；
樣本量計算方法和敏感度分析；
分配比例、區組、群集或分層；
查看結果之前選定的共變數和模型形式；
缺失數據和流失的處理；
多重比較和多次查看的政策；
信賴區間或不確定性的報告方式；
哪些穩健性和子組分析屬驗證性，哪些屬探索性。

不要讓 AI 虛構基線轉換率、標準差、最小可偵測效應或可接受的假陽性率。如果這些輸入未知，方案應寫明將由哪項試行、歷史分析或專家判斷提供。

步驟 6：分配與演練

描述單位如何進入分配、使用哪種隨機化機制、它是否確定而可重現，以及誰可查看分配結果。如果無法隨機化，便寫明準實驗設計的假設，以及負責審查這些假設的專家。

盲法可以減少某些偏差，但並非一定可行。寫明哪些參與者、操作人員、分析員或決策者處於盲態、何時揭盲，以及哪些緊急情況容許揭盲。若標籤、介面差異、日誌或操作程序會暴露分組，切勿聲稱設計屬盲法。

推出之前，以合成單位做一次實施演練。核實資格、分配的持續性、接觸事件、處理版本、指標計算、排除規則、存取權限和回滾。項目計劃可以協調交付工作，但不能取代實驗方案。

步驟 7：用 AI 設計實驗計劃的不虛構契約

提供一份已去識別化的證據包，並請模型草擬一份聚焦缺口的草稿：

把所提供的實驗事實整理進規定的方案欄位。
逐字保留 ID、定義、版本、負責人和來源引用。
不得虛構假設、基線、效應大小、變異數、樣本量、
功效、顯著性水平、結果、停止規則、倫理批准
或決策門檻。欠缺的事實標為 [VERIFY]。
把已確認的事實、分析員的決定和可選建議分開。
先傳回矛盾和審核問題，再草擬正文。

要求模型把每個已填寫的欄位追溯到一個證據 ID。它可以改善清晰度、比較術語或指出遺漏的失敗模式；但不得以猜測的輸入計算樣本量，亦不得宣稱設計能支持因果結論。

NIST 的生成式 AI 設定檔把虛構內容、私隱、資訊完整性和人機配置列為重大風險。［4］因此，來源追溯和角色分離屬於實驗設計本身，而非可有可無的編輯整理。

步驟 8：預定規則

在接觸結果數據之前寫好計劃中的分析。寫明數據集、數據轉換、排除項目、估計目標、模型、不確定性量度、診斷檢查和輸出表格。以確定性的統計軟件或經審查的程式碼計算；AI 可以解釋程式碼或標示不一致之處，但數值結果必須能由凍結的數據和分析版本重現。

界定實驗何時結束。如果流量或數據延遲有波動，單靠日曆時長或不足夠。寫明最低接觸量、所需資訊量、最長時長、安全和護欄停止條件、營運停止條件，以及誰可提前停止實驗。如計劃進行多次分析，要在已批准的統計方法中加以考慮。

決策規則不應把證據簡化為「顯著便推出」。它應考慮效應大小、不確定性、護欄、外部有效性、實施質素、成本和可逆性。記錄由誰詮釋這些因素，以及哪些結果觸發進一步研究而非全面推出。

步驟 9：實驗偏離紀錄

凍結已批准的方案，並為所有實施產物做版本管理。執行期間，記錄故障、追蹤設置變更、資格錯誤、交叉、延遲事件、人手干預，以及任何提早接觸結果數據的情況。不要為遷就實際情況而悄悄修改原方案。

就每次偏離，記錄時間戳、受影響的單位或時段、發現者、即時應對、可能的偏差、負責人和處置結果。嚴重的偏離可能令計劃中的分析失效；這判斷屬於負責的分析員和專業審核人。

監察角色要分開。操作人員可以留意安全和系統健康，但不應瀏覽可能影響處理或時長的結果切面。存取應依循最小權限原則，尤其是參與者層面的數據較敏感時。

步驟 10：分析與決定

以凍結的分析處理凍結的數據集，保留程式碼和環境資料，並獨立核實輸出。報告估計值及其不確定性、缺失情況、排除項目、偏離、護欄表現和局限。把計劃以外的子組或指標探索標為探索性分析。

請第二位審核人質疑數據質素、假設、多重檢驗、實際意義和可推及性。對照數值輸出和方案核實 AI 輔助的解釋；不要讓流暢的敘述凌駕於互相矛盾的表格。

決策負責人記錄是採納、否決、修改、重複實驗，還是收集更多證據。把方案、分析、偏離、經審核的結果和決定作為獨立的產物保存。這樣日後可從中學習，而無須改寫研究歷史。

啟動檢查

總結

由一項決定和一個可證偽的假設出發。
準確界定單位、人群、處理、對照、結果和數據控制。
統計和倫理方面的選擇交由合資格的審核人。
用 AI 整理證據、找出缺口，而不是虛構參數或結論。
預先訂定分析、停止和決策規則。
保存偏離、可重現的結果、局限以及最終的人手決定。

常見問題

與項目計劃相同嗎？

不同。項目計劃協調工作、負責人、依賴和日期。實驗計劃界定一次能回答假設的比較，包括分配、結果、分析、停止和詮釋。

AI 能算實驗樣本量嗎？

AI 可以協助實作經審核的公式，或解釋需要哪些輸入。但效應、變異數、功效、錯誤率、依賴假設和方法必須由合資格的分析員選擇；虛構的輸入只會得出精確卻無根據的答案。

必須隨機嗎？

不一定，但如果分配沒有隨機化，因果詮釋便更依賴假設。要記錄原因、替代設計、可能的混雜、分析方法和專家審查。

多少個主要結果？

通常，一個界定清楚的主要結果能令決定易於詮釋。如確實需要多個，應在結果出來之前訂明它們各自的角色和多重比較的處理方式。

護欄與次要結果的分別？

次要結果補充有關效益或機制的背景。護欄代表損害或表現下降，即使主要結果改善，亦可能阻止或撤回推出。

何時提前停止實驗？

只有在預先聲明的安全、營運、無效、有效或資訊量規則下，由具名決定權人按適當統計方法決定。儀表板上出人意表的波動或 AI 的建議，都不構成充分的停止規則。

能處理參與者數據嗎？

使用已批准的工具、最少必要的存取權限，在適當時去識別化，並設有紀錄的保留規則。草擬時優先使用匯總或合成資料；不要只為方便便上載敏感的個人紀錄。

顯著便推廣嗎？

不是。決定亦要考慮效應大小、不確定性、護欄、實施質素、外部有效性、成本、倫理和可逆性。由問責的負責人記錄這項判斷。

本文提供的是一般資訊，不構成統計、臨床、倫理或法律意見。臨床或人體受試者研究需要合資格的統計和機構審查。

來源

NIST/SEMATECH, What Is Experimental Design? — https://itl.nist.gov/div898/handbook/pri/section1/pri11.htm
NIST/SEMATECH, Detailed Planning for an Experiment — https://www.itl.nist.gov/div898/handbook/pri/section1/pri14.htm
NIST/SEMATECH, Selecting an Experimental Design — https://www.itl.nist.gov/div898/handbook/pri/section3/pri33.htm
NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Sources checked 2026 年 9 月 4 日。

用 AI 設計實驗計劃：樣本量、功效與停止規則不靠猜