如何用 AI 設計問卷問題並檢查偏差:由構念到認知訪談及預測試

如何用 AI 設計問卷問題並檢查偏差:由構念到認知訪談及預測試

Olivia Park
2026年8月31日· 更新於 2026年10月4日· 9 分鐘讀完

要用 AI 設計問卷問題,先界定決策、構念、目標人群、回憶期和調查渠道,才讓它起草問卷。然後逐題檢查引導性字眼、雙重問題、隱含假設、社會期許壓力和遺漏的選項,並用認知訪談和小規模預測試了解真實受訪者如何理解題目。

本文講收集數據前的設計,不能取代由已有回覆入手的用 AI 將調查回覆歸納為主題。AI 能起草和質疑字眼,但不能證明樣本有效、問題無偏或結果具代表性。

AI 使用總指南說明了安全脈絡、核實和人手批准;分享任何研究資料前先落實這些控制。

關鍵要點

  • 由決策和構念開始,而非一串有趣的問題。
  • 每次只問一個清晰概念,寫明可回答的回憶期。
  • 檢查字眼、選項、次序、跳題、負擔和無障礙。
  • 盡量少收集敏感數據,絕不把真實受訪者紀錄貼進未獲批工具。
  • 透過認知訪談和預測試觀察受訪者的理解。
  • 按證據修訂,並保留問題決策紀錄。

這份調查要支援甚麼決策?

寫下調查要支援的決策。「了解滿意度」太籠統;「針對過去 30 日內完成引導的首次客戶,判斷哪個引導步驟需重新設計」則清楚交代行動、人群和時段。

建立表頭:

欄位要回答的問題
決策結果可能改變甚麼行動?
構念量度的是甚麼概念?
人群誰符合資格,誰不符合?
回憶期受訪者能合理記得多久?
渠道網頁、電話、紙本、訪談還是混合方式?
限制長度、語言、無障礙、私隱、跳題
負責人誰批准字眼和分析?

Pew Research Center 指出,字眼和題序會影響回答,問卷開發應包括預測試。[1]因此,讓 AI 生成題目前先凍結這些設計選擇,否則模型可能為未界定的目的寫出流暢問題。

把構念轉化為可觀察的問題

構念是信任、易用性、信心、頻率或意向這類概念。寫簡短的操作性定義,找出受訪者實際能報告的內容,不要讓受訪者替你診斷業務問題。

為每個構念列出候選指標。「完成帳戶設定的難易度」可包括:是否完成、時間或精力區間、在哪一步停下、感覺的難度。不要把所有指標壓進一道題。

讓 AI 提出多種寫法並解釋取捨,告訴它目標人群、閱讀程度、渠道、回憶期和禁止的假設,並要求區分行為類問題(「多少次……?」)和評價類問題(「有多容易或困難……?」)。

哪種回答格式適合這道題?

回答格式須同時配合構念和受訪者的記憶方式。

格式適用於常見風險
是/否清晰的事實狀態把細微差別硬壓成兩個選項
頻率區間重複發生的行為區間重疊或不切實際
評分量表程度或評價端點含糊或間距不均
選擇題已知類別選項遺漏、重疊或有次序效應
開放文字意料之外的細節負擔重,難以編碼
排序相對優先次序清單較長時認知負擔重

選項要互相排斥,並對目標人群有足夠用處。「不適用」「不知道」或「不願回答」確實可能出現時才加入。不要自動加中立中點,先判斷中立有否意義。

英國政府問卷設計指引強調清晰概念、合適的回答類別、次序、跳題、測試和對調查方式的關注。[2]好題目不只文法正確,還要能在整份問卷中運作。

每題只問一個概念

用簡短的日常語言,在題目附近解釋陌生術語。把回憶期寫進題目,而不是依賴受訪者可能已忘記的說明。

欠佳:「你對客戶服務的速度和幫助程度有多滿意?」受訪者可能覺得速度很好、幫助不足。應拆成兩題。

欠佳:「我們改良後的入口網站為你節省了多少時間?」這預設網站已改良並省了時間。先問是否用過,再用平衡選項詢問時間或精力。

欠佳:「你經常使用這項服務嗎?」「經常」沒有穩定含義。應使用明確的時段和次數或頻率區間。

讓 AI 找出候選題中的每個概念、假設、記憶負擔和含糊字眼。它的批評只是檢查清單,不是證明。

建立問卷問題審查矩陣

把設計證據集中在矩陣:

構念問題草稿適用人群回憶期回答格式/選項偏差風險修訂預測試證據
設定難度完成……有多容易或困難?過去 30 日內完成設定者30 日五點全標示量表 + 不適用禮貌壓力;端點不清中性開場;標示每一點6 人中 2 人誤解「設定」;已改用詞

每題一行,包括跳題和人口統計題,免得精美文件掩蓋未解決的設計問題。

應檢查哪五類偏差風險?

引導性字眼

引導性問題暗示了偏好的答案:「我們出色的客戶服務團隊對你有多大幫助?」刪去讚美、指責和預期方向,使用平衡的端點。

雙重問題

一道題包含兩個可獨立回答的概念時,就把它拆開。留意「和」「或」、斜線和清單;並非每個「和」都錯,但都值得檢查。

隱含假設

不要預設受訪者用過、買過、知道、能取得、有能力,或與你對某個詞的定義一致。加入資格題或跳題。「你為何停止使用……」須先確認對方用過並已停止。

社會期許與敏感性

受訪者可能少報受負面標籤的行為,或多報受認可的行為。用中性表述、確屬實的私隱說明、合適區間,適合時讓受訪者自行填寫,並提供略過選項。不要捏造匿名承諾。

遺漏或重疊的選項

拿每類可能的受訪者對照回答清單。區間不能重疊或留空隙。隨機排列可減少某些無序清單的次序效應,但不適用於順序量表或有邏輯次序的選項。

真的需要收集多少敏感資料?

只有對已聲明的決策確有必要,並有合法而合乎倫理的程序時,才收集人口統計、健康、政治、身份、財務或位置資料。用仍能支援分析的最粗類別,如實說明是否自選、保存期限和存取權限。

不要把真實受訪者檔案、敏感原話、聯絡人名單或可識別小群組的組合交給未獲批 AI 工具。用合成角色測試跳題,用去敏例子檢查字眼。分享參與者資料前,先閱讀 AI 私隱風險。

AAPOR 的最佳做法強調清楚披露、穩健的抽樣和量度、質素控制及透明報告。[3]字眼只是可信調查研究的一部分。

審查題序、跳題與負擔

由相關而較易回答的問題開始。相關主題歸在一起,同時留意脈絡效應:前題可能影響後題的回答。敏感或分類題放在設計上有理由的位置,通常在建立一定信任後。

把跳題寫成明確條件,測試每條路徑,包括「不願回答」、中途退出、流動裝置版面、螢幕閱讀器次序、鍵盤操作和各語言版本。完成時間按真實試行估算,不讓 AI 估計。

避免巨型矩陣題:它們易誘發「一直點同一欄」的作答,在細小螢幕上也難用。可接受篇幅增加時,拆成聚焦的單題。

問卷認知訪談能發現甚麼?

認知訪談探究人如何理解、回憶、判斷和回答一道題。邀請少量相關而背景各異的參與者邊想邊說,或回答以下追問:

  • 用你自己的話說,這題是甚麼意思?
  • 你想的是哪個時段?
  • 你怎樣選出這個答案?
  • 有沒有哪個字眼不清楚或令你不自在?
  • 你的真實答案是否不在選項之中?

訪談時不為字眼辯護。記錄觀察到的問題和參與者用語,不作不必要的身份識別。一人的偏好不是普遍規則;要找出重複出現的模式和後果嚴重的誤解。

問卷預測試並按證據修訂

以與目標人群相似的小樣本,按預期方式執行整份問卷,測試邀請、知情同意、顯示、跳題、必填欄位、完成時間、中途放棄點、缺失值、選項使用和數據匯出。美國人口普查局的質素標準 A2 要求在開發和測試數據收集工具及配套資料時,兼顧數據質素與受訪者負擔。[4]

看結果前先界定修訂觸發條件,例如:重複誤解、多人把同一缺漏類別填進「其他」、跳題失敗、單題無回應率高,或完成時間超出議定上限。

以證據和決定更新矩陣:修訂、附理由保留、刪除或再測。不要讓 AI 宣佈問卷「無偏」;偏差可能來自涵蓋範圍、抽樣、無回應、量度、處理和詮釋,不只是字眼。

用 AI 設計問卷問題時使用有邊界的審查提示

以問卷設計助手的身份審查這些問題草稿。
就每道題,找出:
- 構念及適用人群;
- 所問概念的數目;
- 回憶負擔及含糊字眼;
- 引導性字眼、隱含假設及社會期許壓力;
- 遺漏、重疊或不平衡的回答選項;
- 跳題及無障礙問題。
提出中性的修訂,但不要聲稱它無偏或已驗證。
傳回問題審查矩陣。欠缺背景之處標示為「未知」。
不得使用或捏造受訪者數據。

由研究人員判斷修訂是否切合目標和證據。

最終檢查表

  • 每道題都對應一項決策和一個已界定的構念。
  • 人群、回憶期、調查方式和回答格式都已寫明。
  • 每題只包含一個可回答的概念,字眼中性。
  • 已檢查選項的空隙、重疊、平衡和適用的退出選項。
  • 敏感資料的收集確有必要且已減至最少。
  • 題序、跳題、無障礙和流動裝置負擔已經測試。
  • 認知訪談記錄了理解上的問題。
  • 完整預測試產生了證據和修訂決定。
  • 抽樣和代表性結論與題目字眼分開處理。
  • AI 建議中的事實性說法已按原始來源查核方法檢查。

常見問題

AI 能令調查做到無偏嗎?

不能。它可標示已知的字眼風險,但偏差亦來自抽樣、涵蓋範圍、無回應、調查方式、處理和詮釋。

應該生成多少道題?

要生成的是備選寫法,不是問卷長度。只保留已界定決策所必需的題目,並實測完成負擔。

AI 能直接寫出一整份問卷嗎?

只要提供設計表頭——決策、構念、目標人群、回憶期和渠道——它便能很快起草完整的初版。把這份草稿當作原材料,正式派發前讓每道題都經過審查矩陣、認知訪談和預測試。

甚麼是雙重問題?

它就兩個可獨立回答的概念發問,卻只給一個答案,例如把速度和幫助程度放在一起評分。

每個量表都應有中立中點嗎?

不應該。只有中立狀態對該構念和人群有意義時才加入;端點始終要清楚標示。

認知訪談與預測試有甚麼區別?

認知訪談考察人們如何理解個別題目;預測試則執行整份問卷,包括跳題、調查方式和數據輸出。

可以把真實受訪者檔案交給 AI 嗎?

預設不可以。使用合成或去敏的個案和獲批環境,盡量減少敏感和可識別的數據。

好的問卷能證明樣本具代表性嗎?

不能。抽樣框架、招募、回應模式、加權和分析都需要另外的證據。

甚麼時候必須修訂問題?

測試顯示誤解、缺少選項、跳題失敗、負擔過重、可避免的敏感性,或與構念對應不佳時,就應修訂。

來源

  1. Pew Research Center, “Writing Survey Questions” — https://www.pewresearch.org/writing-survey-questions/
  2. UK Government Analysis Function, “Questionnaire Design Guidance” — https://analysisfunction.civilservice.gov.uk/policy-store/questionnaire-design-guidance/
  3. AAPOR, “Best Practices for Survey Research” — https://aapor.org/standards-and-ethics/best-practices/
  4. U.S. Census Bureau, “Statistical Quality Standard A2” — https://www.census.gov/about/policies/quality/standards/standarda2.html

Sources checked 2026 年 10 月 4 日。

延伸閱讀

開啟 3 天免費試用

註冊即可免費體驗全部高級功能。

*只限新用戶;每位用戶只可獲得一次試用。

如何用 AI 設計問卷問題並檢查偏差:由構念到認知訪談及預測試 | AethoVPN