如何用 AI 设计调查问题并检查偏差:从构念到认知访谈和预测试

如何用 AI 设计调查问题并检查偏差:从构念到认知访谈和预测试

Olivia Park
2026年8月31日· 更新于 2026年10月4日· 9 分钟阅读

要用 AI 设计调查问题,先定义决策、构念、目标人群、回忆期和调查渠道,再让它起草问卷。然后逐题检查引导性语言、双重问题、隐含假设、社会期许压力和遗漏的选项,并用认知访谈和小规模预测试了解真实受访者如何理解题目。

本文讲收集数据前的设计,不能替代从已有回答入手的用 AI 把调查回答归纳为主题。AI 能起草和质疑措辞,但不能证明样本有效、问题无偏或结果有代表性。

AI 使用总指南说明了安全上下文、核实和人工批准;分享任何研究材料前先落实这些控制。

关键要点

  • 从决策和构念开始,而非一串有趣的问题。
  • 每次只问一个清楚概念,写明可回答的回忆期。
  • 检查措辞、选项、顺序、跳题、负担和无障碍。
  • 少收集敏感数据,绝不把真实受访者记录贴进未获批工具。
  • 通过认知访谈和预测试观察受访者的理解。
  • 依据证据修订,并保留问题决策日志。

这份调查要支持什么决策?

写下调查要支持的决策。“了解满意度”太宽泛;“针对过去 30 天内完成引导的首次客户,判断哪个引导步骤需重新设计”则明确了行动、人群和时段。

建立设计表头:

字段要回答的问题
决策结果可能改变什么行动?
构念测量的是什么概念?
人群谁符合条件,谁不符合?
回忆期受访者能合理记得多长时间?
渠道网页、电话、纸质、访谈还是混合方式?
约束长度、语言、无障碍、隐私、跳题
负责人谁批准措辞和分析?

Pew Research Center 指出,措辞和题序会影响回答,问卷开发应包括预测试。[1]因此,让 AI 生成题目前先冻结这些设计选择,否则模型可能为未定义的目的写出流畅的问题。

把构念转化为可观察的问题

构念是信任、易用性、信心、频率或意向这类概念。写简短的操作性定义,找出受访者实际能报告的内容,不要让受访者替你诊断业务问题。

为每个构念列出候选指标。“完成账户设置的难易度”可包括:是否完成、时间或精力区间、在哪一步停下、感知难度。不要把所有指标压进一道题。

让 AI 提出多种表述并解释取舍,告诉它目标人群、阅读难度、渠道、回忆期和禁止的假设,并要求区分行为类问题(“多少次……?”)和评价类问题(“有多容易或困难……?”)。

哪种回答格式适合这道题?

回答格式须同时符合构念和受访者的记忆方式。

格式适用于常见风险
是/否清楚的事实状态把细微差别强行压成两个选项
频率区间重复发生的行为区间重叠或不切实际
评分量表程度或评价端点含糊或间距不均
选择题已知类别选项遗漏、重叠或带顺序效应
开放文本意料之外的细节负担高,编码困难
排序相对优先级列表较长时认知负担重

选项要互斥,并对目标人群足够有用。“不适用”“不知道”或“不愿回答”确实可能出现时才加入。不要自动加中立中点,先判断中立是否有意义。

英国政府问卷设计指南强调清楚的概念、合适的回答类别、顺序、跳题、测试和对调查方式的关注。[2]好题目不只是语法正确的句子,还要能在整份问卷中运作。

每道题只问一个概念

用简短的日常语言,在题目附近解释生僻术语。把回忆期写进题目,而不是依赖受访者可能已忘记的说明。

不好:“您对客服的速度和帮助程度有多满意?”受访者可能觉得速度很好、帮助不足。应拆成两道题。

不好:“我们改进后的门户为您节省了多少时间?”这预设门户已改进且省了时间。先问是否用过,再用平衡选项询问时间或精力。

不好:“您经常使用这项服务吗?”“经常”没有稳定的含义。应使用明确的时间段和次数或频率区间。

让 AI 找出候选题中的每个概念、假设、记忆负担和歧义词。它的批评只是检查清单,不是证明。

建立调查问题审查矩阵

把设计证据放在同一个矩阵中:

构念问题草稿适用人群回忆期回答格式/选项偏差风险修订预测试证据
设置难度完成……有多容易或困难?过去 30 天内完成设置者30 天五点全标注量表 + 不适用礼貌压力;端点不清中性开场;标注每一个点6 人中 2 人误解“设置”;已修改用词

每道题一行,包括跳题和人口统计题,防止精美的问卷文档掩盖未解决的设计问题。

应检查哪五类偏差风险?

引导性语言

引导性问题暗示偏好的答案:“我们出色的客服团队对您有多大帮助?”删除赞美、指责和预期方向,用平衡端点。

双重问题

一道题含两个可独立回答的概念时就拆开。留意“和”“或”、斜杠和列表;并非每个“和”都错,但都值得检查。

隐含假设

不要预设受访者用过、买过、知道、能获得、有能力,或与你对某词的定义一致。加入资格题或跳题。“您为什么停止使用……”需先确认对方用过并已停止。

社会期许与敏感性

受访者可能少报受污名的行为,或多报受认可的行为。用中性表述、确属实的隐私说明、合适区间,适合时让受访者自行填写,并提供跳过选项。不要编造匿名承诺。

遗漏或重叠的选项

拿每种可能的受访者对照回答列表。区间不能重叠,也不能留空缺。随机排序可减少某些无序列表的顺序效应,但不适用于顺序量表或有逻辑顺序的选项。

真的需要收集多少敏感数据?

只有对已声明的决策确有必要、且有合法合乎伦理的流程时,才收集人口统计、健康、政治、身份、财务或位置信息。使用仍能支持分析的最粗类别,准确说明是否可选、保存期限和访问权限。

不要把真实受访者档案、敏感原话、联系人名单或可识别小群体的组合交给未获批的 AI 工具。用合成角色测试跳题,用脱敏例子检查措辞。分享参与者材料前,先读 AI 隐私风险。

AAPOR 最佳实践强调清楚披露、稳健的抽样和测量、质量控制和透明报告。[3]措辞只是可信调查研究的一部分。

审查题序、跳题与负担

从相关且较易回答的问题开始。相关主题归在一起,同时注意语境效应:前面的题可能影响后面的回答。敏感或分类题放在设计上有理由的位置,通常在建立一定信任之后。

把跳题写成明确条件,测试每条路径,包括“不愿回答”、提前退出、移动端版面、屏幕阅读器顺序、键盘操作和各语言版本。完成时间按真实试点估算,不让 AI 估计。

避免巨型矩阵题:它们易诱发“一路点同一列”的作答,在小屏幕上也难用。可接受增加长度时,拆成聚焦的单题。

问卷认知访谈能发现什么?

认知访谈探究人如何理解、回忆、判断并回答一道题。邀请少量相关且背景各异的参与者边想边说,或回答这些追问:

  • 用您自己的话说,这题是什么意思?
  • 您想的是哪个时段?
  • 您怎么选出这个答案?
  • 有没有哪个词不清楚或让您不适?
  • 您的真实答案是否不在选项中?

访谈中不为措辞辩护。记录观察到的问题和参与者用语,不做不必要的身份识别。一人的偏好不是普遍规则;要找反复出现的模式和后果严重的误解。

做问卷预测试并依据证据修订

用与目标人群相似的小样本,以预期方式运行整份问卷,测试邀请、知情同意、显示、跳题、必填字段、完成时间、中途放弃点、缺失值、选项使用和数据导出。美国人口普查局的质量标准 A2 要求在开发和测试数据收集工具及配套材料时,兼顾数据质量与受访者负担。[4]

看结果前先定义修订触发条件,例如:反复误解、多人把同一缺失类别填进“其他”、跳题失败、单题无回答率高,或完成时间超出约定上限。

用证据和决定更新矩阵:修订、附理由保留、删除或再测。不要让 AI 宣布问卷“无偏”;偏差可能来自覆盖、抽样、无回应、测量、处理和解释,不只是措辞。

用 AI 设计调查问题时,使用有边界的审查提示词

以问卷设计助手的身份审查这些问题草稿。
对每道题,找出:
- 构念和适用人群;
- 所问概念的数量;
- 回忆负担和有歧义的词;
- 引导性措辞、隐含假设和社会期许压力;
- 遗漏、重叠或不平衡的回答选项;
- 跳题和无障碍问题。
提出中性的修订,但不要声称它无偏或已经验证。
返回问题审查矩阵。缺少背景的地方标为“未知”。
不得使用或编造受访者数据。

由研究者判断修订是否符合研究目标和证据。

最终质量检查表

  • 每道题都对应一项决策和一个已定义的构念。
  • 人群、回忆期、调查方式和回答格式都已写明。
  • 每道题只包含一个可回答的概念,措辞中性。
  • 已检查选项的空缺、重叠、平衡和适用的退出选项。
  • 敏感信息收集确有必要且已减到最少。
  • 题序、跳题、无障碍和移动端负担已测试。
  • 认知访谈记录了理解上的问题。
  • 完整预测试产生了证据和修订决定。
  • 抽样和代表性结论与题目措辞分开处理。
  • AI 建议中的事实性说法已按原始来源核查法检查。

常见问题

AI 能让调查做到无偏吗?

不能。它能标出已知措辞风险,但偏差还来自抽样、覆盖、无回应、调查方式、处理和解释。

应该生成多少道题?

生成的是备选写法,不是问卷长度。只保留已定义决策所必需的题目,并实测完成负担。

AI 能直接写出一整份问卷吗?

只要提供设计表头——决策、构念、目标人群、回忆期和渠道——它就能很快起草完整的初版。把这份草稿当作原材料,正式发放前让每道题都经过审查矩阵、认知访谈和预测试。

什么是双重问题?

它就两个可以独立回答的概念提问,却只给一个回答,例如把速度和帮助程度放在一起打分。

每个量表都应该有中立中点吗?

不应该。只有中立状态对该构念和人群有意义时才加入;端点始终要清楚标注。

认知访谈和预测试有什么区别?

认知访谈考察人们如何理解单道题;预测试则运行整份问卷,包括跳题、调查方式和数据输出。

可以把真实受访者档案交给 AI 吗?

默认不可以。使用合成或脱敏案例和获批环境,尽量减少敏感和可识别数据。

好的问卷能证明样本有代表性吗?

不能。抽样框、招募、回应模式、加权和分析都需要单独的证据。

什么时候应该修订问题?

测试显示误解、缺少选项、跳题失败、负担过重、可避免的敏感性,或与构念对应不佳时,就应修订。

来源

  1. Pew Research Center, “Writing Survey Questions” — https://www.pewresearch.org/writing-survey-questions/
  2. UK Government Analysis Function, “Questionnaire Design Guidance” — https://analysisfunction.civilservice.gov.uk/policy-store/questionnaire-design-guidance/
  3. AAPOR, “Best Practices for Survey Research” — https://aapor.org/standards-and-ethics/best-practices/
  4. U.S. Census Bureau, “Statistical Quality Standard A2” — https://www.census.gov/about/policies/quality/standards/standarda2.html

Sources checked 2026 年 10 月 4 日。

延伸阅读

开启 3 天免费试用

注册即可免费体验全部高级功能。

*仅限新用户;每位用户只能获得一次试用。

如何用 AI 设计调查问题并检查偏差:从构念到认知访谈和预测试 | AethoVPN