如何用 AI 构建优先级矩阵,而不让 AI 替你打分

如何用 AI 构建优先级矩阵,而不让 AI 替你打分

Olivia Park
2026年9月4日· 更新于 2026年9月5日· 10 分钟阅读

要用 AI 构建优先级矩阵,先批准标准、权重和约束,再用确定性的方式计算;决定由人来作。

先建立有治理的 AI 工作流。矩阵对一组界定清楚的内部选项排序;它不能代替项目计划、受监管的采购评估、风险登记册或管理层授权。

关键要点

  • 评分之前,先定义决定、选项、决策负责人和硬性门槛。
  • 为每项标准写明目标、度量、方向、量表和证据来源。
  • 在相关方看到各选项总分之前,先批准权重和评分规则。
  • 未知的证据保持未知,不要把它变成零。
  • 在受控的电子表格或脚本中计算,而不是靠生成的文字。
  • 测试敏感性、占优关系、重复计算、补偿效应和红线。

用 AI 构建优先级矩阵支持什么决定?

优先级矩阵根据明确的标准比较一组固定的选项,让决策者看清各种取舍。AHRQ 的决策矩阵指南描述了以下步骤:列出备选方案、选择标准、分配权重、为备选方案评级、把评级乘以权重,然后比较总分。[1]这个顺序很有用,但总分只是判断的输入,而不是自动得出的裁决。

写一份决定陈述,包括:

  • 需要作出的选择或排序;
  • 纳入范围的选项,以及新增选项的截止点;
  • 决策负责人和受影响的相关方;
  • 实施期限和资源边界;
  • 硬性资格门槛和不可谈判的约束;
  • 证据日期和下一次复核的触发条件。

不要从通用提示生成的漂亮标准开始。分配维护产能的矩阵,与挑选研究构想或安排内部改进顺序的矩阵并不相同。如果一个决定混合了互不相容的选择,就把它拆成几个阶段。

硬约束与评分有何区别?

硬约束决定一个选项能否继续推进;评分标准则用来比较符合资格的选项。把两者混在一起,可能让高分去补偿一个本不应被交换的条件。

决策要素处理方式示例
强制性的法律或安全条件通过/不通过门槛已取得必要的批准
固定的预算上限门槛或明确的可行性测试估算成本在授权限额之内
战略贡献评分标准对获批目标有贡献的证据
交付投入方向明确的评分标准按统一方法核实的人天
缺失的证据未知,而不是零收益估算正在等待验证

先应用门槛,再计算总分。记录是哪项证据确定了通过或不通过、由谁复核,以及是否存在例外机制。AI 不能豁免门槛,也不能创造例外。

怎样建立优先级标准、量表和权重?

从决策目标和相关方需求中推导标准。英国政府分析职能(Government Analysis Function)把多准则决策分析描述为跨目标比较选项的方法,并强调标准、评分、权重、不确定性和敏感性。[2]

每项标准都需要:

字段作用
标准 ID 与版本供复核使用的稳定引用
目标这项标准为什么对决定重要
度量观察或计算的是什么证据
方向越多越好、越少越好,还是落在目标区间更好
量表每个允许评级的含义
证据来源获批的系统、研究、估算或负责人
权重来源谁批准了相对重要性,以及理由
缺失值规则如何处理未知证据
约束关联任何不可补偿的硬性门槛
复核人对证据质量负责的人

每个“选项—标准”组合使用一条记录。把下面这份可复用的列契约放在一起,这样无需依赖叙述性笔记,也能重建和审计矩阵:

记录组必填列
控制Decision ID/version、Owner、Review trigger
候选项Option、Hard constraint
标准Criterion ID、Objective、Measure、Direction、Scale
偏好Weight、Weight source
证据Evidence、Raw value、Confidence、Unknown state
计算Rating、Weighted score
稳健性Sensitivity case
决策记录Decision、Dissent

检查重叠。“客户影响”“受影响用户数”和“收入影响”可能部分计算的是同一效果。当人工是主要成本时,“投入”和“成本”也可能相互重复。保留两者之前,先画出因果关系图或说明两者的区别。

使用能区分各选项的标准。如果每个选项的评级都相同,这项标准就不提供排序信息,不过它仍可以作为门槛或背景记录保留。

怎样定义量表?

评分之前先定义锚点。除非每个数值都在同一单位和时间范围下对应可观察的证据,否则 1–5 分的量表毫无意义。

对于收益标准,锚定量表可以使用经核实的结果区间。对于交付投入,可以使用按同一规划方法得出的标准估算区间。定性证据也可以评分,但锚点必须写明什么样的证据才能支持每个评级。

不要不经意地混用原始单位和偏好评级。十天和十位客户并不因为都含有数字十就可以比较。按获批方法进行标准化,写明数值越高还是越低越好,并在评级旁边保留原始度量。

未知是一种独立状态。零代表经核实的“没有”,或获批量表的最低档;它绝不能表示“我们没有调查”。要决定对含有未知值的选项是排除、只显示不计总分、按区间测试,还是升级以收集证据。

怎样批准权重?

权重表达的是相关方的偏好,而不是模型的知识。在展示各选项总分之前就批准权重,以免相关方为了让自己偏爱的选项胜出而调整方法。

记录:

  • 参与决策的代表;
  • 权重方法和引导过程;
  • 理由和分歧;
  • 标准化规则,例如权重合计为 100%;
  • 任何标准的最低要求或否决阈值;
  • 日期、版本和批准权限。

AI 可以总结一次有记录的工作坊,或检查权重是否满足某条数学规则。它不得决定权重数值、推断已达成共识、未经授权就对互不相容的相关方偏好取平均,或把生成的数字当作专家判断呈现。

如果相关方的价值取向有实质差异,就保留几套独立的权重并比较结果。一套混合后的权重可能掩盖决策者需要看到的政策分歧。

怎样整理证据?

使用证据台账,每个“选项—标准”组合一条记录,写明来源、度量日期、方法、负责人、置信度、局限和复核人。对所有选项采用相同的证据时间窗和单位。

AI 可以从获批文档中提取候选事实,把它们对应到标准 ID,并标出缺失或矛盾的证据。要求它引用确切的记录、页码、表格或受控的数据查询。没有来源的流畅理由仍然属于未核实。

请复核人区分:

  1. 度量:观察到或估算出的数值。
  2. 评级:映射到获批量表上的数值。
  3. 权重:该标准经批准的重要程度。
  4. 加权分:确定性的计算结果。
  5. 决定:在审阅总分和例外之后作出的授权判断。

不要让 AI 把这五个层次压缩成一个“优先级分数”。

怎样写 AI 提示?

提供决定契约、选项清单、标准词典、获批权重、评级锚点、约束和证据台账。要求输出一份矩阵草稿、一份例外报告和若干复核问题。

指令应要求 AI:

  1. 保留所有选项、标准和来源的标识;
  2. 只使用提供的证据;
  3. 未知值明确保持为未知;
  4. 不选择权重或评级;
  5. 标出无法比较的单位、过时的证据和无依据的映射;
  6. 找出可能的重复计算,以及没有区分度的标准;
  7. 把硬约束与可相互补偿的评分分开;
  8. 只有在从受控计算输出中复制时,才返回计算结果。

要写得直白:AI 不决定权重或分数。它可以提出“这项证据是否达到锚点 3?”之类的问题,但必须由指定的复核人回答并记录理由。

怎样计算与验证优先级矩阵?

在有版本控制的电子表格或确定性脚本中完成计算。锁定公式单元格,校验允许的输入,并请第二个人抽样重现。

对于简单的加权求和,受控工具可以把每个获批评级乘以其获批的标准化权重,再把乘积相加。但这种方法假定量表和取舍允许相互补偿。英国的多准则分析手册把评分、权重、不确定性和敏感性作为方法中相互关联的部分来讨论。[3]

验证:

  • 权重符合获批的标准化规则;
  • 评级数值都在各自量表范围内;
  • 收益和成本的方向没有颠倒;
  • 缺失值没有因电子表格的默认设置而变成零;
  • 门槛在排序之前执行;
  • 公式覆盖了所有预定的行,并且没有隐藏行;
  • 只在显示阶段才进行四舍五入;
  • 总分能从保存的输入中重现。

保留未四舍五入的结果用于比较,但避免虚假的精确度。显示为 73.42,并不代表证据能支撑到小数点后两位。

要测试哪些敏感性和偏差?

敏感性测试要回答:权重、评级或不确定证据发生合理变化时,排序是否会改变?如果一个小而合理的变化就会颠倒结果,就应把这个排序描述为脆弱的。

至少测试:

  • 每个不确定的评级在其获批范围内的变化;
  • 有实质意义的替代权重组合;
  • 去掉一项可能重复的标准;
  • 合理的度量误差或预测区间;
  • 四舍五入之前的平局和接近平局;
  • 对门槛的不同解读和例外结果。

检查占优关系:如果选项 A 在每项标准上都不比 B 差,且至少有一项更好,那么偏向 B 的结果可能揭示了方向或公式错误。检查补偿效应:很高的收益分不能抹掉强制性的安全或法律不合格。通过检查证据规则是否得到一致应用,来发现锚定效应和偏袒。

只有在计算完成后才把复核过的结果可视化。数据可视化流程可以帮助展示各项标准的贡献,但图表必须保留量表、不确定性,以及分数与决定之间的区别。

怎样形成决定?

最终记录应显示矩阵版本、符合资格的选项、假设、总分、敏感性结果、约束、分歧、决定、决策负责人、理由和复核触发条件。得分最高的选项并不会自动入选。

负责人可能因为不可补偿的约束、证据脆弱、组合平衡、先后依赖或矩阵之外的权限,而选择一个得分较低的选项。只要理由透明且符合政策,这样做就是正当的。

当需要全面处理货币化的成本和收益时,使用单独的成本收益分析。当驱动选择的是连贯的未来条件、而不只是不确定的分数时,使用情景分析。

NIST 提醒要警惕生成式 AI 中的虚构内容、信息完整性、隐私、有害偏见和过度依赖。[4]尽量减少机密输入,并确保由一位承担责任的人复核证据提取和最终决定。

总结

  • 先界定选择、选项、权限和硬性门槛。
  • 建立互不重叠、有锚定量表和证据规则的标准。
  • 在各选项总分可见之前批准权重。
  • 保留未知值,并用确定性工具计算。
  • 测试公式完整性、敏感性、占优关系、重复计算和补偿效应。
  • 把人的决定与矩阵分数分开记录。

常见问题

AI 能选择标准吗?

它可以根据提供的目标提出问题,但必须由相关方批准标准,并确认这些标准与决定相关、可度量、互不重叠且合法。

权重必须合计 100% 吗?

许多加权求和方法会把权重标准化为 100%,但也有其他有效的方法。始终如一地遵循一种获批方法,并记录如何解读权重。

未知等于零吗?

不等于。零是获批量表上经核实的数值;未知表示证据缺失或尚未解决。把未知转换成零会使结果产生偏差。

能让 AI 算加权分吗?

不要把生成的文字当作计算的权威依据。使用受控的电子表格或确定性脚本;如有需要,再请 AI 解释经过核实的输出。

最高分一定获选吗?

不一定。分数为获授权的决定提供参考,可能无法反映硬约束、脆弱的证据、依赖关系或政策判断。最终理由要单独记录。

什么是双重计数?

当两项标准奖励或惩罚的实质上是同一效果时,就发生了双重计数。即使每项标准单独看起来都合理,它也可能夸大这个因素的影响。

敏感性分析说明什么?

它说明权重、评级或不确定证据的合理变化是否会改变排序。脆弱的结果需要更多证据,或需要更谨慎的决定。

可用于采购评估吗?

默认不可以。受监管的采购对公布的标准、保密、利益冲突、评分调和、记录和决定都有具体要求;请改用适用的采购流程。

免责声明:本文提供一般性的决策支持信息。请遵守你所在组织的治理、风险、财务、法律、安全和记录要求。

来源:

  1. Agency for Healthcare Research and Quality — Decision Matrix — https://digital.ahrq.gov/health-it-tools-and-resources/evaluation-resources/workflow-assessment-health-it-toolkit/all-workflow-tools/decision-matrix
  2. UK Government Analysis Function — An Introductory Guide to Multi-Criteria Decision Analysis — https://analysisfunction.civilservice.gov.uk/policy-store/an-introductory-guide-to-mcda/
  3. GOV.UK — Multi-Criteria Analysis Manual for Making Government Policy — https://www.gov.uk/government/publications/multi-criteria-analysis-manual-for-making-government-policy
  4. NIST — Generative Artificial Intelligence Profile — https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Sources checked 2026 年 9 月 4 日。

延伸阅读

开启 3 天免费试用

注册即可免费体验全部高级功能。

*仅限新用户;每位用户只能获得一次试用。

如何用 AI 构建优先级矩阵,而不让 AI 替你打分 | AethoVPN