如何用 AI 制作评分量规:可观察等级、权重与样例校准

如何用 AI 制作评分量规:可观察等级、权重与样例校准

Olivia Park
2026年8月31日· 更新于 2026年10月4日· 9 分钟阅读

要用 AI 制作评分量规,从作业的获批目标和学习者应产出的可观察证据开始。有意识地选择分析型或整体型结构,拆分独立标准,用证据而非含糊的质量标签描述表现等级,并用去标识化或合成样例测试。教师必须校准评分、处理分歧、决定最终成绩,并提供复核或申诉渠道。录制的展示或视频作业要做标准化评分也一样:AI 可以帮助起草可观察的评分标准,但一致的分数来自经过校准的量规和教师复核,而不是模型本身。

本文讲评价设计和评分一致性,不重复用 AI 制作测验,也不授权自动评分。整体安全模型见 AI 使用总指南;这里的 AI 只是教师所负责测量工具的起草助手。

关键要点

  • 每项标准映射到一个获批学习目标。
  • 评可观察证据,而非性格、对努力的猜测或与任务无关的文字修饰。
  • 有意识地选择分析型或整体型设计。
  • 描述各表现等级间有意义的差别。
  • 检查权重是否重复计分、带来无关障碍。
  • 有后果的评分前先用样例校准。
  • 最终成绩、反馈、复议和申诉由人掌控。

冻结作业与学习目标

量规无法修补含糊的作业。保存准确的作业题目、获批目标、交付物要求、允许的资源、约束、提交方式和现有评分政策。作业有变时,量规也要版本化。

对齐表头:

字段记录
作业准确版本和日期
学习目标已核实的编号和措辞
所需证据学习者必须展示或产出什么
约束长度、工具、协作、来源、格式
排除项不得影响分数的特征
决策负责人教师或获授权的评价负责人

卡内基梅隆大学的量规指南说明,量规能阐明期望、描述质量层级,支持一致的评价和反馈。[1]所以第一步是对齐,而非生成好看的描述语。

什么才算可观察证据?

针对每个目标,问评分者在提交物中实际能看到或听到什么:准确的解释、有理由的方法、可行的步骤、相关的来源使用、站得住脚的解读或展示的技能。

除非确属目标本身,否则避免替代指标。页数不证明深度,复杂词汇不证明推理,视觉精美不证明准确,演示时的自信也不必然证明学科知识。

先写证据陈述,后写标准:

目标可观察证据本身不能算证据
支持主张选择相关证据并与主张建立联系引用数量
应用方法步骤恰当、可见且经过检查只有正确的最终答案
传达发现结构让目标受众能理解推理装饰性设计

AI 可提示遗漏的证据类型,映射由教师批准。

该选分析型还是整体型量规?

分析型量规分别给各项标准打分并给出针对性反馈,适合学习者和评分者需要看到不同优势、弱项或目标映射的情况。它设计和评分更费时,标准划分不清还会重复计分。

整体型量规依据一段综合描述给出总体等级,适合快速判断或各项质量紧密相连的作品。它诊断细节较少,也可能掩盖评分者差异。

不要只因表格显得严谨就选分析型,也不要只因篇幅短就选整体型。记录决定、预期用途、评分者人数、反馈需求和后果。

如何让各项标准相互独立?

起草简短的标准清单,每项代表一个有意义的维度。两两测试:一份作品能否在这项很强、那项很弱?不能的话,二者可能重叠。

常见问题:把“分析”“批判性思维”和“推理质量”分成三项却无区别;每项标准都计入语言规范;或“呈现”分与“沟通”重复。

每项标准填写:

字段问题
标准判断的是哪个维度?
目标映射它测量哪个获批目标?
证据哪些可观察特征支持判断?
排除项哪些无关特征不得影响它?
权重为什么这个维度有这样的分量?

删去无法追溯到作业或政策的标准。

用证据写出量规表现等级

“优秀”“良好”“一般”“较差”没有告诉评分者该观察什么。要描述证据在各等级间如何变化;只在符合目标时,才用准确性、完整性、相关性、推理、独立性、迁移或一致性上的区别。

示例:

标准:证据的使用4 级3 级2 级1 级
描述选择相关证据,解释其与每个主要主张的联系,并处理一个重要局限选择相关证据并与主要主张相连;一处联系或局限不完整有部分相关证据,但与主张的联系只是断言或前后不一相关证据很少,或未与主张相连

除非错误数量与学习有站得住脚的关系,否则不要把小错数量自动折算成等级。避免只叠加程度副词的描述:“非常清楚”“大部分清楚”“有点清楚”。

相邻等级要写到评分者能解释证据为何更符合其中一级。让 AI 找出未定义形容词、复合描述、不可能达到的标准和等级缺口。

如何检查权重和无关因素?

权重传达优先级,应与教学时间和目标重要性对应,而非与易于计数的东西对应。确认组合的标准不会对同一错误多次扣分。

卡内基梅隆大学的包容性评分指南建议期望透明、保持对齐、关注偏差,并采用支持学习的评分做法。[2]检查语言流利度、书写、速度、格式、口音、技术条件或文化背景知识,是否在不属于目标时影响了分数。

明确列出排除特征。语言规范只在写作目标中重要时,不要让它拉低别处的内容分。按时提交由另一政策管理时,不要把它藏进每条描述。

CAST 的 UDL 指南鼓励多种参与、表征以及行动与表达方式。[3]作答方式本身不是目标时,允许能产出等价证据的替代方式。正式便利措施仍由既定的教育者流程决定,而非 AI。

建立量规表

用完整工作表,而不只是面向学习者的描述:

标准目标证据4 级3 级2 级1 级权重排除样例/校准
证据与推理OBJ-2主张与相关来源相连具体描述具体描述具体描述具体描述35%单纯引用数量;文风样例编号和说明

内部校准记录会泄露受保护的学生信息或答案时单独保存。公开的量规仍须让学习者提交前能理解期望。

用 AI 制作评分量规时使用有边界的提示词

根据提供的作业、目标和证据图起草量规。
不要增加目标,也不要给学生作品评分。
每项标准返回:目标映射、可观察证据、
四个有区别的表现描述、附理由的建议权重,
以及应排除的无关特征。
标出重叠、含糊形容词、复合描述和缺失的等级。
无依据的假设标为“待核实”。
最终成绩和便利措施仍由人决定。

对照实际任务审查每条生成描述。AI 可能编造要求、高估表面修饰,或写出对称却不代表实际学习差异的文字。

为什么评分前要用样例校准量规?

有后果的评分前,把量规草稿用于一组刻意挑选、差异明显的去标识化旧样例、获授权范例或合成样例。不要把可识别的学生作品上传到未获批模型。人工评分者先独立评分,再讨论。

校准记录:

样例标准评分者 A评分者 B引用的证据分歧处理/量规修改
S-03证据32第 2 段和第 4 段对“解释联系”理解不同增加边界示例;重评全部校准样例

留意反复出现的分歧、无法应用的标准、落到同一等级的描述,以及由无关特征决定分数的样例。修订量规后再校准。不要只把分歧取平均,要弄清原因。

设定计分和分歧规则

规定是否逐项计分、边界情况能否用专业判断、总分如何取整、缺证据如何处理,以及何时需要第二位评分者。写明由谁解决分歧,重评是否适用于所有同类作品。

AI 可汇总去标识化的校准记录,但不能判断哪位评分者正确,也不能给最终成绩。模型给的分数不等于独立的人工评分者。

公开期望并保留复核渠道

尽可能在提交前把作业和量规交给学习者,解释标准、权重、样例、允许的工具、署名规则和提问流程。允许学习者使用 AI 时,界定可接受的帮助和核实方式;参见负责任地用 AI 做作业。

评分反馈要引用可观察证据,并按机构政策保留澄清、复议或申诉渠道。由教师或获授权机构作最终决定,并记录任何量规例外。

UNESCO 的教育生成式 AI 指南强调人的能动性、合乎伦理的使用、隐私和验证。[4]没有教师实质审核的自动最终评分与本流程冲突。

使用后持续监测量规

一轮评分后,检查各标准的分数分布、缺失证据、常见提问、评分者分歧、申诉主题、无障碍障碍,以及量规是否促进了预期学习。这些模式是待调查的信号,不证明某个学习者群体或某项标准有缺陷。

修改要做版本管理。评分进行中不要悄悄改描述。某个缺陷须立即纠正时,记录决定,并一致应用到所有受影响的作品。

最终质量检查表

  • 作业和目标已冻结并核实。
  • 每项标准都映射到可观察证据和一个目标。
  • 标准相互区分,不对同一特征重复计分。
  • 每个等级都有可观察、区别于相邻等级的描述。
  • 权重反映学习优先级并附理由。
  • 无关特征和无障碍障碍已明确排除。
  • 校准使用获授权的去标识化或合成样例。
  • 评分者分歧有记录在案的处理结论。
  • 学习者提前拿到量规和复核渠道。
  • AI 未接收可识别作品,也未决定最终成绩。
  • 任何事实或政策建议都已对照来源核查。

常见问题

AI 辅助评分中的量规是什么?

量规是一种评分工具,用标准和表现等级明确说明对一份作业的期望。[1] 在 AI 辅助评分中,量规就是模型可能被要求套用的书面标准;标准含糊,模型的输出也会同样含糊。本流程中,AI 只帮助起草量规,由教师用它评分。

AI 能用这份量规给作业评分吗?

本流程中不能。AI 可帮助起草量规,但由教师检查证据、作出判断、给予反馈并决定最终成绩。

AI 能按标准化量规给视频作业评分吗?

视频或录制的展示同样需要与可观察证据挂钩的标准,例如演示出的某个步骤或对某个选择的解释。量规有助于让评分在不同时间和不同评分者之间保持一致。[1] 这种一致性仍取决于经过校准的人工评分者。不要把可识别的学生录像上传到未获批准的工具,最终分数仍由教师决定。

分析型量规和整体型量规有什么区别?

分析型分别给各项标准打分;整体型给出一个综合等级。按证据、反馈需求和评分情境选择。

一份量规应包含多少项标准?

用代表获批目标所需的最少且相互区分的标准。太多会拆碎判断并重复计分。

用“优秀”“良好”这样的标签够吗?

不够。每个等级都需要可观察的描述,说明哪些证据使它有别于相邻等级。

语法是否总应作为一项标准?

只有语言规范属于学习目标或作业明确要求时才应如此,否则可能成为无关障碍。

可以上传学生样例用于校准吗?

在获批环境中使用获授权的去标识化样例或合成样例,不要把可识别的学生作品上传到通用 AI 工具。

两位评分者意见不一致怎么办?

双方引用证据,找出有歧义的描述,按既定流程解决,必要时修订并重新校准。

学习者应该在什么时候看到量规?

尽可能在提交前,并说明标准、权重、样例、工具规则和复议流程。

来源

  1. Carnegie Mellon University, “Creating and Using Rubrics” — https://www.cmu.edu/teaching/assessment/assesslearning/rubrics.html
  2. Carnegie Mellon University, “Inclusive Grading and Feedback” — https://www.cmu.edu/teaching/designteach/inclusiveexcellence/gradingandfeedback/index.html
  3. CAST, “UDL Guidelines 3.0” — https://udlguidelines.cast.org/
  4. UNESCO, “Guidance for Generative AI in Education and Research” — https://www.unesco.org/en/articles/guidance-generative-ai-education-and-research

Sources checked 2026 年 10 月 4 日。

延伸阅读

开启 3 天免费试用

注册即可免费体验全部高级功能。

*仅限新用户;每位用户只能获得一次试用。

如何用 AI 制作评分量规:可观察等级、权重与样例校准 | AethoVPN