开启 3 天免费试用
注册即可免费体验全部高级功能。
*仅限新用户;每位用户只能获得一次试用。


要用 AI 制作评分量规,从作业的获批目标和学习者应产出的可观察证据开始。有意识地选择分析型或整体型结构,拆分独立标准,用证据而非含糊的质量标签描述表现等级,并用去标识化或合成样例测试。教师必须校准评分、处理分歧、决定最终成绩,并提供复核或申诉渠道。录制的展示或视频作业要做标准化评分也一样:AI 可以帮助起草可观察的评分标准,但一致的分数来自经过校准的量规和教师复核,而不是模型本身。
本文讲评价设计和评分一致性,不重复用 AI 制作测验,也不授权自动评分。整体安全模型见 AI 使用总指南;这里的 AI 只是教师所负责测量工具的起草助手。
关键要点
- 每项标准映射到一个获批学习目标。
- 评可观察证据,而非性格、对努力的猜测或与任务无关的文字修饰。
- 有意识地选择分析型或整体型设计。
- 描述各表现等级间有意义的差别。
- 检查权重是否重复计分、带来无关障碍。
- 有后果的评分前先用样例校准。
- 最终成绩、反馈、复议和申诉由人掌控。
量规无法修补含糊的作业。保存准确的作业题目、获批目标、交付物要求、允许的资源、约束、提交方式和现有评分政策。作业有变时,量规也要版本化。
对齐表头:
| 字段 | 记录 |
|---|---|
| 作业 | 准确版本和日期 |
| 学习目标 | 已核实的编号和措辞 |
| 所需证据 | 学习者必须展示或产出什么 |
| 约束 | 长度、工具、协作、来源、格式 |
| 排除项 | 不得影响分数的特征 |
| 决策负责人 | 教师或获授权的评价负责人 |
卡内基梅隆大学的量规指南说明,量规能阐明期望、描述质量层级,支持一致的评价和反馈。[1]所以第一步是对齐,而非生成好看的描述语。
针对每个目标,问评分者在提交物中实际能看到或听到什么:准确的解释、有理由的方法、可行的步骤、相关的来源使用、站得住脚的解读或展示的技能。
除非确属目标本身,否则避免替代指标。页数不证明深度,复杂词汇不证明推理,视觉精美不证明准确,演示时的自信也不必然证明学科知识。
先写证据陈述,后写标准:
| 目标 | 可观察证据 | 本身不能算证据 |
|---|---|---|
| 支持主张 | 选择相关证据并与主张建立联系 | 引用数量 |
| 应用方法 | 步骤恰当、可见且经过检查 | 只有正确的最终答案 |
| 传达发现 | 结构让目标受众能理解推理 | 装饰性设计 |
AI 可提示遗漏的证据类型,映射由教师批准。
分析型量规分别给各项标准打分并给出针对性反馈,适合学习者和评分者需要看到不同优势、弱项或目标映射的情况。它设计和评分更费时,标准划分不清还会重复计分。
整体型量规依据一段综合描述给出总体等级,适合快速判断或各项质量紧密相连的作品。它诊断细节较少,也可能掩盖评分者差异。
不要只因表格显得严谨就选分析型,也不要只因篇幅短就选整体型。记录决定、预期用途、评分者人数、反馈需求和后果。
起草简短的标准清单,每项代表一个有意义的维度。两两测试:一份作品能否在这项很强、那项很弱?不能的话,二者可能重叠。
常见问题:把“分析”“批判性思维”和“推理质量”分成三项却无区别;每项标准都计入语言规范;或“呈现”分与“沟通”重复。
每项标准填写:
| 字段 | 问题 |
|---|---|
| 标准 | 判断的是哪个维度? |
| 目标映射 | 它测量哪个获批目标? |
| 证据 | 哪些可观察特征支持判断? |
| 排除项 | 哪些无关特征不得影响它? |
| 权重 | 为什么这个维度有这样的分量? |
删去无法追溯到作业或政策的标准。
“优秀”“良好”“一般”“较差”没有告诉评分者该观察什么。要描述证据在各等级间如何变化;只在符合目标时,才用准确性、完整性、相关性、推理、独立性、迁移或一致性上的区别。
示例:
| 标准:证据的使用 | 4 级 | 3 级 | 2 级 | 1 级 |
|---|---|---|---|---|
| 描述 | 选择相关证据,解释其与每个主要主张的联系,并处理一个重要局限 | 选择相关证据并与主要主张相连;一处联系或局限不完整 | 有部分相关证据,但与主张的联系只是断言或前后不一 | 相关证据很少,或未与主张相连 |
除非错误数量与学习有站得住脚的关系,否则不要把小错数量自动折算成等级。避免只叠加程度副词的描述:“非常清楚”“大部分清楚”“有点清楚”。
相邻等级要写到评分者能解释证据为何更符合其中一级。让 AI 找出未定义形容词、复合描述、不可能达到的标准和等级缺口。
权重传达优先级,应与教学时间和目标重要性对应,而非与易于计数的东西对应。确认组合的标准不会对同一错误多次扣分。
卡内基梅隆大学的包容性评分指南建议期望透明、保持对齐、关注偏差,并采用支持学习的评分做法。[2]检查语言流利度、书写、速度、格式、口音、技术条件或文化背景知识,是否在不属于目标时影响了分数。
明确列出排除特征。语言规范只在写作目标中重要时,不要让它拉低别处的内容分。按时提交由另一政策管理时,不要把它藏进每条描述。
CAST 的 UDL 指南鼓励多种参与、表征以及行动与表达方式。[3]作答方式本身不是目标时,允许能产出等价证据的替代方式。正式便利措施仍由既定的教育者流程决定,而非 AI。
用完整工作表,而不只是面向学习者的描述:
| 标准 | 目标 | 证据 | 4 级 | 3 级 | 2 级 | 1 级 | 权重 | 排除 | 样例/校准 |
|---|---|---|---|---|---|---|---|---|---|
| 证据与推理 | OBJ-2 | 主张与相关来源相连 | 具体描述 | 具体描述 | 具体描述 | 具体描述 | 35% | 单纯引用数量;文风 | 样例编号和说明 |
内部校准记录会泄露受保护的学生信息或答案时单独保存。公开的量规仍须让学习者提交前能理解期望。
根据提供的作业、目标和证据图起草量规。
不要增加目标,也不要给学生作品评分。
每项标准返回:目标映射、可观察证据、
四个有区别的表现描述、附理由的建议权重,
以及应排除的无关特征。
标出重叠、含糊形容词、复合描述和缺失的等级。
无依据的假设标为“待核实”。
最终成绩和便利措施仍由人决定。
对照实际任务审查每条生成描述。AI 可能编造要求、高估表面修饰,或写出对称却不代表实际学习差异的文字。
有后果的评分前,把量规草稿用于一组刻意挑选、差异明显的去标识化旧样例、获授权范例或合成样例。不要把可识别的学生作品上传到未获批模型。人工评分者先独立评分,再讨论。
校准记录:
| 样例 | 标准 | 评分者 A | 评分者 B | 引用的证据 | 分歧 | 处理/量规修改 |
|---|---|---|---|---|---|---|
| S-03 | 证据 | 3 | 2 | 第 2 段和第 4 段 | 对“解释联系”理解不同 | 增加边界示例;重评全部校准样例 |
留意反复出现的分歧、无法应用的标准、落到同一等级的描述,以及由无关特征决定分数的样例。修订量规后再校准。不要只把分歧取平均,要弄清原因。
规定是否逐项计分、边界情况能否用专业判断、总分如何取整、缺证据如何处理,以及何时需要第二位评分者。写明由谁解决分歧,重评是否适用于所有同类作品。
AI 可汇总去标识化的校准记录,但不能判断哪位评分者正确,也不能给最终成绩。模型给的分数不等于独立的人工评分者。
尽可能在提交前把作业和量规交给学习者,解释标准、权重、样例、允许的工具、署名规则和提问流程。允许学习者使用 AI 时,界定可接受的帮助和核实方式;参见负责任地用 AI 做作业。
评分反馈要引用可观察证据,并按机构政策保留澄清、复议或申诉渠道。由教师或获授权机构作最终决定,并记录任何量规例外。
UNESCO 的教育生成式 AI 指南强调人的能动性、合乎伦理的使用、隐私和验证。[4]没有教师实质审核的自动最终评分与本流程冲突。
一轮评分后,检查各标准的分数分布、缺失证据、常见提问、评分者分歧、申诉主题、无障碍障碍,以及量规是否促进了预期学习。这些模式是待调查的信号,不证明某个学习者群体或某项标准有缺陷。
修改要做版本管理。评分进行中不要悄悄改描述。某个缺陷须立即纠正时,记录决定,并一致应用到所有受影响的作品。
量规是一种评分工具,用标准和表现等级明确说明对一份作业的期望。[1] 在 AI 辅助评分中,量规就是模型可能被要求套用的书面标准;标准含糊,模型的输出也会同样含糊。本流程中,AI 只帮助起草量规,由教师用它评分。
本流程中不能。AI 可帮助起草量规,但由教师检查证据、作出判断、给予反馈并决定最终成绩。
视频或录制的展示同样需要与可观察证据挂钩的标准,例如演示出的某个步骤或对某个选择的解释。量规有助于让评分在不同时间和不同评分者之间保持一致。[1] 这种一致性仍取决于经过校准的人工评分者。不要把可识别的学生录像上传到未获批准的工具,最终分数仍由教师决定。
分析型分别给各项标准打分;整体型给出一个综合等级。按证据、反馈需求和评分情境选择。
用代表获批目标所需的最少且相互区分的标准。太多会拆碎判断并重复计分。
不够。每个等级都需要可观察的描述,说明哪些证据使它有别于相邻等级。
只有语言规范属于学习目标或作业明确要求时才应如此,否则可能成为无关障碍。
在获批环境中使用获授权的去标识化样例或合成样例,不要把可识别的学生作品上传到通用 AI 工具。
双方引用证据,找出有歧义的描述,按既定流程解决,必要时修订并重新校准。
尽可能在提交前,并说明标准、权重、样例、工具规则和复议流程。
Sources checked 2026 年 10 月 4 日。
注册即可免费体验全部高级功能。
*仅限新用户;每位用户只能获得一次试用。