如何用 AI 製作評分準則:可觀察等級、權重與樣例校準

如何用 AI 製作評分準則:可觀察等級、權重與樣例校準

Olivia Park
2026年8月31日· 更新於 2026年10月4日· 9 分鐘讀完

要用 AI 製作評分準則,由作業的獲批目標和學生應產出的可觀察證據開始。刻意選擇分析型或整體型結構,拆分獨立的準則,以證據而非含糊的質素標籤描述表現等級,並用去標識化或合成樣例測試。教師必須校準評分、處理分歧、決定最終成績,並提供覆核或上訴渠道。想依據影片或錄影示範進行標準化評分也是一樣:AI 可協助草擬可觀察的評分準則,但一致的分數來自經校準的量規和教師覆核,而不是模型本身。

本文講評估設計和評分一致性,不重複用 AI 製作測驗,也不授權自動評分。整體安全模型見 AI 使用總指南;這裏的 AI 只是教師所負責量度工具的草擬助手。

關鍵要點

  • 每項準則對應一個獲批學習目標。
  • 評可觀察證據,而非性格、對努力的猜測或與任務無關的文字修飾。
  • 刻意選擇分析型或整體型設計。
  • 描述各表現等級之間有意義的分別。
  • 檢查權重是否重複計分、帶來無關障礙。
  • 有後果的評分前先用樣例校準。
  • 最終成績、回饋、重新考慮和上訴由人掌控。

凍結作業與目標

量規無法補救含糊的作業。保存確切的作業題目、獲批目標、交付物要求、容許資源、限制、提交方式和現行評分政策。作業有變時,量規也要更新版本。

對齊表頭:

欄位紀錄
作業確切版本及日期
學習目標已核實的編號及字眼
所需證據學生必須展示或產出甚麼
限制長度、工具、協作、來源、格式
排除項目不得影響分數的特徵
決策負責人教師或獲授權的評估負責人

卡內基梅隆大學的量規指引說明,量規能闡明期望、描述質素層級,並支援一致的評估和回饋。[1]所以第一步是對齊,而非生成好看的描述語。

甚麼才算可觀察證據?

就每個目標,問評分者在提交物中實際能看到或聽到甚麼:準確的解釋、有理據的方法、可行的步驟、相關的來源運用、站得住腳的詮釋或展示出來的技能。

除非確屬目標本身,否則避免使用替代指標。頁數不證明深度,艱深詞彙不證明推理,外觀精美不證明準確,匯報時的自信亦不一定證明學科知識。

先寫證據陳述,後寫準則:

目標可觀察證據本身不算證據
支持論點選取相關證據並與論點建立聯繫引用數目
應用方法步驟恰當、清楚可見並經過檢查只有正確的最終答案
傳達發現結構令目標讀者能理解推理裝飾性設計

AI 可提示遺漏的證據類型,對應由教師批准。

該選分析型還是整體型量規?

分析型量規分別為各準則評分並給出針對性回饋,適合學生和評分者需要看到不同強項、弱項或目標對應的情況。它設計和評分較費時,準則劃分不清更會重複計分。

整體型量規按一段綜合描述給出整體等級,適合快速判斷或各項質素緊密相連的作品。它診斷細節較少,也可能掩蓋評分者差異。

不要只因表格顯得嚴謹就選分析型,也不要只因篇幅短就選整體型。記錄決定、預期用途、評分者人數、回饋需要和後果。

如何讓各項準則彼此獨立?

草擬一份簡短的準則清單,每項代表一個有意義的維度。兩兩測試:一份作品能否在這項很強、那項很弱?不能的話,兩者可能重疊。

常見問題:把「分析」「批判性思考」和「推理質素」分成三項卻沒有分別;每項準則都計入語文規範;或「表達」分與「溝通」重複。

每項準則填寫:

欄位問題
準則判斷的是哪個維度?
目標對應它量度哪個獲批目標?
證據哪些可觀察特徵支持判斷?
排除項目哪些無關特徵不得影響它?
權重為何這個維度有這樣的分量?

刪去無法追溯到作業或政策的準則。

用證據寫出各個量規表現等級

「優秀」「良好」「一般」「欠佳」沒有告訴評分者該觀察甚麼。要描述證據在各等級之間如何變化;只在切合目標時,才使用準確性、完整性、相關性、推理、獨立性、遷移或一致性方面的區別。

示例:

準則:證據運用第 4 級第 3 級第 2 級第 1 級
描述選取相關證據,解釋其與每個主要論點的聯繫,並處理一項重要局限選取相關證據並與主要論點相連;一處聯繫或局限不完整有部分相關證據,但與論點的聯繫只屬斷言或前後不一相關證據很少,或未與論點相連

除非錯誤數目與學習有站得住腳的關係,否則不要把小錯的數目自動折算成等級。避免只疊加程度副詞的描述:「非常清楚」「大致清楚」「有點清楚」。

相鄰等級要寫到評分者能解釋證據為何較符合其中一級。讓 AI 找出未界定的形容詞、複合描述、不可能達到的標準和等級缺口。

如何檢查權重及無關因素?

權重傳達優先次序,應與教學時間和目標重要性對應,而非與容易計算的東西對應。確認組合起來的準則不會就同一錯誤多次扣分。

卡內基梅隆大學的共融評分指引建議期望透明、保持對齊、關注偏差,並採用支援學習的評分做法。[2]檢查語文流暢度、書寫、速度、格式、口音、科技條件或文化背景知識,會否在不屬於目標時影響分數。

明確列出排除特徵。語文規範只在寫作目標中重要時,不要讓它拉低其他地方的內容分。準時提交由另一政策管理時,不要把它藏進每條描述。

CAST 的 UDL 指引鼓勵多種參與、表徵以及行動與表達方式。[3]作答方式本身不是目標時,容許能產出同等證據的替代方式。正式的調適安排仍由既定的教育工作者程序決定,而非 AI。

建立完整量規表

用完整工作表,不只是給學生看的描述:

準則目標證據第 4 級第 3 級第 2 級第 1 級權重排除樣例/校準
證據與推理OBJ-2論點與相關來源相連具體描述具體描述具體描述具體描述35%單純引用數目;文風樣例編號及說明

內部校準紀錄會洩露受保護的學生資料或答案時另行保存。公開的量規仍須讓學生在提交前理解期望。

用 AI 製作評分準則時使用有邊界的提示

根據提供的作業、目標和證據圖草擬量規。
不要增加目標,也不要為學生作品評分。
每項準則傳回:目標對應、可觀察證據、
四個有分別的表現描述、附理由的建議權重,
以及應排除的無關特徵。
標示重疊、含糊形容詞、複合描述和欠缺的等級。
沒有依據的假設標示為「待核實」。
最終成績和調適安排仍由人決定。

對照實際任務審查每條生成描述:AI 可能捏造要求、高估表面修飾,或寫出對稱卻不反映實際學習差異的文字。

為甚麼評分前要用樣例校準量規?

有後果的評分前,把量規草稿用於一組刻意挑選、差異明顯的去標識化舊樣例、獲授權範例或合成樣例。不要把可識別的學生作品上載到未獲批模型。人手評分者先獨立評分,再討論。

校準紀錄:

樣例準則評分者 A評分者 B引用的證據分歧處理/量規修改
S-03證據32第 2 及第 4 段對「解釋聯繫」理解不同加入邊界示例;重評全部校準樣例

留意一再出現的分歧、無法應用的準則、落在同一等級的描述,以及由無關特徵決定分數的樣例。修訂量規後再校準。不要只把分歧取平均,要弄清原因。

設定計分及分歧規則

訂明是否逐項計分、邊界情況能否用專業判斷、總分如何進位、欠缺證據如何處理,以及何時需第二位評分者。寫明誰解決分歧,重評是否適用於所有同類作品。

AI 可匯總去標識化的校準紀錄,但不能判斷哪位評分者正確或給出最終成績。模型的分數不等於獨立的人手評分者。

公開預期並保留覆核渠道

盡可能在提交前把作業和量規交給學生,解釋準則、權重、樣例、容許的工具、註明出處規則和提問程序。容許學生使用 AI 時,界定可接受的協助和核實方式;參閱負責任地用 AI 做作業。

評分回饋要引用可觀察證據,並按機構政策保留澄清、重新考慮或上訴渠道。由教師或獲授權機構作最終決定,並記錄任何量規例外。

UNESCO 的教育生成式 AI 指引強調人的能動性、合乎倫理的使用、私隱和驗證。[4]沒有教師實質覆核的自動最終評分與本流程相違。

使用後持續監察量規

一輪評分後,檢查各準則的分數分佈、欠缺的證據、常見提問、評分者分歧、上訴主題、無障礙障礙,以及量規有否促進預期學習。這些模式是待調查的訊號,不證明某個學生群組或某項準則有缺陷。

修改要有版本管理。評分期間不要悄悄改描述。缺陷須即時修正時,記錄決定,並一致應用到所有受影響的作品。

最終檢查表

  • 作業和目標已凍結並核實。
  • 每項準則都對應可觀察證據和一個目標。
  • 準則互相區分,不就同一特徵重複計分。
  • 每個等級都有可觀察、有別於相鄰等級的描述。
  • 權重反映學習優先次序並附理由。
  • 無關特徵和無障礙障礙已明確排除。
  • 校準使用獲授權的去標識化或合成樣例。
  • 評分者分歧有記錄在案的處理結論。
  • 學生預先取得量規和覆核渠道。
  • AI 沒有接收可識別的作品,也沒有決定最終成績。
  • 任何事實或政策建議都已對照來源查核。

常見問題

AI 輔助評分中的量規是甚麼?

量規是一種評分工具,以準則和表現等級清楚說明對一份作業的期望。[1] 在 AI 輔助評分中,量規就是模型可能被要求套用的書面標準;準則含糊,模型的輸出亦會同樣含糊。在本流程中,AI 只協助草擬量規,由教師用它評分。

AI 可以按量規自動評分嗎?

在本流程中不可以。AI 可協助草擬量規,但由教師檢查證據、作出判斷、給予回饋並決定最終成績。

AI 能否依據影片進行標準化評分?

影片或錄影示範同樣需要與可觀察證據掛鈎的準則,例如示範出的某個步驟或對某個選擇的解釋。量規有助評分在不同時間和不同評分者之間保持一致。[1] 這種一致性仍取決於經校準的人手評分者。不要把可識別的學生錄影上載到未獲批准的工具,最終分數仍由教師決定。

分析型與整體型量規有甚麼區別?

分析型分別為各項準則評分;整體型給出一個綜合等級。按證據、回饋需要和評分情境選擇。

應該有多少項準則?

使用代表獲批目標所需的最少而互相區分的準則。太多會拆散判斷並重複計分。

「優秀、良好」這類標籤夠不夠?

不夠。每個等級都需要可觀察的描述,說明哪些證據令它有別於相鄰等級。

文法是否總要評分?

只有語文規範屬於學習目標或作業明確要求時才應如此,否則可能成為無關障礙。

可以上載學生樣例作校準嗎?

在獲批環境中使用獲授權的去標識化樣例或合成樣例,不要把可識別的學生作品上載到通用 AI 工具。

兩位評分者意見不同怎麼辦?

雙方引用證據,找出有歧義的描述,按既定程序解決,有需要時修訂並重新校準。

何時向學生展示量規?

盡可能在提交前,並說明準則、權重、樣例、工具規則和重新考慮程序。

來源

  1. Carnegie Mellon University, “Creating and Using Rubrics” — https://www.cmu.edu/teaching/assessment/assesslearning/rubrics.html
  2. Carnegie Mellon University, “Inclusive Grading and Feedback” — https://www.cmu.edu/teaching/designteach/inclusiveexcellence/gradingandfeedback/index.html
  3. CAST, “UDL Guidelines 3.0” — https://udlguidelines.cast.org/
  4. UNESCO, “Guidance for Generative AI in Education and Research” — https://www.unesco.org/en/articles/guidance-generative-ai-education-and-research

Sources checked 2026 年 10 月 4 日。

延伸閱讀

開啟 3 天免費試用

註冊即可免費體驗全部高級功能。

*只限新用戶;每位用戶只可獲得一次試用。

如何用 AI 製作評分準則:可觀察等級、權重與樣例校準 | AethoVPN