理解、關系推理等 20 個細粒度評估維度
  • 更具魯棒性的評估方式。相同單選問題循環選項提問,模型輸出全部指向同一答案認定為通過,相比傳統1次性通過評估 top-1 準確率平均下降 10% ~ 20%。最大程度減少各種噪聲因素對評測結果的影響,保證了結果的可復現性。
  • 更可靠的模型輸出提取方法; ChatGPT 匹配模型輸出與選項,即使模型未按照指令輸出也可準確匹配至最合理選項
  •  

    相關網站