整体指标和重要子任务都要达标
Aggregate and Slice Evaluation Gates
除总体分数外,分别检查重要任务类型,并在看结果前确定门槛。
以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。
使用场景
双语助手100例通过95,恰好全败的5例都为中文。整体95%无法证明已承诺中文能力可用,需要同时看预定语言分组。
具体做法
在查看候选前固定整体与重要分组、数据身份、门槛和容忍变化。每组保留通过/失败/总数及缺项,检查覆盖不足和错误集中;组间重叠时不重复加总。必需分组未达到项目政策则不提升,列失败例和下一实验。缺阈值标政策缺口,不临时挑能过的门。
反例
只写95%并批准双语,中文全失败不提;看完结果才删中文门槛。
改进写法
报告整体95/100、中文0/5以及英文95/95,按预先双语规则保持未就绪。核查中文失败与样本代表性,门槛不因看到结果而下降;报告遗漏、重叠和未测分组。
为什么这样改
总体平均会由多数类主导,分组把承诺能力中的集中失败保留可见。预定政策限制事后重分组或改门槛制造通过。
如何验证
教学分母可对账95英文+5中文=100,中文0通过,整体95。缺两条中文结果就标该组不完整而非0/3当全组。增加新设备交叉组时解释重叠,不能再加到总数。
适用边界
小组不确定性高,不代表所有中文或设备表现。切片太多有多重选择风险,应按需求预定;离线门不保证生产。来源阈值和工具建议需任务适用性,不能把缺阈值当自动通过。
原文与版本
- affaan-m/ECC · Evaluate before promotion
查看此版本的文件ef648e01899b - affaan-m/ECC · Versioned representative baseline with task-specific thresholds, slices and regression deltas
查看此版本的文件ef648e01899b