P367 · 测试与评估

整体指标和重要子任务都要达标

Aggregate and Slice Evaluation Gates

除总体分数外,分别检查重要任务类型,并在看结果前确定门槛。

编辑审核

以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。

使用场景

双语助手100例通过95,恰好全败的5例都为中文。整体95%无法证明已承诺中文能力可用,需要同时看预定语言分组。

具体做法

在查看候选前固定整体与重要分组、数据身份、门槛和容忍变化。每组保留通过/失败/总数及缺项,检查覆盖不足和错误集中;组间重叠时不重复加总。必需分组未达到项目政策则不提升,列失败例和下一实验。缺阈值标政策缺口,不临时挑能过的门。

反例

只写95%并批准双语,中文全失败不提;看完结果才删中文门槛。

改进写法

报告整体95/100、中文0/5以及英文95/95,按预先双语规则保持未就绪。核查中文失败与样本代表性,门槛不因看到结果而下降;报告遗漏、重叠和未测分组。

为什么这样改

总体平均会由多数类主导,分组把承诺能力中的集中失败保留可见。预定政策限制事后重分组或改门槛制造通过。

如何验证

教学分母可对账95英文+5中文=100,中文0通过,整体95。缺两条中文结果就标该组不完整而非0/3当全组。增加新设备交叉组时解释重叠,不能再加到总数。

适用边界

小组不确定性高,不代表所有中文或设备表现。切片太多有多重选择风险,应按需求预定;离线门不保证生产。来源阈值和工具建议需任务适用性,不能把缺阈值当自动通过。

原文与版本

如何收录这些方法