P378 · 测试与评估

区分任务成功与新增指令的收益

Separate behavior success from intervention benefit

分别说明目标行为是否完成,以及新增指令是否带来改善。

编辑审核

以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。

使用场景

基础提示和新增overlay都完成三项教学行为。ON组全对说明它能做任务,却不说明overlay比OFF提高;额外工具调用或成本仍可能变差。

具体做法

把行为验收和干预ON/OFF比较分列,固定案例、运行时、预算与定义,保存两组每次结果。确认新增指令实际接入,按预定指标算质量与资源差异,区分饱和、无检测收益、退化与不完整。检测器能识别信号也只证明检测,不证明按信号行动有益;需要另做结果对照。

反例

ON完成全部,所以提高20%;OFF未测,增加成本并入通过状态忽略。

改进写法

同一教学夹具测OFF与ON,分别核行为,再比较完整结果。两组均3/3时标baseline_saturated、无已证明边际正确性收益,保留调用/成本变化;比较缺行就不完整,不能补零。

为什么这样改

完成行为与改变带来收益是不同结论。控制组和可辨指标才能衡量边际效果,单组通过会把原来已有能力领作改进。

如何验证

教学OFF=3/3、ON=3/3,正确数差0;若ON调用更多则资源退化另列。检测准确但行动结果未比较,不能声称干预成功。本文只给虚拟检查,免费harness测试也不代表真实模型收益。

适用边界

饱和样本缺区分力,不证明指令在所有任务无用。ON/OFF需控制状态与采样;百分比定义、基线为零和费用依据需明确。门槛按真实批准契约,冻结20%例不是通用承诺。

原文与版本

如何收录这些方法