区分任务成功与新增指令的收益
Separate behavior success from intervention benefit
分别说明目标行为是否完成,以及新增指令是否带来改善。
以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。
使用场景
基础提示和新增overlay都完成三项教学行为。ON组全对说明它能做任务,却不说明overlay比OFF提高;额外工具调用或成本仍可能变差。
具体做法
把行为验收和干预ON/OFF比较分列,固定案例、运行时、预算与定义,保存两组每次结果。确认新增指令实际接入,按预定指标算质量与资源差异,区分饱和、无检测收益、退化与不完整。检测器能识别信号也只证明检测,不证明按信号行动有益;需要另做结果对照。
反例
ON完成全部,所以提高20%;OFF未测,增加成本并入通过状态忽略。
改进写法
同一教学夹具测OFF与ON,分别核行为,再比较完整结果。两组均3/3时标baseline_saturated、无已证明边际正确性收益,保留调用/成本变化;比较缺行就不完整,不能补零。
为什么这样改
完成行为与改变带来收益是不同结论。控制组和可辨指标才能衡量边际效果,单组通过会把原来已有能力领作改进。
如何验证
教学OFF=3/3、ON=3/3,正确数差0;若ON调用更多则资源退化另列。检测准确但行动结果未比较,不能声称干预成功。本文只给虚拟检查,免费harness测试也不代表真实模型收益。
适用边界
饱和样本缺区分力,不证明指令在所有任务无用。ON/OFF需控制状态与采样;百分比定义、基线为零和费用依据需明确。门槛按真实批准契约,冻结20%例不是通用承诺。
原文与版本
- garrytan/gstack · Blocking checks; Comparative research results
查看此版本的文件f30b7b788a21 - affaan-m/ECC · Shadow labels first, randomized warning impact second
查看此版本的文件ef648e01899b