修订提示词时隔离保留样本的反馈

以下示例与示意结果由本站编写，用于说明方法，不是模型实测结果。

使用场景

路由描述按训练失败改写，保留查询用于每轮选赢家。即使修订模型没有读这些查询，只要其分数用于反复选择，这组仍是验证/选择集而非最终独立测试。

具体做法

先固定训练、选择和最终确认样本身份及允许反馈。修订输入仅含训练材料，过滤历史中的保留字段，检查完整提示及引用文件是否侧漏。选择集用于挑候选并如实命名；最终测试留到选择结束，若其反馈进入新修订就不再是未触碰集。存储阈值与历史分数标历史，未独立复核门槛标暂定。

反例

每次把保留失败例交给修订者，仍称最佳分数是未触碰测试表现。

改进写法

修订者只读训练失败与过滤后的历史，选择候选用单列验证集分数；最终确认在未参与选择的新案例进行。记录各集合身份及反馈访问，结果只称实际支持的范围，不把固定阈值当新评估。

为什么这样改

信息隔离减少直接案例泄漏，但自适应选赢家仍使用选择信息。准确命名能防止验证集高分被包装成独立泛化估计。

如何验证

教学提示快照不含选择案例或分数字段；选择表与最终测试表各有ID。若最终失败被拿去改下一版，该集合改为开发反馈并另需新的确认。检查文件引用和聊天历史，不能只删除一个字段就声称完全隔离。

适用边界

小样本可能只能报告方向性结果，不必虚构三分割。重复样本不能自动变独立案例，确定语料也不能伪造群体置信区间。冻结来源有“test”名用于选择的情况，正文按真实用途说明。