P341 · 任务流程

昂贵评分前先排除不合格项

Eligibility Before Expensive Scoring

先过滤确定不符合条件的候选,再投入排名或模型处理成本。

编辑审核

以下示例与示意结果由本站编写,用于说明方法,不是模型实测结果。

使用场景

检索结果要送去评分,但教学候选包含 C1 的重复副本、C2 不允许来源、C3 权限元数据缺失。你只可取得资格判断所需且已允许的元数据,不能先把全部正文给模型再在答案里隐藏禁用项。

具体做法

列出硬资格规则与所需元数据,先核对范围、权限、有效期和精确重复身份。确定不合格项在评分输入前移除;元数据不足保留待核,不猜允许。软相关性留给评分,拒绝理由单独记录,内容和范围变化后资格重新核对。

反例

把 C1/C1副本/C2/C3 的正文都发送模型。C2 得高分后才从最终答案删掉,认为这样就没有使用禁用来源。

改进写法

按教学资格契约先核对允许元数据。保留合格 C1 一次;C2 在正文评分前排除;C3 权限未知先待核,不能默认允许。评分只接收合格集合,软相关性在其中比较。记录排除/待核理由与输入 id,未知所需资料只能在允许范围补取,不绕过访问。

为什么这样改

后置隐藏不能撤回评分阶段已经发送的内容。资格先行同时避免对不可用候选投入成本,并把明确约束和偏好排名分开。

如何验证

示意评分输入只有一次 C1,C2 无正文进入记录,C3 待核原因可见。改变权限或有效期后应重新判断,不沿用旧合格标记。

检查拒绝理由与真正评分输入一致,不能仅验证最终答案看不到禁用项。

适用边界

去重需正确身份和范围,相似文本不必然是相同资源。元数据可能过期,许可/权限不能由模型评分推断;源排序框架的其他阶段不是本方法必须完整采用的架构。

原文与版本

如何收录这些方法