v0.3.1.preview · Case5 六版本验证对比
18/18 运行完成 Task / Tool / 运行时固定,仅替换 Verification 合约 C0–C5 · ← v0.3 系列与九个验证维度这一版做什么
case5 · 6 conditions × 3 replicates · image-only · native claude -p · no harness hard gate这一版只在 case5 上把「验证策略」从零验证一路推到外部 verdict 权威,做六个版本的受控对比。任务、工具、运行时、模型和数据集全部固定,唯一变量是验证合约:C0 无验证、C1 V0 Mentor 极简、C2 V1 Full 完整、C3 V2 Compact 压缩、C4 V3 双 Checkpoint、C5 V4 外部 Verdict。离线 VDiff Gold + discovery rubric 只在 agent 停止后评分,从不回喂给 agent。
| 条件 | 验证策略 | 均分 | pass@4 |
|---|---|---|---|
| C0 | 无验证 | 3.913 | 1/3 |
| C1 | V0 Mentor 极简 | 3.950 | 1/3 |
| C2 | V1 Full 完整 | 4.090 | 2/3 |
| C3 | V2 Compact 压缩 | 4.283 | 2/3 |
| C4 | V3 双 Checkpoint | 4.053 | 2/3 |
| C5 | V4 外部 Verdict | 4.210 | 3/3 |
均分为每条件 3 replicate 的 offline VDiff Gold + discovery rubric 平均;pass@4 为达到阈值 4 的 replicate 数。九个验证设计维度的拆分与建议见 v0.3 系列页。
Viewer 查看
18 datasets · case5 逐条轨迹 · rubric-only 评分合同v0.3.1.preview Visual Trajectory Viewer真实 target / render / HTML、运行事件、验证分类(render 落地 / Checkpoint / 整页验证 / 过程验证)与离线 rubric 分数
打开 v0.3.1.preview Viewer →Viewer 边界本实验没有 harness hard gate,也没有 epoch。Viewer 使用 rubric-only 评分合同,不把离线 rubric 结果伪装成在线 geometry / visual gate。verdict 分类来自 viewer 的派生解释层,原始 trace 仍是事实来源。