v0.3.1.preview · Case5 六版本验证对比

18/18 运行完成 Task / Tool / 运行时固定,仅替换 Verification 合约 C0–C5 · ← v0.3 系列与九个验证维度

这一版做什么

case5 · 6 conditions × 3 replicates · image-only · native claude -p · no harness hard gate

这一版只在 case5 上把「验证策略」从零验证一路推到外部 verdict 权威,做六个版本的受控对比。任务、工具、运行时、模型和数据集全部固定,唯一变量是验证合约:C0 无验证、C1 V0 Mentor 极简、C2 V1 Full 完整、C3 V2 Compact 压缩、C4 V3 双 Checkpoint、C5 V4 外部 Verdict。离线 VDiff Gold + discovery rubric 只在 agent 停止后评分,从不回喂给 agent。

本批实验1 × 6 × 3 = 18case5 · C0–C5 全部完成并离线评分
最优均分C3 · 4.283轻验证甜点区;C5 pass@4 3/3 最稳但最贵
核心信号验证越多分越低C0 3.91 → C3 4.28 → C5 蛮力换稳定
条件验证策略均分pass@4
C0无验证3.9131/3
C1V0 Mentor 极简3.9501/3
C2V1 Full 完整4.0902/3
C3V2 Compact 压缩4.2832/3
C4V3 双 Checkpoint4.0532/3
C5V4 外部 Verdict4.2103/3

均分为每条件 3 replicate 的 offline VDiff Gold + discovery rubric 平均;pass@4 为达到阈值 4 的 replicate 数。九个验证设计维度的拆分与建议见 v0.3 系列页

Viewer 查看

18 datasets · case5 逐条轨迹 · rubric-only 评分合同
v0.3.1.preview Visual Trajectory Viewer真实 target / render / HTML、运行事件、验证分类(render 落地 / Checkpoint / 整页验证 / 过程验证)与离线 rubric 分数
打开 v0.3.1.preview Viewer →
Viewer 边界本实验没有 harness hard gate,也没有 epoch。Viewer 使用 rubric-only 评分合同,不把离线 rubric 结果伪装成在线 geometry / visual gate。verdict 分类来自 viewer 的派生解释层,原始 trace 仍是事实来源。