Verification Loop V3

Verifier Ablation 60/60 + 70/70 scored matched controls · verifier/gate/tool ablations · Gate Score v2

两组实验，分开解读

A 是当前主结论 · B 只用于估计重复运行波动

V3 现在包含两组用途不同的数据。新的 Verifier Ablation 使用同批 matched controls，直接比较 L2 verifier、L3 gate feedback 与 self-check tools；较早的三次运行只作为 Stability ×3 保留，用来观察同一设置重复采样时的波动，不能与主实验混算。

Verification Loop Unified Viewer Verifier Ablation 7 conditions · Stability datasets retained
打开 Viewer V0.4 总览 →
L2 Base L2 Verifier L3 Full case-h1 · 3 Run Compare Ablation 完整报告 Ablation 70-cell CSV README

v-harness 来源关系

Native Claude v2.3 · executed
固定 source

V3 的 L3 条件使用 image2code-v2.3@e9c04d4b382beaa18dc96f1e1fded91eb942dd76：MCP perception 保留，修改操作由 Claude 原生 Bash / Write / Edit / Read 完成。

实际证据

executed：v2.3 extra-hard h1–h10 seed、30 个 L3 stability cells 与 180 个 L3 epochs 已进入 V3 审计；这不是仅准备过的 source entry。

打开 Native Claude v2.3Version ↔ Project Matrix
A

PRIMARY EXPERIMENT

Verifier Ablation · 验证器作用实验

回答 verifier、详细 gate feedback 与 agent-facing self-check tools 是否带来质量收益，以及代价是多少。
打开 case-h1 三 Run 比较 →

主实验结果

60 new generations + 10 reused L1 · 70 freshly scored rows

Matched-control run 已完成；这里直接比较 verifier、详细 gate feedback 与 agent-facing align/diff 的 observed paired effect。

Loading matched-control drift calibration…

Generation60 / 60
Fresh comparison70 / 70
Concurrencyup to 18
Controlssame batch · r1

7 matched conditions

每行固定 10 个 matched cases。Abs / Large 的分母 10 是 case-h1…case-h10；分子是至少命中过一次该风险的 cell 数，不是 Structure 的通过项数。

conditionGate mean ± σ
10-case mean		≥ 4
cases / 10		semantic
10-case mean		geometry
10-case mean		structure
10-case mean		canvas
10-case mean		Abs
flagged cases / 10		Large
flagged cases / 10		verifier dose
calls total		time
mean / cell
Waiting for canonical comparison…

Primary paired contrasts

正值表示左侧 treatment 的 Gate 更高；CI 是固定 seed 的 10,000 次 paired bootstrap。单 replicate、10 cases，只作 observed paired effect 解读。

contrastGate Δ95% CIW / T / Lsemantic Δgeometry Δstructure Δtime Δdose / tools Δ
Waiting for paired analysis…

10 cases × 7 matched conditions

每格是该 case × condition 的具体 Gate 总分，不是 replicate 平均。每行最高值加粗；点击后进入对应 Viewer evidence。

caseL1 DirectL2 BaseL2 ScopedL2 DetailL3 FullL3 HiddenL3 No Self-Check
Waiting for 70 freshly scored rows…
Behavior dose & contract compliance实际调用剂量、turns、epochs 与 agent-visible policy点击展开

L2 verifier behavior

conditioncells calling verifiercalls total / meanturns meantime mean
Loading L2 dose…

L3 harness compliance

conditionactual epochsturns meantool calls meangate feedbackagent-visible MCP tools
Loading L3 compliance…
B

SECONDARY EVIDENCE

Stability ×3 · 三次独立运行

这是较早的重复采样实验，只用于观察 L2 Base / L3 Full 的自然波动，不作为 verifier 消融的 matched control。
打开 Stability Viewer →

历史波动摘要

archived 70 cells · L2 Base/L3 Full r1–r3
L3 在 9/10 个 case 取得最佳单次 Gate

唯一例外是 case-h5，最佳为 L2 r1 的 3.00。按 level 聚合，L3 2.934，高于 L1 2.254 与 L2 2.248。

相对更好，不等于已经达标

全矩阵只有 L3 r1 / case-h8 达到 4 分；30 个 L3 均跑满 6 epochs，native gate 仍为 0/30 accepted。

收益主要来自语义视觉，replicate 仍有波动

L3 semantic visual 均值 4.439；case-h9 最稳定，case-h8 为 4.27 / 2.62 / 2.62。L3 平均 86–118m/cell，远高于 L2 的 3–4m。

Absolute-position 风险下降但未消失

可见 absolute/fixed text 命中 L1 8/10、L2 27/30、L3 12/30。Large-media flag 为 4/10、8/30、12/30，仍需结合 Viewer 判断是否属于取巧。

Stability Run · Compute → Quality

180 epochs · configured vs effective budget · descriptive, not causal

Loading resource-to-quality trajectory…

levelconfigured capacityeffective constraintactual consumptionmean time
Loading capacity audit…
Mean Gate by epochsame Gate Score v2 contract
Turns vs final Gate30 L3 cells · descriptive

Processed input = uncached input + cache creation + cache read；它不是“全新 token”或统一价格的 billed token。87 个 timeout epoch 的 output/cost 只保留下界或 unavailable，不伪装成完整总量。

Stability Run · 7 replicate groups

先看 Gate mean · 粗体 = 该指标列最佳
?
这张表应该先看哪一列？

Gate mean ± σ 是主比较指标。mean 是同一 scheme 在 10 个 case 上的 Gate 算术平均；σ 是这 10 个 Gate 的总体标准差，越小表示跨 case 波动越小。

semantic / geometry / structure / canvas 是组成 Gate 的四个 0–5 子分，这里同样展示 10 个 case 的均值。它们不是另外三套总分。

≥ 4 是 10 个 case 中 Gate 达到严格通过线的数量。Abs / Large 是审计命中的 cell 数，越低越好；time 是单 cell 平均墙钟时间。

主读数是 Gate mean ± σ。 每行固定一个 level/replicate，在 10 个 case 上取平均；L2/L3 的三次 replicate 分开呈现，不提前合并。

schemeGate 总分
10-case mean ± σ		Gate ≥ 4
通过数 / 10		semantic
30% · mean		geometry
40% · mean		structure
20% · mean		canvas
10% · mean		Abs
命中数 / 10		Large
命中数 / 10		time
mean / cell
Loading seven schemes…

Stability Run · 10 cases × 7 replicate groups

每格 = 单个 cell 的 Gate 总分
?
这里的每个分数是什么？

每格是该 case × scheme × replicate 这个具体 cell 的 Gate 总分（0–5），不是 semantic、geometry 或 holistic 单项分。

例如 case-h1 × L3 r2 = 2.50，表示这一条结果的四个 Gate 子分按 10% / 40% / 30% / 20% 加权后得到 2.50。

绿色底和粗体只表示这一行七个 cell 中相对最高；红色边框表示 Gate 仍低于绝对通过线 4.0。点击分数可进入 Viewer 查看子分和证据。

这里不做平均。 每一格都是一个具体结果的 Gate 总分（0–5）；横向比较同一 case 的七个方案。绿色最佳与红色未过 4 分可以同时出现。

caseL1 r1L2 r1L2 r2L2 r3L3 r1L3 r2L3 r3
Loading 10 × 7 matrix…

逐 case 明细

按需展开 · 每列最佳值加粗 · 70 个 Viewer 深链

默认折叠以保持页面清楚。展开后可比较 Gate、semantic、geometry、structure、anti-hack counts、holistic、epochs 与耗时。

Loading per-case details…

完整 Markdown 70-cell long CSV Evaluator audit

分数如何计算

一个 Gate 总分 · 四个加权子分 · 一个独立参考分
Gate = 10% × Canvas + 40% × Geometry + 30% × Semantic + 20% × Structure 所有输入均为 0–5 分，因此 Gate 也是 0–5 分；Gate ≥ 4 记为严格通过。
Canvas · 基础有效性10%render 是否存在，以及画布尺寸是否与 source 一致。通过条目数 ÷ 可评条目数 × 5。
Geometry · 文本几何40%共享 source grounding 与候选页面真实 DOM bbox 对齐；检查文本存在、left/top，并在可靠绑定下检查 width/height。
Semantic · 语义视觉30%每个 case 仅由 source 生成一次语义问题与目标答案，七个方案共享；候选 render 逐题作答，按通过率换算 0–5。
Structure · 结构与 anti-hack20%8 个等权的确定性 HTML/DOM/CSS 条目。Structure = 5 × passed / 8；它检查实现方式是否可接受，不判断视觉内容是否相似。
Structure 的 8 个检查项与扣分方式每项等权 · 浏览器 computed DOM 优先 · 点击查看阈值 Structure 0–5
Structure 子分5 × passed / 8
每项价值0.625 Structure
折算到最终 Gate0.125 / item

例子：8/8 = 5.00，7/8 = 4.38，6/8 = 3.75，5/8 = 3.12，4/8 = 2.50。最后一列表示该项失败时记录的证据；不是额外再扣一次分。

#检查项通过条件主要证据
1有效 HTMLanswer.html 存在且非空。文件存在性与正文长度
2Live DOM text浏览器实际可见文本至少有 3 个 token，避免只交图片或空壳。visible_text_token_count ≥ 3
3可见文本不绝对定位没有承载可见文本且 computed position 为 absolute/fixed 的元素。visible_absolute_text_count = 0
4absolute/fixed 不占主导HTML/CSS 中 position:absolute/fixed 声明总数不超过 3。absolute_or_fixed_declarations ≤ 3
5固定像素坐标不占主导left/top/right/bottom: Npx 声明总数不超过 12。fixed_coordinate_declarations ≤ 12
6无隐藏文本没有 display:none、visibility:hidden、opacity ≤ 0.03、近零尺寸或完全移出页面的文本元素。hidden_text_count = 0
7无大图/截图背景 hack没有可见的 img、canvas 或 background-image 覆盖页面面积的 45% 及以上。large_media = []
8inline style 不极端带 style="…" 的 HTML 元素不超过 80 个。inline_style_attributes ≤ 80

证据优先级：第 2、3、6、7 项优先使用 Playwright 渲染后的 computed DOM；只有 browser audit 不可用时才退回静态 HTML 正则检查。第 4、5、8 项直接审计 HTML/CSS 源码。

可能叠加失败：大量 absolute-position 文本可能同时触发第 3 项、第 4 项和第 5 项。这是有意的分层惩罚：分别表示“文本本身被固定”“absolute 使用占主导”和“像素坐标钉死占主导”。

它不检查什么：Structure 不判断颜色、图标、排版是否像 source，也不判断文本语义是否正确；这些分别由 Semantic、Geometry 和其他视觉证据负责。

子分如何从条目变成 0–5：subscore = 5 × passed / evaluable。某项所需的 grounding、DOM measurement 或 semantic evidence 整体不可用时标为 unavailable，不会自动记 5 分；Gate 会标记为 partial 并只在可用项之间归一化权重，因此必须结合缺失标记解读。当前正式 70-cell 比较使用共享证据和相同口径。

Holistic 不属于上面四部分。 它是旧评估延续下来的 visual-only 0–5 参考分，只用于辅助观察整体观感，不检查 absolute-position 等结构 hack，也不参与 Gate。Abs、Hidden、Large 则是 structure audit 的原始命中计数，不是额外加权分。

七方案表与 case 表的关系：case 表展示 70 个 cell 的原始 Gate；七方案表把每个方案对应的 10 个 cell 分别求均值与总体标准差。没有先把 L2/L3 的三个 replicate 合并。

Canvas 逐 cell 尺寸审计点击查看 10 cases × 7 schemesLoading…

match 表示 source 与 render 的宽高完全一致；不一致项直接显示 source → render 像素尺寸。这里检查的是输出画布，不代表页面内容已经相似。

caseL1 r1L2 r1L2 r2L2 r3L3 r1L3 r2L3 r3
Loading Canvas evidence…

Verification Loop V3 · primary real-v3-extra-hard10-verifier-ablation-60-20260712-01 · secondary Stability real-v3-extra-hard10-gate-score-70-20260709-03 · Gate Score v2.