PREVIEW / INCOMPLETE

VeriHarness V0.4

v0.3.1 X 系列使用 claude-opus-4-8 与 TRAPI gpt-5.6-sol_2026-07-09、high effort 的阶段性复跑证据。

不可作为正式双模型结论。 GPT 缺失并非随机抽样：本页只对 66 个有效 cell 给出逐 cell 评分与描述性均值，不计算 GPT 条件效应、bootstrap CI 或 Claude↔GPT 优劣。正式结果将覆盖相同 URL。

冻结状态

snapshot sha256:f5d62628c414…

150 / 150Claude 完整、已评分

66 / 150GPT 严格有效、已评分

25GPT 原始重试耗尽

59GPT 尚未执行

8-case 条件描述

Claude 完整；GPT 仅可用 cell 描述

条件	Claude Opus 4-8（完整）				GPT-5.6-sol（阶段预览）
条件	覆盖	Macro	Pass@4	平均时间	覆盖	描述均值	Pass@4	平均时间
C0V0无验证	24/24	4.284	21/24	6m 09s	15/24	4.344	15/15	38m 47s
X1V0X1 本质版	24/24	4.476	23/24	18m 40s	6/24	4.272	4/6	46m 59s
X2V0X2 确定性自测	24/24	4.481	24/24	19m 01s	11/24	4.525	11/11	47m 33s
X3X3 累积验证项	24/24	4.515	24/24	20m 36s	8/24	4.530	7/8	44m 53s
X4X4 领域中性	24/24	4.431	24/24	20m 41s	11/24	4.498	11/11	41m 04s

Claude 正式 8-case 配对效应（vs C0V0）

条件	平均 Δ	case-bootstrap 95% CI	Win / Tie / Loss	估计量
X1V0X1 本质版	0.192	[0.080, 0.312]	7 / 0 / 1	8 cases × paired 3-replicate means
X2V0X2 确定性自测	0.198	[0.061, 0.336]	6 / 0 / 2	8 cases × paired 3-replicate means
X3X3 累积验证项	0.231	[0.093, 0.378]	7 / 0 / 1	8 cases × paired 3-replicate means
X4X4 领域中性	0.148	[0.027, 0.286]	6 / 1 / 1	8 cases × paired 3-replicate means

本表仅属于完整 Claude 矩阵；GPT Preview 不计算效应或置信区间。

逐 case 覆盖

case14/15 保留轨迹，但排除主统计

case	Claude	GPT Preview	GPT 缺失 cell	Viewer
case1	15/15	7/15	C0V0/r3, X1V0/r1, X1V0/r3, X2V0/r1, X2V0/r2, X3/r2, X3/r3, X4/r1	Claude 快览
case5	15/15	3/15	C0V0/r1, X1V0/r1, X1V0/r2, X1V0/r3, X2V0/r1, X2V0/r2, X2V0/r3, X3/r1, X3/r2, X3/r3, X4/r2, X4/r3	Claude 快览
case6	15/15	9/15	C0V0/r1, C0V0/r2, X1V0/r2, X2V0/r2, X3/r3, X4/r3	Claude 快览
case7	15/15	11/15	X1V0/r1, X1V0/r2, X1V0/r3, X4/r2	Claude 快览
case8	15/15	4/15	C0V0/r2, C0V0/r3, X1V0/r1, X1V0/r2, X1V0/r3, X2V0/r3, X3/r1, X3/r2, X3/r3, X4/r1, X4/r3	Claude 快览
case9	15/15	7/15	C0V0/r2, X1V0/r1, X2V0/r2, X2V0/r3, X3/r1, X3/r3, X4/r1, X4/r3	Claude 快览
case10	15/15	6/15	C0V0/r3, X1V0/r1, X1V0/r3, X2V0/r1, X2V0/r3, X3/r2, X3/r3, X4/r2, X4/r3	Claude 快览
case12	15/15	4/15	C0V0/r1, X1V0/r1, X1V0/r2, X1V0/r3, X2V0/r1, X2V0/r2, X3/r1, X3/r2, X3/r3, X4/r1, X4/r3	Claude 快览
case14主统计排除	15/15	10/15	C0V0/r1, C0V0/r3, X2V0/r2, X2V0/r3, X4/r2	Claude 快览
case15主统计排除	15/15	5/15	C0V0/r1, X1V0/r1, X1V0/r2, X1V0/r3, X2V0/r2, X3/r1, X3/r3, X4/r1, X4/r2, X4/r3	Claude 快览

case1Claude 15/15 · GPT 7/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r2	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X3	r1	Run Replay	Run Replay	双模型 Compare	scored
X3	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r2	Run Replay	Run Replay	双模型 Compare	scored
X4	r3	Run Replay	Run Replay	双模型 Compare	scored

case5Claude 15/15 · GPT 3/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r2	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	Run Replay	双模型 Compare	scored
X4	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r3	Run Replay	未发布：无有效 canonical	不可比较	missing

case6Claude 15/15 · GPT 9/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X3	r1	Run Replay	Run Replay	双模型 Compare	scored
X3	r2	Run Replay	Run Replay	双模型 Compare	scored
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	Run Replay	双模型 Compare	scored
X4	r2	Run Replay	Run Replay	双模型 Compare	scored
X4	r3	Run Replay	未发布：无有效 canonical	不可比较	missing

case7Claude 15/15 · GPT 11/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r2	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r2	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X3	r1	Run Replay	Run Replay	双模型 Compare	scored
X3	r2	Run Replay	Run Replay	双模型 Compare	scored
X3	r3	Run Replay	Run Replay	双模型 Compare	scored
X4	r1	Run Replay	Run Replay	双模型 Compare	scored
X4	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r3	Run Replay	Run Replay	双模型 Compare	scored

case8Claude 15/15 · GPT 4/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r2	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r2	Run Replay	Run Replay	双模型 Compare	scored
X4	r3	Run Replay	未发布：无有效 canonical	不可比较	missing

case9Claude 15/15 · GPT 7/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r2	Run Replay	Run Replay	双模型 Compare	scored
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r2	Run Replay	Run Replay	双模型 Compare	scored
X4	r3	Run Replay	未发布：无有效 canonical	不可比较	missing

case10Claude 15/15 · GPT 6/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r2	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r2	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r1	Run Replay	Run Replay	双模型 Compare	scored
X3	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	Run Replay	双模型 Compare	scored
X4	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r3	Run Replay	未发布：无有效 canonical	不可比较	missing

case12Claude 15/15 · GPT 4/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r2	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X3	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r2	Run Replay	Run Replay	双模型 Compare	scored
X4	r3	Run Replay	未发布：无有效 canonical	不可比较	missing

case14 · 主统计排除Claude 15/15 · GPT 10/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r2	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r2	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r1	Run Replay	Run Replay	双模型 Compare	scored
X3	r2	Run Replay	Run Replay	双模型 Compare	scored
X3	r3	Run Replay	Run Replay	双模型 Compare	scored
X4	r1	Run Replay	Run Replay	双模型 Compare	scored
X4	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r3	Run Replay	Run Replay	双模型 Compare	scored

case15 · 主统计排除Claude 15/15 · GPT 5/15

条件	replicate	Claude	GPT Preview	同 cell	状态
C0V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
C0V0	r2	Run Replay	Run Replay	双模型 Compare	scored
C0V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X1V0	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X1V0	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r1	Run Replay	Run Replay	双模型 Compare	scored
X2V0	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X2V0	r3	Run Replay	Run Replay	双模型 Compare	scored
X3	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X3	r2	Run Replay	Run Replay	双模型 Compare	scored
X3	r3	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r1	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r2	Run Replay	未发布：无有效 canonical	不可比较	missing
X4	r3	Run Replay	未发布：无有效 canonical	不可比较	missing

口径与公开边界

主模型

Claude 精确 ID：claude-opus-4-8；GPT 路由：gpt-5.6-sol_2026-07-09 / TRAPI gcr/shared；均为 high effort。

离线评分

冻结 VDiff Gold + discovery rubric，Gemini 3.1 Pro Preview，post-agent only；GPT preview 评分并发 15。

未公开

完整 transcript、代理日志、认证信息、private MCP config、环境变量和工作目录均不进入部署包。

稳定入口

详情页和 Viewer experiment ID 后续保持不变；完整复跑完成后直接替换 preview 状态。