在 V0.1 可运行基线之上重新定义 verification treatment、证据生命周期、controller、evaluator 与 RL trajectory,不默认继承旧 H/P 和 hard-gate 机制。
20260713-veriharness-v0-2
Multimodal Verification for Agentic Coding Loop
一篇 position / vision paper:论证 agentic coding loop 需要一个显式的 multimodal verification 环节,用来检查代码产物在渲染、截图、布局、空间关系和用户意图层面是否真的正确。Image-to-code 是最自然的实验载体与代表性实例,而非全部 scope。
这是什么
很多 coding-agent 任务的成功标准并不只存在于代码文本、编译结果或单元测试里,而是存在于最终可见的多模态产物里:页面是否和目标截图一致、UI 组件是否在正确位置、chart 是否表达了正确的数据关系、文字是否被遮挡或截断、prompt 里的视觉要求是否真的出现在渲染结果里。本项目把 multimodal verification 抬升为 agentic coding loop 中独立且必要的环节,并用最小实验观察它是否值得继续研究。
本看板按左侧目录分页组织。下面是各板块的入口——内容都直接放在各自页面里,便于阅读。
目录 / 快速进入
总览
core claim、显式 verification loop、verifier 设计原则、4 种实现选项。
核心验证 V1 →记录 V1 verification ladder、round/intermediate verification、L* 条件管理和版本化实验预设。
验证场景族 →7 个 task families(P0–P2)与首版 P0 package、case-card 设计。
内部迭代
新建独立 Claude Agent SDK harness,用 H0P0/H0P1/H1P0/H1P1 分离 harness hard gate 与 verification policy prompt,并为后续 RL 保存结构化 trajectory。
20260712-veriharness-v0-1
V3 以 Verifier Ablation 为主实验:L2 Base/Scoped/Detail verifier 与 L3 Full/Hidden Gate/No Self-Check matched controls;旧 70-cell 三次采样作为 Stabi…
20260709-vdiff-image2code-v3-gate-score-evaluation
V2/L3-v1 hidden gate 仍运行并记录 Gate,且可早停;只是不把 gate fail detail 传给下一轮主 agent。另含 V2/L3 native 与 V2/L3-v2 no diff-align 对比。
20260701-vdiff-image2code-v2-harness-comparison
用 hard5 PDF image-to-HTML 任务比较 L0/L1/L2/L3/L8/L9,并同时提供 offline visual 与 VDiff rubric 两版最终评估。
20260627-pdf-image-to-html-core-verification-loop-v1
外部项目
把 VDiff image2html harness 证据规范化为只读的多工作区轨迹管理器,统一 Gallery、Run 档案、同 case 跨 run 比较、selected epoch 与 raw-event replay。
20260704-vdiff-vharness-visual-trajectory-viewer
独立复现 mentor 在困难 PDF-to-HTML 例子上搭建的复杂 workflow,并记录流程设计、数据、历史结果与案例。
20260617-vdiff-pdf-to-html-data-generation-loop