公平比较
策略共享注意力、MLP、分词器、数据、训练管道和声明的调整预算。
01 / Benefits
框架的意义
身份初始化控制
规范、分裂和 RMS 标准化 ReZero 策略暴露了明确的残差门和轨迹。
类型化研究对象
假设、阶段、预算、清单、证据和报告是结构化的，而不是由文件名暗示的。
可恢复且幂等
原子检查点和仅附加历史记录可恢复优化器、数据源和 RNG 状态；已完成的清单不会重新运行。
阴性结果仍然存在
失败的种子、不确定的间隔、无效的尝试和停止决定仍然是一流的证据。
云与皮带
云推广需要本地不变量、明确的成本/生命周期预算、工件检索和清理。
02 / Architecture
实验生命周期
结果只能通过有序的门前进。临时曲线不允许选择性停止。
- 01
预登记
问题、策略、基线、种子、数据身份、效果阈值、预算和停止规则
- 02
静态验证
模式、源和语料库身份、模型几何、有限状态和契约检查
- 03
迷你飞行员
在花费全部令牌或硬件预算之前只运行正确性
- 04
试点/全本地
配对观察、固定验证网格、检查点、门轨迹、故障和置信区间
- 05
晋升云梯级
准确的清单、列入白名单的运行程序、困难时间/成本上限、工件检索和资源销毁
- 06
不可变的报告
聚合 JSON/HTML、每个种子的证据、判决、非声明、协议缺陷和下一个决策
03 / Surface
实验室包含什么
核
ReZero 门、仅解码器模型、分组查询 KV 缓存、RMSNorm、SwiGLU、RoPE、优化器和信号诊断。
实验室
类型化模式、活动运行器、注册表、内存、预算、搜索、评估器、序列化和报告。
受控培训
冻结主干控制头用于回答、请求证据和放弃决定，并具有严格的证据指针界限。
数据与执行
校验和固定的 WikiText-2、规范 enwiki8 范围、可移植路径、容器和列入许可清单的运行程序。
04 / Evidence
当前证据说明什么
最强的推广结果是狭窄的：特定30M战役下的一种剩余策略，而不是通用变压器的优势。
配对最终 NLL 改进
95% CI [+1.59%, +3.06%]
代币减少至 1.8 NLL
八对种子
早期阈值位于 24/48 层
次要指标
保留云帽超限
协议缺陷仍然可见
八号种子 3000 万竞选活动突破了预先注册的实际门槛。早期的深度初步裁决仍然没有结论，云预算超支只是被报告而不是被消除。
当前能力
- 比较一个受控的仅解码器管道下的五种残差策略。
- 根据严格的清单运行分阶段的本地和云活动。
- 捕获检查点、历史记录、指标、故障、置信区间、预算和报告。
- 支持自回归生成和受控的冻结骨干控制训练切片。
发展方向
- 测试观察到的效果是否在更大的参数、序列长度、语料库和架构梯级中持续存在。
- 在扩展成本之前改进云运行程序和工件自动化。
- 在任何生产质量声明之前扩展独立注释的冷冻骨架评估。
- 让研究记忆和出版工作流程受明确的来源和充足性政策的约束。
尚不能证明什么
- 不是 ReZero 的生产模型服务或通用声明。
- 固定装置骨干证明了培训和治理合同，而不是生产 Gemma 质量。
- 不允许测试集可选停止或不等的调整预算。
- 历史包名称和清单标识符保留是为了兼容性，并且不会被重写。