比較可能な実験
戦略全体でモデルの成分、データ ID、予算、評価ルールを共有します。
Hyphae Transformer 制御変圧器の研究
質問、実験、結果をまとめて保存します。
Hyphae Transformer は、制御された残差戦略実験のための PyTorch 研究フレームワークです。後の研究では、フリーズしたモデル上の小型コントローラーと、明示的な証拠契約を使用した制限されたナビゲーションを研究します。
固定プロトコル、保持されたアーティファクト、目に見える障害を通じて、アーキテクチャと制御実験を評価可能にします。
01 / なぜそれが重要なのか
なぜこの仕事が重要なのか
明示的な研究対象
仮説、シード、マニフェスト、チェックポイント、判定をまとめて保管します。
フリーズモデル制御
バックボーンのアイデンティティとホスト所有のポリシー境界を維持しながら、小規模なコントローラーをトレーニングします。
目に見える不確実性
決定的でない主な結果と失敗した外部評価は、成功した実行の横に保管してください。
02 / 仕組み
仕組み
主要な段階では、プロジェクトの境界が明確になります。
- 01
定義する
仮説、データ、シード、効果のしきい値、予算を修正する
- 02
検証する
契約を確認し、小規模な正確性試験を実施する
- 03
評価する
宣言されたトレーニングと保持された比較を実行する
- 04
保持する
結果、アーティファクトのアイデンティティ、制限、および次の決定を公開する
03 / 能力
現在の機能
残された研究
共有ゲート ReZero を含む、デコーダのみの残差戦略の制御された比較。
実験管理
入力されたマニフェスト、再開可能なチェックポイント、証拠記録、予算、レポート。
境界付きコントローラー
凍結されたバックボーンでは、回答、証拠の要求、および棄権の決定に関する実験が行われます。
ナビゲーションバンドル
調整された 2 ステップ ナビゲーション v2 を含む、決定論的に公開されたコントローラー アーティファクト。
04 / 証拠
証拠とその範囲
過去の 30M の結果とその後の制御/ナビゲーション作業は、別個の境界のある証拠です。
ペア最終 NLL の改善
30M キャンペーン、ペア シード 8 個
95%間隔
その比較に特有の
調整済みナビゲーション バンドル
フレームワークはアルファ版のまま 0.2.0
30M 実験は、事前に登録された実用的なしきい値をクリアしました。ナビゲーション結果は、バックボーンが凍結された状態で、指定されたフィクスチャと証明書に適用されます。どちらも一般的なモデルの品質を確立しません。
現在できること
- 固定されたソース、データ、予算を使用して、制御されたアーキテクチャのキャンペーンを実行します。
- 成功した、決定的ではない、および失敗した実験結果を保持します。
- フリーズされたモデル フィーチャ上に境界付きコントロールおよびナビゲーション アーティファクトを公開します。
次の道順
- さらなるモデル サイズ、コーパス、アーキテクチャにわたって観察された効果をテストします。
- 製造クレームの前に、独立して注釈が付けられた外部評価を展開します。
- 別途指定され測定されたプロトコルを通じてのみナビゲーションを進めます。
視野に入れておくべき制限
- アルファ版の研究フレームワークであり、実稼働モデルのサービスではありません。
- ナビゲーション バンドルの v2.0.0 識別子は、フレームワークのバージョンを 2.0.0 に変更しません。
- フィクスチャとホールドアウトの結果は、無制限の自律エージェントを確立しません。
- 以前の深さの結果、外部シャドウの障害、および予算の欠陥は記録の一部として残ります。