Perbandingan yang adil
Strategi berbagi perhatian, MLP, tokenizer, data, jalur pelatihan, dan anggaran penyetelan yang diumumkan.
Sistem perangkat lunak 02 / Penelitian
Eksperimen transformator yang menyatukan hipotesis, anggaran, kegagalan, dan hasil.
Hyphae Transformer adalah kerangka kerja PyTorch dari awal untuk penelitian terkontrol tentang strategi sisa dalam transformator khusus dekoder.
Ubah penelitian arsitektur menjadi proses yang dapat diputar ulang, bukan hanya berupa folder skrip dan proses yang dilaporkan secara selektif.
01 / Benefits
Mengapa framework ini penting
Kontrol yang diinisialisasi identitas
Strategi ReZero yang dinormalisasi secara kanonik, split, dan RMS memperlihatkan gerbang dan lintasan sisa yang eksplisit.
Objek penelitian yang diketik
Hipotesis, tahapan, anggaran, manifes, bukti, dan laporan disusun secara terstruktur dan bukan tersirat dalam nama file.
Dapat dilanjutkan dan idempoten
Pos pemeriksaan atom dan riwayat tambahan saja memulihkan pengoptimal, sumber data, dan status RNG; manifes yang sudah selesai tidak dijalankan kembali.
Hasil negatif bertahan
Benih yang gagal, interval yang tidak meyakinkan, upaya yang tidak valid, dan keputusan berhenti tetap menjadi bukti kelas satu.
Awan dengan tali
Promosi cloud memerlukan invarian lokal, anggaran biaya/seumur hidup yang eksplisit, pengambilan artefak, dan pembersihan.
02 / Architecture
Siklus hidup eksperimen
Hasil hanya akan muncul melalui gerbang yang tertata. Kurva interim tidak mengizinkan penghentian opsional.
- 01
Praregistrasi
Pertanyaan, strategi, baseline, benih, identitas data, ambang batas efek, anggaran, dan aturan penghentian
- 02
Validasi statis
Skema, identitas sumber dan korpus, geometri model, keadaan terbatas, dan pemeriksaan kontrak
- 03
Pilot mini
Hanya dijalankan dengan benar sebelum menghabiskan seluruh anggaran token atau perangkat keras
- 04
Pilot/lokal penuh
Pengamatan berpasangan, kisi validasi tetap, pos pemeriksaan, lintasan gerbang, kegagalan, dan interval kepercayaan
- 05
Cloud yang dipromosikan berbunyi
Manifes yang tepat, pelari yang diizinkan, batas waktu/biaya yang sulit, pengambilan artefak, dan pemusnahan sumber daya
- 06
Laporan yang tidak dapat diubah
Agregat JSON/HTML, bukti per benih, putusan, non-klaim, cacat protokol, dan keputusan berikutnya
03 / Surface
Isi laboratorium
Inti
Gerbang ReZero, model khusus dekoder, cache KV kueri yang dikelompokkan, RMSNorm, SwiGLU, RoPE, pengoptimal, dan diagnostik sinyal.
Laboratorium
Skema yang diketik, pelari kampanye, registri, memori, anggaran, pencarian, evaluator, serialisasi, dan laporan.
Pelatihan yang diatur
Kontrol tulang punggung yang beku mengarah pada jawaban, permintaan-bukti, dan keputusan abstain dengan batasan penunjuk bukti yang ketat.
Data dan eksekusi
WikiText-2 yang dipasangi checksum, rentang enwiki8 kanonik, jalur portabel, kontainer, dan pelari manifes yang diizinkan.
04 / Evidence
Makna bukti saat ini
Hasil yang dipromosikan paling kuat bersifat sempit: satu strategi sisa dalam kampanye 30 juta yang spesifik, bukan keunggulan transformator universal.
peningkatan NLL akhir berpasangan
95% CI [+1.59%, +3.06%]
pengurangan token menjadi 1,8 NLL
delapan biji berpasangan
ambang batas sebelumnya pada lapisan 24/48
metrik sekunder
cloud cap overrun dipertahankan
cacat protokol tetap terlihat
Kampanye 30 juta unggulan yang terdiri dari delapan orang telah berhasil mencapai ambang batas praktis yang telah didaftarkan sebelumnya. Putusan awal yang mendalam masih belum meyakinkan, dan pembengkakan anggaran cloud justru dilaporkan dan bukannya dihapuskan.
Kemampuan saat ini
- Membandingkan lima strategi sisa dalam satu saluran khusus dekoder yang terkontrol.
- Menjalankan kampanye lokal dan cloud bertahap dari manifes yang ketat.
- Menangkap pos pemeriksaan, riwayat, metrik, kegagalan, interval kepercayaan, anggaran, dan laporan.
- Mendukung generasi autoregresif dan potongan pelatihan kendali tulang punggung beku yang diatur.
Arah pengembangan
- Uji apakah efek yang diamati bertahan di seluruh parameter, panjang urutan, korpus, dan anak tangga arsitektur yang lebih besar.
- Tingkatkan cloud runner dan otomatisasi artefak sebelum meningkatkan biaya.
- Perluas evaluasi tulang punggung beku yang dianotasi secara independen sebelum klaim kualitas produksi apa pun.
- Jaga agar memori penelitian dan alur kerja publikasi diatur oleh kebijakan sumber dan kecukupan yang eksplisit.
Apa yang tidak ditetapkannya
- Bukan layanan model produksi atau klaim universal untuk ReZero.
- Tulang punggung perlengkapan membuktikan kontrak pelatihan dan tata kelola, bukan kualitas produksi Gemma.
- Tidak ada anggaran penghentian opsional atau penyetelan yang tidak sama pada set pengujian yang diperbolehkan.
- Nama paket historis dan pengidentifikasi manifes tetap ada demi kompatibilitas dan tidak ditulis ulang.
Hyphae Transformer