Aturan numerik yang tepat
Gunakan kontrak akumulasi bilangan bulat yang dinyatakan dengan pemeriksaan referensi.
Hyphae BitNet Inferensi CPU ternary yang eksak
Gunakan memori CPU dan aritmatika dengan sengaja.
Hyphae BitNet adalah runtime CPU untuk model ternary yang didukung. Eksekusinya saat ini adalah hyphae-bitnet, dengan celiums-bitnet dan nama ABI historis dipertahankan untuk kompatibilitas.
Jadikan inferensi model yang didukung dapat diperiksa melalui kontrak numerik, model, memori, dan perangkat keras yang eksplisit.
01 / Mengapa itu penting
Mengapa pekerjaan ini penting
Memori kerja yang terbatas
Tolak alokasi model atau sesi yang melebihi anggaran memori yang dikonfigurasi.
Gerbang model yang didukung
Akui kelompok dan format model yang eksplisit alih-alih menyiratkan dukungan model yang sewenang-wenang.
Perilaku yang terukur
Laporkan pra-pengisian dan dekode secara terpisah, dengan identitas model, CPU, dan beban kerja.
02 / Bagaimana cara kerjanya
Bagaimana cara kerjanya
Tahapan utama membuat batas-batas proyek terlihat.
- 01
Validasi modelnya
Periksa keluarga yang didukung, format, dan identitas model yang dipasangi operator
- 02
Memori anggaran
Akui tata letak komputasi yang dipilih dalam batas set kerja
- 03
Jalankan kernel CPU
Jalur ARM dan x86 Q1 saat ini menggunakan panel yang dikemas; pra-isi dan dekode berbeda
- 04
Paparkan hasilnya
CLI, C ABI eksperimental, subset HTTP, dan catatan benchmark
03 / Kemampuan
Kemampuan saat ini
Keluarga teladan
Jalur teks I2_S BitNet dan Q1_0 Bonsai CPU yang didukung, dengan pilihan kelompok yang eksplisit.
Antarmuka waktu proses
Pembuatan, penyajian HTTP asli, tolok ukur, validasi, dan C ABI eksperimental.
jalur CPU
Arsip Linux x86-64 dan mengukur pekerjaan ARM64 Q1; NEON DOTPROD tetap menjadi default Graviton4 yang diukur.
Gerbang opsional
Proses terpisah menghubungkan pengambilan Hyphae, memori, dan penerimaan ke runtime.
04 / Bukti
Bukti dan ruang lingkupnya
Rilis v0.3.3 menerbitkan versi sumber/runtime 0.3.2 dan mencatat validasi Graviton4 dan pengukuran A/B.
versi waktu proses
Didistribusikan di bawah tag v0.3.3
sasaran produk saat ini
kernel yang dikemas secara eksperimental
Percepatan expand-to-int8 sebelumnya menjelaskan kode ARM historis. Jalur ARM saat ini menggunakan panel Q1 yang dikemas; hasilnya bervariasi menurut fase, model, tata letak, dan jumlah thread.
Kemampuan saat ini
- Menjalankan model teks BitNet I2_S dan Bonsai Q1_0 CPU yang didukung.
- Menyediakan perintah jalankan, sajikan, bench, validasi, dan versi.
- Mempertahankan v0.3.0 C ABI yang dipublikasikan dan menambahkan API ekstensi berukuran untuk opsi baru.
Petunjuk selanjutnya
- Ukur perubahan kernel CPU lebih lanjut terhadap referensi yang dipasangi pin.
- Tingkatkan penjadwalan dan minta kepemilikan sebelum klaim penayangan lebih luas.
- Jaga agar akselerator eksperimental tetap berfungsi di balik batasan validasi yang eksplisit.
Batasan yang perlu diperhatikan
- Versi sumbernya adalah 0.3.2 meskipun tag rilis publiknya adalah v0.3.3.
- SVE2 bersifat eksperimental; tata letak ARM yang diperluas secara historis bukan default saat ini.
- Biner yang dikompilasi berdasarkan tata letak opsi v0.3.1 rusak yang belum dirilis harus dibuat ulang.
- Tidak ada inferensi GPU yang didukung, pemuatan model sewenang-wenang, pengelompokan berkelanjutan, atau kompatibilitas API HTTP lengkap.
- Hak mesin dan model pihak ketiga tetap menjadi milik pemiliknya masing-masing.
Hyphae BitNet