Kesin sayısal kurallar
Referans kontrolleriyle beyan edilen tamsayı birikim sözleşmelerini kullanın.
Hyphae BitNet Kesin üçlü CPU çıkarımı
CPU hafızasını ve aritmetiğini bilinçli kullanın.
Hyphae BitNet, desteklenen üçlü modeller için bir CPU çalışma zamanıdır. Geçerli yürütülebilir dosyası hyphae-bitnet'dir; celiums-bitnet ve geçmiş ABI adları uyumluluk için korunur.
Desteklenen model çıkarımını açık sayısal, model, bellek ve donanım sözleşmeleri aracılığıyla denetlenebilir hale getirin.
01 / Neden önemli?
Bu çalışma neden önemlidir?
Sınırlı çalışma belleği
Yapılandırılmış bellek bütçesini aşan model veya oturum ayırmalarını reddedin.
Desteklenen model kapılar
Rastgele model desteği ima etmek yerine açık model ailelerini ve formatlarını kabul edin.
Ölçülebilir davranış
Model, CPU ve iş yükü kimlikleriyle önceden doldurma ve kod çözme işlemlerini ayrı ayrı raporlayın.
02 / Nasıl çalışır?
Nasıl çalışır?
Ana aşamalar projenin sınırlarını görünür kılar.
- 01
Modeli doğrulama
Desteklenen aileyi, formatı ve operatör tarafından sabitlenen model kimliğini kontrol edin
- 02
Bütçe belleği
Seçilen işlem düzenini çalışma kümesi sınırı dahilinde kabul edin
- 03
CPU çekirdeklerini çalıştırın
Mevcut ARM ve x86 Q1 yolları paketlenmiş panelleri kullanır; önceden doldurma ve kod çözme farklıdır
- 04
Sonuçları ortaya çıkarın
CLI, deneysel C ABI, HTTP alt kümesi ve karşılaştırma kayıtları
03 / Yetenekler
Mevcut yetenekler
Model aileleri
Açık aile seçimiyle desteklenen I2_S BitNet ve Q1_0 Bonsai CPU metin yolları.
Çalışma zamanı arayüzleri
Oluşturma, yerel HTTP sunumu, kıyaslamalar, doğrulama ve deneysel bir C ABI.
CPU yolları
Linux x86-64 arşivleri ve ölçülen ARM64 Q1 çalışması; NEON DOTPROD, ölçülen Graviton4 varsayılan değeri olarak kalır.
İsteğe bağlı ağ geçidi
Ayrı bir işlem, Hyphae alımını, belleği ve alındıları çalışma zamanına bağlar.
04 / Kanıt
Kanıt ve kapsamı
v0.3.3 sürümü, 0.3.2 kaynak/çalışma zamanı sürümünü yayınlar ve Graviton4 doğrulamasını ve A/B ölçümlerini kaydeder.
çalışma zamanı sürümü
v0.3.3 etiketi altında dağıtılmaktadır
mevcut ürün hedefi
deneysel paketlenmiş çekirdek
Daha önceki int8'e genişletme hızlandırmaları, tarihsel ARM kodunu açıklıyordu. Mevcut ARM yolu, paketlenmiş Q1 panellerini kullanır; sonuçlar aşamaya, modele, düzene ve iplik sayısına göre değişir.
Bugün ne yapıyor
- Desteklenen BitNet I2_S ve Bonsai Q1_0 CPU metin modellerini çalıştırır.
- Çalıştırma, sunma, karşılaştırma, doğrulama ve sürüm komutlarını sağlar.
- Yayınlanan v0.3.0 C ABI'yi korur ve yeni seçenekler için boyutlu uzantı API'leri ekler.
Sonraki yol tarifi
- Sabitlenmiş referanslara göre daha kesin CPU çekirdek değişikliklerini ölçün.
- Talepleri daha geniş bir şekilde sunmadan önce planlamayı iyileştirin ve sahiplik isteyin.
- Deneysel hızlandırıcı çalışmasını açık doğrulama sınırlarının arkasında tutun.
Göz önünde bulundurulacak sınırlar
- Genel yayın etiketi v0.3.3 olmasına rağmen kaynak sürümü 0.3.2'dir.
- SVE2 deneyseldir; tarihsel genişletilmiş ARM düzenleri geçerli varsayılan değildir.
- Yayınlanmamış bozuk v0.3.1 seçenek düzenlerine göre derlenen ikili dosyalar yeniden oluşturulmalıdır.
- Desteklenen GPU çıkarımı, rastgele model yükleme, sürekli toplu işlem veya tam HTTP API uyumluluğu yoktur.
- Üçüncü taraf motor ve model hakları ilgili sahiplerine aittir.
Hyphae BitNet