Regole numeriche esatte
Utilizzare contratti di accumulo di numeri interi dichiarati con controlli di riferimento.
Hyphae BitNet Inferenza ternaria esatta su CPU
Usa deliberatamente la memoria e l'aritmetica CPU.
Hyphae BitNet è un runtime CPU per i modelli ternari supportati. Il suo eseguibile attuale è hyphae-bitnet, con celiums-bitnet e i nomi ABI storici mantenuti per compatibilità.
Rendi ispezionabile l'inferenza del modello supportato tramite contratti numerici, di modello, di memoria e hardware espliciti.
01 / Perché è importante
Perché questo lavoro è importante
Memoria di lavoro limitata
Rifiutare allocazioni di modelli o sessioni che superano il budget di memoria configurato.
Gate del modello supportato
Ammettere famiglie e formati di modelli espliciti invece di implicare un supporto di modelli arbitrario.
Comportamento misurabile
Segnala la precompilazione e la decodifica separatamente, con il modello, CPU e le identità del carico di lavoro.
02 / Come funziona
Come funziona
Le fasi principali rendono visibili i confini del progetto.
- 01
Convalidare il modello
Controlla la famiglia supportata, il formato e l'identità del modello aggiunto dall'operatore
- 02
Memoria di bilancio
Ammette il layout di calcolo selezionato entro il limite del set di lavoro
- 03
Esegui i kernel CPU
I percorsi attuali ARM e x86 Q1 utilizzano pannelli compressi; la precompilazione e la decodifica differiscono
- 04
Esporre i risultati
CLI, ABI C sperimentale, sottoinsieme HTTP e record benchmark
03 / Capacità
Capacità attuali
Famiglie modello
Percorsi di testo I2_S BitNet e Q1_0 Bonsai CPU supportati, con selezione esplicita della famiglia.
Interfacce di esecuzione
Generazione, servizio HTTP nativo, benchmark, convalida e un'ABI C sperimentale.
Percorsi CPU
Archivi Linux x86-64 e lavoro misurato ARM64 Q1; NEON DOTPROD rimane il valore predefinito Graviton4 misurato.
Gateway opzionale
Un processo separato collega il recupero, la memoria e le ricevute Hyphae al runtime.
04 / Prove
Le prove e la loro portata
La versione v0.3.3 pubblica la versione sorgente/runtime 0.3.2 e registra la convalida Graviton4 e le misurazioni A/B.
versione di esecuzione
Distribuito sotto il tag v0.3.3
target di prodotto attuale
kernel compresso sperimentale
I precedenti acceleramenti di espansione a int8 descrivono il codice ARM storico. L'attuale percorso ARM utilizza pannelli Q1 compressi; i risultati variano in base alla fase, al modello, al layout e al numero di thread.
Cosa fa oggi
- Esegue i modelli di testo BitNet I2_S e Bonsai Q1_0 CPU supportati.
- Fornisce i comandi run, serve, bench, validate e version.
- Mantiene l'ABI v0.3.0 C pubblicato e aggiunge API di estensione delle dimensioni per nuove opzioni.
Prossime indicazioni
- Misura ulteriori modifiche esatte del kernel CPU rispetto ai riferimenti bloccati.
- Migliora la pianificazione e richiedi la proprietà prima di presentare rivendicazioni più ampie.
- Mantenere il lavoro dell'acceleratore sperimentale entro limiti espliciti di validazione.
Limiti da tenere in considerazione
- La versione sorgente è 0.3.2 anche se il tag di rilascio pubblico è v0.3.3.
- SVE2 è sperimentale; i layout ARM espansi storici non sono l'impostazione predefinita corrente.
- I file binari compilati rispetto ai layout dell'opzione v0.3.1 non rilasciati non funzionanti devono essere ricostruiti.
- Nessuna inferenza GPU supportata, caricamento arbitrario del modello, batch continuo o compatibilità completa dell'API HTTP.
- I diritti sui motori e sui modelli di terze parti rimangono dei rispettivi proprietari.
Hyphae BitNet