Exakte numerische Regeln
Verwenden Sie deklarierte ganzzahlige Akkumulationsverträge mit Referenzprüfungen.
Hyphae BitNet Exakte ternäre CPU-Inferenz
Verwenden Sie CPU Speicher und Arithmetik bewusst.
Hyphae BitNet ist eine CPU-Laufzeit für unterstützte ternäre Modelle. Die aktuelle ausführbare Datei ist hyphae-bitnet, wobei celiums-bitnet und historische ABI-Namen aus Kompatibilitätsgründen beibehalten werden.
Machen Sie unterstützte Modellinferenzen durch explizite Zahlen-, Modell-, Speicher- und Hardwareverträge überprüfbar.
01 / Warum es wichtig ist
Warum diese Arbeit wichtig ist
Begrenztes Arbeitsgedächtnis
Modell- oder Sitzungszuweisungen ablehnen, die das konfigurierte Speicherbudget überschreiten.
Unterstützte Tore
Lassen Sie explizite Modellfamilien und -formate zu, anstatt willkürliche Modellunterstützung zu implizieren.
Messbares Verhalten
Melden Sie Vorabfüllung und Dekodierung separat, mit Modell-, CPU- und Workload-Identitäten.
02 / Wie es funktioniert
Wie es funktioniert
Die Hauptphasen machen die Grenzen des Projekts sichtbar.
- 01
Validieren Sie das Modell
Überprüfen Sie die unterstützte Familie, das Format und die vom Bediener angeheftete Modellidentität
- 02
Budgetspeicher
Übernehmen Sie das ausgewählte Rechenlayout innerhalb der Arbeitssatzobergrenze
- 03
Führen Sie CPU-Kernel aus
Aktuelle ARM- und x86-Q1-Pfade verwenden gepackte Panels; Vorfüllung und Dekodierung unterscheiden sich
- 04
Ergebnisse präsentieren
CLI, experimentelle C-ABI, HTTP-Teilmenge und Benchmark-Datensätze
03 / Fähigkeiten
Aktuelle Fähigkeiten
Modellfamilien
Unterstützte Textpfade I2_S BitNet und Q1_0 Bonsai CPU mit expliziter Familienauswahl.
Laufzeitschnittstellen
Generierung, native HTTP-Bereitstellung, Benchmarks, Validierung und ein experimentelles C-ABI.
CPU Pfade
Linux x86-64-Archive und gemessene ARM64 Q1-Arbeit; NEON DOTPROD bleibt der gemessene Graviton4-Standardwert.
Optionales Gateway
Ein separater Prozess verbindet Hyphae-Abruf, Speicher und Belege mit der Laufzeit.
04 / Beweise
Beweise und ihr Umfang
Die Version v0.3.3 veröffentlicht die Quell-/Laufzeitversion 0.3.2 und zeichnet die Graviton4-Validierung und A/B-Messungen auf.
Laufzeitversion
Verteilt unter dem Tag v0.3.3
aktuelles Produktziel
experimentell gepackter Kernel
Frühere Expand-to-int8-Beschleunigungen beschreiben historischen ARM-Code. Der aktuelle ARM-Pfad verwendet gepackte Q1-Panels; Die Ergebnisse variieren je nach Phase, Modell, Layout und Thread-Anzahl.
Was es heute leistet
- Führt die unterstützten Textmodelle BitNet I2_S und Bonsai Q1_0 CPU aus.
- Stellt Befehle zum Ausführen, Servieren, Benchen, Validieren und Versionieren bereit.
- Behält die veröffentlichte v0.3.0 C-ABI bei und fügt große Erweiterungs-APIs für neue Optionen hinzu.
Nächste Wegbeschreibung
- Messen Sie weitere genaue CPU-Kerneländerungen anhand angehefteter Referenzen.
- Verbessern Sie die Planung und fordern Sie die Eigentümerschaft an, bevor Sie umfassendere Ansprüche geltend machen.
- Halten Sie die experimentelle Beschleunigerarbeit hinter expliziten Validierungsgrenzen.
Grenzen, die es im Auge zu behalten gilt
- Die Quellversion ist 0.3.2, obwohl das öffentliche Release-Tag v0.3.3 ist.
- SVE2 ist experimentell; Bisherige erweiterte ARM-Layouts sind nicht die aktuelle Standardeinstellung.
- Binärdateien, die anhand der unveröffentlichten fehlerhaften v0.3.1-Optionslayouts kompiliert wurden, müssen neu erstellt werden.
- Keine unterstützte GPU-Inferenz, willkürliches Laden von Modellen, kontinuierliche Stapelverarbeitung oder vollständige HTTP-API-Kompatibilität.
- Die Rechte an Motoren und Modellen Dritter verbleiben bei ihren jeweiligen Eigentümern.
Hyphae BitNet