Règles numériques exactes
Utilisez des contrats d’accumulation d’entiers déclarés avec vérification des références.
Hyphae BitNet Inférence ternaire exacte sur CPU
Utilisez délibérément la mémoire CPU et l'arithmétique.
Hyphae BitNet est un runtime CPU pour les modèles ternaires pris en charge. Son exécutable actuel est hyphae-bitnet, avec celiums-bitnet et les noms ABI historiques conservés pour des raisons de compatibilité.
Rendre l'inférence de modèle prise en charge inspectable via des contrats explicites numériques, de modèle, de mémoire et de matériel.
01 / Pourquoi c'est important
Pourquoi ce travail est important
Mémoire de travail limitée
Refusez les allocations de modèle ou de session qui dépassent le budget de mémoire configuré.
Portails de modèles pris en charge
Admettez les familles et formats de modèles explicites au lieu d’impliquer une prise en charge arbitraire des modèles.
Comportement mesurable
Rapportez le pré-remplissage et le décodage séparément, avec les identités de modèle, CPU et de charge de travail.
02 / Comment ça marche
Comment ça marche
Les principales étapes rendent visibles les limites du projet.
- 01
Valider le modèle
Vérifiez la famille prise en charge, le format et l'identité du modèle épinglé par l'opérateur
- 02
Mémoire budgétaire
Admettre la disposition de calcul sélectionnée dans la limite de l'ensemble de travail
- 03
Exécutez les noyaux CPU
Les chemins ARM et x86 Q1 actuels utilisent des panneaux compressés ; le pré-remplissage et le décodage diffèrent
- 04
Exposer les résultats
CLI, C ABI expérimental, sous-ensemble HTTP et enregistrements de référence
03 / Capacités
Capacités actuelles
Familles modèles
Chemins de texte I2_S BitNet et Q1_0 Bonsai CPU pris en charge, avec sélection de famille explicite.
Interfaces d'exécution
Génération, service HTTP natif, benchmarks, validation et un C ABI expérimental.
Chemins CPU
Archives Linux x86-64 et travail ARM64 Q1 mesuré ; NEON DOTPROD reste la valeur par défaut mesurée de Graviton4.
Passerelle en option
Un processus distinct connecte la récupération, la mémoire et les reçus Hyphae au runtime.
04 / Preuve
La preuve et sa portée
La version v0.3.3 publie la version source/exécution 0.3.2 et enregistre la validation Graviton4 et les mesures A/B.
version d'exécution
Distribué sous l'étiquette v0.3.3
cible actuelle du produit
noyau emballé expérimental
Les accélérations d'expansion vers int8 antérieures décrivent le code historique ARM. Le chemin ARM actuel utilise des panneaux Q1 compressés ; les résultats varient selon la phase, le modèle, la disposition et le nombre de threads.
Ce qu’il fait aujourd’hui
- Exécute les modèles de texte BitNet I2_S et Bonsai Q1_0 CPU pris en charge.
- Fournit les commandes d’exécution, de service, de banc, de validation et de version.
- Conserve l'ABI v0.3.0 C publié et ajoute des API d'extension dimensionnées pour les nouvelles options.
Itinéraires suivants
- Mesurez davantage les modifications exactes du noyau CPU par rapport aux références épinglées.
- Améliorez la planification et demandez la propriété avant de traiter des réclamations plus larges.
- Gardez le travail de l’accélérateur expérimental derrière les limites de validation explicites.
Des limites à garder en vue
- La version source est 0.3.2 même si la balise de version publique est v0.3.3.
- SVE2 est expérimental ; Les mises en page ARM étendues historiques ne sont pas la configuration par défaut actuelle.
- Les binaires compilés avec les dispositions d'options v0.3.1 cassées et inédites doivent être reconstruits.
- Aucune inférence GPU prise en charge, chargement de modèle arbitraire, traitement par lots continu ou compatibilité complète de l'API HTTP.
- Les droits sur les moteurs et modèles tiers restent la propriété de leurs propriétaires respectifs.
Hyphae BitNet