Reglas numéricas exactas
Utiliza contratos declarados de acumulación de enteros y comprobaciones frente a una referencia.
Hyphae BitNet Inferencia ternaria exacta en CPU
Aprovecha la memoria y la aritmética de la CPU.
Hyphae BitNet es un runtime en CPU para los modelos ternarios compatibles. Su ejecutable actual es hyphae-bitnet; celiums-bitnet y los nombres históricos de la ABI se conservan por compatibilidad.
Hacer inspeccionable la inferencia de los modelos compatibles mediante contratos explícitos sobre cálculo numérico, modelos, memoria y hardware.
01 / Por qué es importante
Por qué importa este trabajo
Memoria de trabajo acotada
Rechaza las asignaciones de memoria para modelos o sesiones que superan el presupuesto configurado.
Validación de modelos compatibles
Admite familias y formatos de modelos explícitos, sin implicar compatibilidad con cualquier modelo.
Comportamiento medible
Mide por separado el procesamiento inicial y la decodificación, con la identidad del modelo, la CPU y la carga de trabajo.
02 / Cómo funciona
Cómo funciona
Las etapas principales hacen visibles los límites del proyecto.
- 01
Validar el modelo
Comprobar la familia compatible, el formato y la identidad del modelo fijada por el operador
- 02
Presupuestar la memoria
Admitir la disposición de cómputo elegida dentro del límite de memoria de trabajo
- 03
Ejecutar los núcleos de CPU
Las rutas actuales ARM y x86 para Q1 usan paneles empaquetados; el procesamiento inicial y la decodificación difieren
- 04
Exponer resultados
CLI, ABI de C experimental, subconjunto HTTP y registros de medición
03 / Capacidades
Capacidades actuales
Familias de modelos
Inferencia de texto en CPU para BitNet I2_S y Bonsai Q1_0 compatibles, con selección explícita de la familia.
Interfaces del runtime
Generación, servicio HTTP nativo, mediciones, validación y una ABI de C experimental.
Rutas de CPU
Archivos para Linux x86-64 y trabajo medido sobre ARM64 Q1; NEON DOTPROD sigue siendo la opción predeterminada medida en Graviton4.
Puerta de enlace opcional
Un proceso separado conecta la búsqueda, la memoria y los comprobantes de Hyphae con el runtime.
04 / Evidencia
La evidencia y su alcance
La publicación v0.3.3 distribuye la versión 0.3.2 del código y del runtime, con registros de validación en Graviton4 y mediciones A/B.
versión del runtime
Distribuido bajo la etiqueta v0.3.3
plataforma actual del producto
núcleo empaquetado experimental
Las mejoras anteriores basadas en expansión a int8 describen código histórico de ARM. La ruta ARM actual usa paneles Q1 empaquetados; los resultados varían según la fase, el modelo, la disposición y el número de hilos.
Lo que hace hoy
- Ejecuta en CPU los modelos de texto compatibles BitNet I2_S y Bonsai Q1_0.
- Ofrece los comandos run, serve, bench, validate y version.
- Conserva la ABI de C publicada en v0.3.0 y añade API de extensión con tamaño explícito para las nuevas opciones.
Próximas líneas de trabajo
- Medir nuevas modificaciones de los núcleos exactos de CPU frente a referencias fijadas.
- Mejorar la planificación y la gestión de las solicitudes antes de ampliar las capacidades declaradas del servicio.
- Mantener el trabajo experimental con aceleradores dentro de límites explícitos de validación.
Límites a tener en cuenta
- La versión del código es 0.3.2, aunque la etiqueta de publicación es v0.3.3.
- SVE2 es experimental; las disposiciones expandidas históricas de ARM ya no son la opción predeterminada.
- Es necesario recompilar los binarios que usaron las estructuras de opciones defectuosas de v0.3.1, una versión que no llegó a publicarse.
- No ofrece inferencia compatible en GPU, carga de modelos arbitrarios, procesamiento continuo por lotes ni compatibilidad completa con la API HTTP.
- Los derechos de motores y modelos de terceros pertenecen a sus respectivos propietarios.
Hyphae BitNet