Regras numéricas exatas
Use contratos de acumulação de inteiros declarados com verificações de referência.
Hyphae BitNet Inferência ternária exata em CPU
Use memória e aritmética CPU deliberadamente.
Hyphae BitNet é um tempo de execução CPU para modelos ternários suportados. Seu executável atual é hyphae-bitnet, com celiums-bitnet e nomes históricos de ABI mantidos para compatibilidade.
Torne a inferência de modelo compatível inspecionável por meio de contratos numéricos, de modelo, de memória e de hardware explícitos.
01 / Por que isso importa
Por que este trabalho é importante
Memória de trabalho limitada
Recuse alocações de modelo ou sessão que excedam o orçamento de memória configurado.
Portões de modelo suportado
Admita famílias e formatos de modelos explícitos em vez de implicar suporte arbitrário de modelos.
Comportamento mensurável
Pré-preenchimento e decodificação de relatório separadamente, com modelo, CPU e identidades de carga de trabalho.
02 / Como funciona
Como funciona
As principais etapas tornam visíveis os limites do projeto.
- 01
Valide o modelo
Verifique a família suportada, o formato e a identidade do modelo fixado pelo operador
- 02
Memória orçamentária
Admitir o layout de computação selecionado dentro do limite do conjunto de trabalho
- 03
Execute kernels CPU
Os caminhos ARM e x86 Q1 atuais usam painéis compactados; pré-preenchimento e decodificação diferem
- 04
Expor resultados
CLI, C ABI experimental, subconjunto HTTP e registros de benchmark
03 / Capacidades
Capacidades atuais
Famílias modelo
Caminhos de texto I2_S BitNet e Q1_0 Bonsai CPU suportados, com seleção de família explícita.
Interfaces de tempo de execução
Geração, serviço HTTP nativo, benchmarks, validação e um C ABI experimental.
Caminhos CPU
Arquivos Linux x86-64 e trabalho ARM64 Q1 medido; NEON DOTPROD permanece o padrão Graviton4 medido.
Gateway opcional
Um processo separado conecta a recuperação, memória e recibos Hyphae ao tempo de execução.
04 / Evidência
Evidências e seu escopo
A versão v0.3.3 publica a versão de origem/tempo de execução 0.3.2 e registra a validação Graviton4 e medições A/B.
versão de tempo de execução
Distribuído sob a tag v0.3.3
segmentação de produto atual
kernel compactado experimental
As acelerações expand-to-int8 anteriores descrevem o código ARM histórico. O caminho ARM atual usa painéis Q1 compactados; os resultados variam de acordo com fase, modelo, layout e contagem de threads.
O que faz hoje
- Executa modelos de texto BitNet I2_S e Bonsai Q1_0 CPU suportados.
- Fornece comandos de execução, serviço, bancada, validação e versão.
- Mantém a ABI v0.3.0 C publicada e adiciona APIs de extensão dimensionadas para novas opções.
Próximas direções
- Meça mais alterações exatas do kernel CPU em relação às referências fixadas.
- Melhore o agendamento e solicite propriedade antes de atender reivindicações mais amplas.
- Mantenha o trabalho do acelerador experimental atrás dos limites de validação explícitos.
Limites a manter em vista
- A versão de origem é 0.3.2, embora a tag de lançamento público seja v0.3.3.
- SVE2 é experimental; layouts ARM expandidos históricos não são o padrão atual.
- Os binários compilados com base nos layouts de opções v0.3.1 quebrados e não lançados devem ser reconstruídos.
- Nenhuma inferência GPU suportada, carregamento de modelo arbitrário, lote contínuo ou compatibilidade completa de API HTTP.
- Os direitos de motores e modelos de terceiros permanecem com seus respectivos proprietários.
Hyphae BitNet