精确的数字规则
使用带有引用检查的已声明整数累积合约。
Hyphae BitNet 精确三值 CPU 推理
谨慎使用 CPU 内存和算术。
Hyphae BitNet 是支持三元模型的 CPU 运行时。其当前的可执行文件是 hyphae-bitnet，并保留 celiums-bitnet 和历史 ABI 名称以实现兼容性。
通过显式的数值、模型、内存和硬件契约，使支持的模型推理变得可检查。
01 / 为什么这很重要
为什么这项工作很重要
工作记忆有限
拒绝超出配置的内存预算的模型或会话分配。
支持的型号闸门
承认明确的模型系列和格式，而不是暗示任意模型支持。
可衡量的行为
使用模型、CPU 和工作负载标识分别报告预填充和解码。
02 / 它是如何运作的
它是如何运作的
主要阶段使项目的边界清晰可见。
- 01
验证模型
检查支持的系列、格式和运营商固定型号标识
- 02
预算内存
允许在工作集上限内选择的计算布局
- 03
运行 CPU 内核
当前的 ARM 和 x86 Q1 路径使用打包面板；预填充和解码不同
- 04
公开结果
CLI、实验性 C ABI、HTTP 子集和基准记录
03 / 能力
目前的能力
模范家庭
支持 I2_S BitNet 和 Q1_0 Bonsai CPU 文本路径，具有明确的系列选择。
运行时接口
生成、本机 HTTP 服务、基准测试、验证和实验性 C ABI。
CPU 路径
Linux x86-64 存档并测量 ARM64 Q1 工作； NEON DOTPROD 保留测量的 Graviton4 默认值。
可选网关
一个单独的进程将 Hyphae 检索、内存和收据连接到运行时。
04 / 证据
证据及其范围
v0.3.3 版本发布源/运行时版本 0.3.2 并记录 Graviton4 验证和 A/B 测量。
运行时版本
发布在标签 v0.3.3 下
当前产品目标
实验性打包内核
早期扩展到 int8 的加速描述了历史 ARM 代码。当前的ARM路径使用封装的Q1面板；结果因阶段、模型、布局和线程数而异。
当前能力
- 运行受支持的 BitNet I2_S 和 Bonsai Q1_0 CPU 文本模型。
- 提供运行、服务、基准、验证和版本命令。
- 保留已发布的 v0.3.0 C ABI 并为新选项添加了大小扩展 API。
下一步方向
- 根据固定参考进一步测量 CPU 内核更改。
- 在更广泛的服务索赔之前改进调度并请求所有权。
- 将实验加速器工作保持在明确的验证边界之后。
需要注意的限制
- 即使公开发布标签是 v0.3.3，源版本也是 0.3.2。
- SVE2 是实验性的；历史扩展的 ARM 布局不是当前的默认布局。
- 必须重建针对未发布的损坏的 v0.3.1 选项布局编译的二进制文件。
- 不支持 GPU 推理、任意模型加载、连续批处理或完整的 HTTP API 兼容性。
- 第三方发动机和型号的权利仍属于其各自所有者。