Пропускная способность памяти является целью
Упакованные троичные веса уменьшают количество передаваемых байтов на токен; макеты вычислений тратят ОЗУ только тогда, когда это выгодно аппаратному пути.
Система программного обеспечения 03 / Вывод
Троичные сети на процессорах с преднамеренным использованием точной математики и памяти.
Hyphae BitNet — это базовый репозиторий для текущей среды выполнения celiums-bitnet: однократная генерация, встроенное обслуживание HTTP, экспериментальный C ABI и тесты предварительного заполнения/декодирования.
Сделайте поддерживаемые троичные модели работоспособными на обычных серверах ЦП, не превращая приблизительные ядра, неконтролируемый рост оперативной памяти или унаследованные внутренние компоненты механизма в скрытое поведение продукта.
01 / Benefits
Зачем нужен рантайм
Точное накопление
I2_S uses (D−S)ρ and Q1 uses 2P−S with integer accumulation; approximate LUT-GEMM and T-MAC stay outside strict mode.
Аварийно-закрытые бюджеты оперативной памяти
Загрузка модели или создание сеанса отказываются превышать настроенное ограничение рабочего набора вместо того, чтобы сделать хост непригодным для использования.
Загрузка с проверкой семейства модели
Поддерживаемые комбинации архитектуры и типов файлов указаны явно; обычные модели Llama/Qwen Q4 и конфликтующие форматы Q2 отклонены.
Интерфейсы, принадлежащие продукту
Приложения используют CLI celiums-bitnet, C ABI или собственное подмножество HTTP вместо привязки к внутренним компонентам GGML.
Свидетельства до маркетинга
Тесты включают дайджесты моделей, ограничение ОЗУ, ЦП/ISA, разделение предварительного заполнения/декодирования, необработанный JSON и явные отказы от утверждений.
02 / Architecture
Путь инференса через рантайм
Упакованный ГГУФ остается хранилищем длительного пользования. Дополнительная бюджетная схема вычислений в памяти соответствует CPU ISA; предварительно заполнить и декодировать, а затем использовать разные ядра.
- 01
Подтвержденный GGUF
I2_S BitNet or Q1_0 Bonsai; architecture, type, revision, and digest remain operator-visible
- 02
Бюджетные ворота
ram_budget резервирует запас хоста и завершается сбоем перед распределением, если выбранный макет не подходит
- 03
Вычислительный образ ISA
ARM i8mm расширяет Q1 до int8 ±1; x86 VNNI сохраняет побитовые панели размером 4×8; I2_S использует строгие пути tinyBLAS.
- 04
Prefill
GEMM повторно использует каждую панель веса в восьми, а затем в четырех рядах активации.
- 05
Decode
GEMV обрабатывает один токен и передает изображение веса один раз; оптимизация предварительного заполнения не претендует на ускорение декодирования
- 06
Публичная среда выполнения
Токенизация, предварительное заполнение, декодирование, логиты, выборка, отмена, потоковые обратные вызовы, тесты HTTP/SSE и JSONL.
03 / Surface
Поддерживаемая область продукта
Сертифицированный BitNet 2B
Microsoft BitNet b1.58 2B в MOSTLY_I2_S с закрепленными воротами идентификации и точности преобразования.
Текст процессора Bonsai 27B
Предварительно квантованное семейство Q1_0 Qwen35 с 1-битными знаками, блочными шкалами FP16, DeltaNet плюс внимание и явным выбором семейства.
Время выполнения и обслуживание
Одноразовая генерация, собственное завершение HTTP/подмножество чата, SSE, ключи API, метрики, последовательности остановки и совместная отмена.
Дополнительный шлюз Hyphae
Отдельный процесс Rust может добавлять извлечение, память, квитанции, реестр, доказательства, семантический кеш и MCP без привязки Hyphae к GGML.
04 / Evidence
Измеренные эффекты оборудования
Предварительное заполнение и декодирование имеют разные линии крыши. Опубликованные квитанции сообщают и о том, и о других случаях, когда макет помогает на одном этапе, но вредит другому.
Заправка Гравитона 4 в один поток
Q1 expand-to-int8 vs packed mmap
Декодирование Гравитона 4 в один поток
большое количество потоков может регрессировать
Предварительная заливка Xeon в одном потоке
8-row vs 4-row GEMM
намеренно провальный бюджет
отказано до распределения модели
Цифры Graviton и Xeon применимы только к указанным моделям, дайджестам, машинам, количеству потоков, длине подсказок/генераций и ограничению 64 ГиБ. Расширение Q1 может уменьшить количество потоков декодирования при насыщении DRAM.
Что работает сейчас
- Поддерживает сертифицированный BitNet 2B I2_S и явное семейство текстовых процессоров Bonsai 27B Q1_0.
- Предоставляет команды CLI run/serve/bench/validate/version, экспериментальный C ABI и подмножество HTTP в форме OpenAI.
- Выбирает собственные, портативные профили AVX2 или скалярные профили ЦП и бюджетные схемы вычислений.
- Проверяет точное поведение ядра с помощью скалярных/универсальных оракулов, дезинфицирующих средств, тестов пакетов и шлюзов выпуска на основе моделей.
Что планируется
- Сравните дополнительные точные плитки ядра и общее квантование активации.
- Исследуйте точное уплотнение нулевого канала и более плотные троичные кодировки без приблизительного сокращения.
- Оценивайте AMX как путь только для предварительного заполнения, сохраняя при этом постоянные веса.
- Развитое многопоследовательное планирование и владение асинхронными запросами.
- Перед подачей заявок на поддержку переместите пути графического процессора от унаследованных экспериментов к общим, явно протестированным ядрам I2_S.
От чего он сознательно отказывается
- Не произвольный исполнитель модели llama.cpp; неподдерживаемые комбинации архитектуры/квантования отклоняются.
- В текущем продукте нет поддерживаемого вывода графического процессора, непрерывной пакетной обработки, полного API OpenAI, внедрений, инструментов, журналов или встроенного TLS.
- Никаких заявлений об универсальной побитовой идентичности между ISA или сертификации контрольных точек источника.
- Текущие общедоступные двоичные файлы и артефакты выпуска сохраняют название продукта celiums-bitnet; базовый репозиторий не удаляет право собственности на вышестоящую версию или модель.
Hyphae BitNet