Точные числовые правила
Используйте объявленные контракты целочисленного накопления с проверкой ссылок.
Hyphae BitNet Точный тернарный инференс на CPU
Сознательно используйте память и арифметику CPU.
Hyphae BitNet — это среда выполнения CPU для поддерживаемых троичных моделей. Его текущий исполняемый файл — hyphae-bitnet, при этом celiums-bitnet и исторические имена ABI сохранены для совместимости.
Сделайте вывод поддерживаемой модели доступным для проверки с помощью явных числовых контрактов, контрактов модели, памяти и оборудования.
01 / Почему это важно
Почему эта работа важна
Ограниченная рабочая память
Отказаться от выделения модели или сеанса, которое превышает настроенный бюджет памяти.
Ворота поддерживаемой модели
Допустите явные семейства и форматы моделей вместо того, чтобы подразумевать поддержку произвольных моделей.
Измеримое поведение
Отчеты о предварительном заполнении и декодировании разделяются с указанием модели, CPU и идентификаторов рабочей нагрузки.
02 / Как это работает
Как это работает
Основные этапы делают видимыми границы проекта.
- 01
Подтвердить модель
Проверьте поддерживаемое семейство, формат и идентификацию модели, закрепленную оператором.
- 02
Бюджетная память
Разрешить выбранную схему вычислений в пределах ограничения рабочего набора.
- 03
Запустите ядра CPU
Текущие пути ARM и x86 Q1 используют упакованные панели; предварительное заполнение и декодирование различаются
- 04
Публикуйте результаты
CLI, экспериментальный C ABI, подмножество HTTP и записи тестов
03 / Возможности
Текущие возможности
Модельные семьи
Поддерживаются текстовые пути I2_S BitNet и Q1_0 Bonsai CPU с явным выбором семейства.
Интерфейсы времени выполнения
Генерация, встроенное обслуживание HTTP, тесты, проверка и экспериментальный C ABI.
CPU пути
Архивы Linux x86-64 и измеренная ARM64 Q1 работают; NEON DOTPROD остается измеренным значением Graviton4 по умолчанию.
Дополнительный шлюз
Отдельный процесс подключает извлечение, память и поступления Hyphae к среде выполнения.
04 / Доказательства
Доказательства и их объем
В выпуске v0.3.3 публикуется исходная/исполняемая версия 0.3.2 и записываются проверки Graviton4 и измерения A/B.
версия времени выполнения
Распространяется под тегом v0.3.3.
текущая цель продукта
экспериментальное упакованное ядро
Более ранние ускорения расширения до int8 описывают исторический код ARM. Текущий путь ARM использует упакованные панели Q1; результаты различаются в зависимости от этапа, модели, компоновки и количества потоков.
Что работает сейчас
- Выполняет поддерживаемые текстовые модели BitNet I2_S и Bonsai Q1_0 CPU.
- Обеспечивает команды запуска, обслуживания, проверки, проверки и версии.
- Сохраняет опубликованный v0.3.0 C ABI и добавляет API-интерфейсы расширений для новых опций.
Следующие направления
- Измерьте дальнейшие точные изменения ядра CPU по закрепленным ссылкам.
- Улучшите планирование и запросите право собственности, прежде чем предъявлять более широкие претензии по обслуживанию.
- Держите экспериментальную работу ускорителя за пределами четких границ проверки.
Ограничения, которые следует учитывать
- Исходная версия — 0.3.2, хотя тег публичного выпуска — v0.3.3.
- SVE2 является экспериментальным; исторические расширенные макеты ARM не являются текущими макетами по умолчанию.
- Двоичные файлы, скомпилированные с невыпущенными сломанными макетами опций v0.3.1, должны быть пересобраны.
- Не поддерживается вывод GPU, произвольная загрузка модели, непрерывная пакетная обработка или полная совместимость с HTTP API.
- Права на сторонние движки и модели остаются за их владельцами.
Hyphae BitNet