正確な数値規則
宣言された整数累積コントラクトを参照チェックとともに使用します。
Hyphae BitNet 正確な三値CPU推論
CPU メモリと演算を意図的に使用してください。
Hyphae BitNet は、サポートされている 3 値モデル用の CPU ランタイムです。現在の実行可能ファイルは hyphae-bitnet で、celiums-bitnet と過去の ABI 名は互換性のために保持されています。
サポートされているモデル推論を、明示的な数値、モデル、メモリ、およびハードウェアのコントラクトを通じて検査可能にします。
01 / なぜそれが重要なのか
なぜこの仕事が重要なのか
限界のある作業記憶
構成されたメモリ バジェットを超えるモデルまたはセッションの割り当てを拒否します。
サポートされているモデルのゲート
任意のモデルのサポートを暗示するのではなく、明示的なモデル ファミリと形式を認めます。
測定可能な動作
モデル、CPU、およびワークロード ID を使用して、事前入力とデコードを個別にレポートします。
02 / 仕組み
仕組み
主要な段階では、プロジェクトの境界が明確になります。
- 01
モデルを検証する
サポートされているファミリ、形式、およびオペレータ固定モデルのアイデンティティを確認する
- 02
予算の記憶
選択したコンピューティング レイアウトをワーキング セット キャップ内で許可します
- 03
CPU カーネルを実行する
現在の ARM および x86 Q1 パスはパックされたパネルを使用します。プリフィルとデコードは異なります
- 04
結果を公開する
CLI、実験的な C ABI、HTTP サブセット、およびベンチマーク レコード
03 / 能力
現在の機能
モデルファミリー
明示的なファミリー選択を使用して、I2_S BitNet および Q1_0 Bonsai CPU テキスト パスをサポートしました。
ランタイムインターフェース
生成、ネイティブ HTTP サービス、ベンチマーク、検証、および実験的な C ABI。
CPU パス
Linux x86-64 アーカイブと測定された ARM64 Q1 作業。 NEON DOTPROD は、測定された Graviton4 のデフォルトのままです。
オプションのゲートウェイ
別のプロセスは、Hyphae の取得、メモリ、および受信をランタイムに接続します。
04 / 証拠
証拠とその範囲
v0.3.3 リリースでは、ソース/ランタイム バージョン 0.3.2 が公開され、Graviton4 検証と A/B 測定が記録されます。
ランタイムバージョン
v0.3.3 というタグで配布されています
現在の製品目標
実験用のパックされたカーネル
以前の Expand-to-int8 の高速化では、歴史的な ARM コードについて説明しました。現在の ARM パスは、パックされた Q1 パネルを使用します。結果はフェーズ、モデル、レイアウト、スレッド数によって異なります。
現在できること
- サポートされている BitNet I2_S および Bonsai Q1_0 CPU テキスト モデルを実行します。
- 実行、提供、ベンチ、検証、およびバージョンのコマンドを提供します。
- 公開された v0.3.0 C ABI を保持し、新しいオプション用にサイズ変更された拡張 API を追加します。
次の道順
- 固定参照に対してさらに正確な CPU カーネル変更を測定します。
- スケジュールを改善し、より広範なクレームを処理する前に所有権をリクエストします。
- 実験的なアクセラレータの作業は、明示的な検証境界の内側に留めてください。
視野に入れておくべき制限
- パブリック リリース タグは v0.3.3 ですが、ソース バージョンは 0.3.2 です。
- SVE2 は実験的なものです。過去の拡張された ARM レイアウトは現在のデフォルトではありません。
- 未リリースの壊れた v0.3.1 オプション レイアウトに対してコンパイルされたバイナリを再構築する必要があります。
- GPU 推論、任意のモデルの読み込み、連続バッチ処理、または完全な HTTP API 互換性はサポートされていません。
- サードパーティのエンジンおよびモデルの権利は、それぞれの所有者に帰属します。