القواعد العددية الدقيقة
استخدم عقود تراكم الأعداد الصحيحة المعلنة مع الفحوصات المرجعية.
Hyphae BitNet استدلال ثلاثي دقيق على CPU
استخدم ذاكرة CPU والحساب بشكل متعمد.
Hyphae BitNet هو وقت تشغيل CPU للنماذج الثلاثية المدعومة. الملف القابل للتنفيذ الحالي هو hyphae-bitnet، مع الاحتفاظ بـ celiums-bitnet وأسماء ABI التاريخية من أجل التوافق.
جعل استنتاج النموذج المدعوم قابلاً للفحص من خلال العقود الرقمية والنموذجية والذاكرة والأجهزة الواضحة.
01 / لماذا يهم
لماذا هذا العمل مهم
الذاكرة العاملة المحدودة
رفض تخصيصات النموذج أو الجلسة التي تتجاوز ميزانية الذاكرة المكوّنة.
البوابات النموذجية المدعومة
اعترف بعائلات وتنسيقات نموذجية صريحة بدلاً من الإشارة إلى دعم النموذج التعسفي.
سلوك قابل للقياس
قم بالإبلاغ عن التعبئة المسبقة وفك التشفير بشكل منفصل، مع النموذج CPU وهويات عبء العمل.
02 / كيف يعمل
كيف يعمل
المراحل الرئيسية تجعل حدود المشروع مرئية.
- 01
التحقق من صحة النموذج
تحقق من العائلة المدعومة والتنسيق وهوية النموذج المثبتة بواسطة المشغل
- 02
ذاكرة الميزانية
قبول تخطيط الحوسبة المحدد ضمن الحد الأقصى لمجموعة العمل
- 03
قم بتشغيل حبات CPU
تستخدم مسارات ARM وx86 Q1 الحالية اللوحات المعبأة؛ تختلف التعبئة المسبقة وفك التشفير
- 04
فضح النتائج
CLI، وC ABI التجريبي، ومجموعة HTTP الفرعية، وسجلات الأداء
03 / القدرات
القدرات الحالية
العائلات النموذجية
دعم مسارات النص I2_S BitNet وQ1_0 Bonsai CPU، مع تحديد عائلة واضح.
واجهات وقت التشغيل
الإنشاء وخدمة HTTP الأصلية والمعايير والتحقق من الصحة وC ABI التجريبي.
مسارات CPU
أرشيفات Linux x86-64 وقياس عمل ARM64 Q1؛ يظل NEON DOTPROD هو Graviton4 الافتراضي المقاس.
بوابة اختيارية
هناك عملية منفصلة تربط استرجاع Hyphae والذاكرة والإيصالات بوقت التشغيل.
04 / الأدلة
الأدلة ونطاقها
ينشر إصدار v0.3.3 إصدار المصدر/وقت التشغيل 0.3.2 ويسجل التحقق من صحة Graviton4 وقياسات A/B.
نسخة وقت التشغيل
موزعة تحت العلامة v0.3.3
هدف المنتج الحالي
نواة معبأة تجريبية
تصف عمليات تسريع التوسعة السابقة إلى int8 كود ARM التاريخي. يستخدم مسار ARM الحالي لوحات Q1 المعبأة؛ تختلف النتائج حسب المرحلة والنموذج والتخطيط وعدد الخيوط.
ما يفعله الآن
- يتم تشغيل النماذج النصية المدعومة BitNet I2_S وBonsai Q1_0 CPU.
- يوفر أوامر التشغيل والخدمة والمقعد والتحقق والإصدار.
- يحتفظ بـ v0.3.0 C ABI المنشور ويضيف واجهات برمجة تطبيقات الامتداد ذات الحجم للخيارات الجديدة.
الاتجاهات التالية
- قم بقياس المزيد من تغييرات kernel CPU الدقيقة مقابل المراجع المثبتة.
- تحسين الجدولة وطلب الملكية قبل تقديم المطالبات على نطاق أوسع.
- حافظ على عمل المسرع التجريبي خلف حدود التحقق الواضحة.
حدود يجب وضعها في الاعتبار
- الإصدار المصدر هو 0.3.2 على الرغم من أن علامة الإصدار العامة هي v0.3.3.
- SVE2 تجريبي؛ تخطيطات ARM التاريخية الموسعة ليست هي التخطيطات الافتراضية الحالية.
- يجب إعادة بناء الثنائيات التي تم تجميعها مقابل تخطيطات خيار v0.3.1 المعطلة التي لم يتم إصدارها.
- لا يوجد استدلال GPU مدعوم، أو تحميل نموذج عشوائي، أو تجميع مستمر، أو توافق كامل مع HTTP API.
- تظل حقوق المحركات والنماذج التابعة لجهة خارجية مملوكة لأصحابها.
Hyphae BitNet