सटीक संख्यात्मक नियम
संदर्भ जांच के साथ घोषित पूर्णांक संचय अनुबंध का उपयोग करें।
Hyphae BitNet सटीक टर्नरी CPU इन्फ़रेंस
CPU मेमोरी और अंकगणित का जानबूझकर उपयोग करें।
Hyphae BitNet समर्थित टर्नरी मॉडल के लिए एक CPU रनटाइम है। इसका वर्तमान निष्पादन योग्य hyphae-bitnet है, संगतता के लिए celiums-bitnet और ऐतिहासिक ABI नाम बरकरार रखे गए हैं।
स्पष्ट संख्यात्मक, मॉडल, मेमोरी और हार्डवेयर अनुबंधों के माध्यम से समर्थित मॉडल अनुमान को निरीक्षण योग्य बनाएं।
01 / यह क्यों मायने रखता है?
यह काम क्यों मायने रखता है
बंधी हुई कार्यशील स्मृति
कॉन्फ़िगर किए गए मेमोरी बजट से अधिक मॉडल या सत्र आवंटन को अस्वीकार करें।
समर्थित-मॉडल द्वार
मनमाना मॉडल समर्थन लागू करने के बजाय स्पष्ट मॉडल परिवारों और प्रारूपों को स्वीकार करें।
मापने योग्य व्यवहार
मॉडल, CPU और कार्यभार पहचान के साथ अलग से प्रीफ़िल और डीकोड की रिपोर्ट करें।
02 / यह कैसे काम करता है
यह कैसे काम करता है
मुख्य चरण परियोजना की सीमाओं को दृश्यमान बनाते हैं।
- 01
मॉडल को मान्य करें
समर्थित परिवार, प्रारूप और ऑपरेटर-पिन किए गए मॉडल पहचान की जाँच करें
- 02
बजट स्मृति
वर्किंग-सेट कैप के भीतर चयनित कंप्यूट लेआउट को स्वीकार करें
- 03
CPU कर्नेल चलाएँ
वर्तमान ARM और x86 Q1 पथ पैक्ड पैनल का उपयोग करते हैं; प्रीफिल और डीकोड अलग-अलग हैं
- 04
परिणाम उजागर करें
CLI, प्रायोगिक C ABI, HTTP सबसेट और बेंचमार्क रिकॉर्ड
03 / क्षमताएं
वर्तमान क्षमताएँ
आदर्श परिवार
स्पष्ट पारिवारिक चयन के साथ समर्थित I2_S BitNet और Q1_0 बोनसाई CPU टेक्स्ट पथ।
रनटाइम इंटरफ़ेस
जेनरेशन, मूल HTTP सेवा, बेंचमार्क, सत्यापन और एक प्रयोगात्मक सी एबीआई।
CPU पथ
Linux x86-64 अभिलेख और मापा गया ARM64 Q1 कार्य; NEON DOTPROD मापा गया Graviton4 डिफ़ॉल्ट बना हुआ है।
वैकल्पिक प्रवेश द्वार
एक अलग प्रक्रिया Hyphae पुनर्प्राप्ति, मेमोरी और प्राप्तियों को रनटाइम से जोड़ती है।
04 / सबूत
साक्ष्य और उसका दायरा
v0.3.3 रिलीज़ स्रोत/रनटाइम संस्करण 0.3.2 प्रकाशित करता है और Graviton4 सत्यापन और A/B माप रिकॉर्ड करता है।
रनटाइम संस्करण
टैग v0.3.3 के तहत वितरित
वर्तमान उत्पाद लक्ष्य
प्रायोगिक पैक्ड कर्नेल
पहले के एक्सपैंड-टू-int8 स्पीडअप ऐतिहासिक ARM कोड का वर्णन करते हैं। वर्तमान ARM पथ पैक किए गए Q1 पैनल का उपयोग करता है; परिणाम चरण, मॉडल, लेआउट और थ्रेड गिनती के अनुसार भिन्न होते हैं।
अभी क्या करता है
- समर्थित BitNet I2_S और बोनसाई Q1_0 CPU टेक्स्ट मॉडल चलाता है।
- रन, सर्व, बेंच, वेलिडेट और वर्जन कमांड प्रदान करता है।
- प्रकाशित v0.3.0 C ABI को बरकरार रखता है और नए विकल्पों के लिए आकार के एक्सटेंशन API जोड़ता है।
अगले निर्देश
- पिन किए गए संदर्भों के विरुद्ध अधिक सटीक CPU कर्नेल परिवर्तनों को मापें।
- शेड्यूलिंग में सुधार करें और दावों को व्यापक रूप से पेश करने से पहले स्वामित्व का अनुरोध करें।
- प्रयोगात्मक त्वरक कार्य को स्पष्ट सत्यापन सीमाओं के पीछे रखें।
ध्यान में रखने योग्य सीमाएँ
- स्रोत संस्करण 0.3.2 है, भले ही सार्वजनिक रिलीज़ टैग v0.3.3 है।
- SVE2 प्रायोगिक है; ऐतिहासिक विस्तारित ARM लेआउट वर्तमान डिफ़ॉल्ट नहीं हैं।
- अप्रकाशित टूटे हुए v0.3.1 विकल्प लेआउट के विरुद्ध संकलित बायनेरिज़ को फिर से बनाया जाना चाहिए।
- कोई समर्थित GPU अनुमान, मनमाना मॉडल लोडिंग, निरंतर बैचिंग, या पूर्ण HTTP एपीआई संगतता नहीं।
- तृतीय-पक्ष इंजन और मॉडल अधिकार उनके संबंधित स्वामियों के पास रहते हैं।
Hyphae BitNet