정확한 수치 규칙
참조 확인과 함께 선언된 정수 누적 계약을 사용합니다.
Hyphae BitNet 정확한 삼진 CPU 추론
CPU 메모리와 산술을 의도적으로 사용하십시오.
Hyphae BitNet는 지원되는 삼항 모델을 위한 CPU 런타임입니다. 현재 실행 파일은 hyphae-bitnet이며, 호환성을 위해 celiums-bitnet 및 과거 ABI 이름이 유지됩니다.
명시적인 숫자, 모델, 메모리 및 하드웨어 계약을 통해 지원되는 모델 추론을 검사 가능하게 만듭니다.
01 / 왜 중요한가요?
이 작업이 중요한 이유
제한된 작업 메모리
구성된 메모리 예산을 초과하는 모델 또는 세션 할당을 거부합니다.
지원되는 모델 게이트
임의의 모델 지원을 암시하는 대신 명시적인 모델 계열 및 형식을 허용합니다.
측정 가능한 행동
모델 CPU 및 워크로드 아이덴티티를 사용하여 미리 채우기 및 디코딩을 별도로 보고합니다.
02 / 작동 원리
작동 원리
주요 단계는 프로젝트의 경계를 가시화합니다.
- 01
모델 검증
지원되는 제품군, 형식, 운영자가 고정한 모델 ID를 확인하세요.
- 02
예산 메모리
작업 세트 한도 내에서 선택한 컴퓨팅 레이아웃을 승인합니다.
- 03
CPU 커널 실행
현재 ARM 및 x86 Q1 경로는 압축 패널을 사용합니다. 미리 채우기와 디코드가 다름
- 04
결과 공개
CLI, 실험적 C ABI, HTTP 하위 집합 및 벤치마크 기록
03 / 기능
현재 기능
모델 패밀리
지원되는 I2_S BitNet 및 Q1_0 Bonsai CPU 텍스트 경로는 명시적인 제품군 선택과 함께 제공됩니다.
런타임 인터페이스
생성, 기본 HTTP 제공, 벤치마크, 검증 및 실험적인 C ABI.
CPU 경로
Linux x86-64 아카이브 및 측정된 ARM64 Q1 작업; NEON DOTPROD는 측정된 Graviton4 기본값을 유지합니다.
선택적 게이트웨이
별도의 프로세스가 Hyphae 검색, 메모리 및 영수증을 런타임에 연결합니다.
04 / 증거
증거와 그 범위
v0.3.3 릴리스는 소스/런타임 버전 0.3.2를 게시하고 Graviton4 검증 및 A/B 측정을 기록합니다.
런타임 버전
v0.3.3 태그로 배포됨
현재 제품 타겟
실험적인 압축 커널
이전의 int8로 확장 속도 향상은 과거 ARM 코드를 설명합니다. 현재 ARM 경로는 압축된 Q1 패널을 사용합니다. 결과는 단계, 모델, 레이아웃 및 스레드 수에 따라 다릅니다.
현재 기능
- 지원되는 BitNet I2_S 및 Bonsai Q1_0 CPU 텍스트 모델을 실행합니다.
- 실행, 제공, 벤치, 유효성 검사 및 버전 명령을 제공합니다.
- 게시된 v0.3.0 C ABI를 유지하고 새 옵션에 대한 크기 확장 API를 추가합니다.
다음 방향
- 고정된 참조에 대해 더욱 정확한 CPU 커널 변경 사항을 측정합니다.
- 더 광범위한 청구를 처리하기 전에 일정을 개선하고 소유권을 요청하세요.
- 실험적 가속기 작업을 명시적인 검증 경계 뒤에 유지하세요.
계속해서 살펴봐야 할 한도
- 공개 릴리스 태그가 v0.3.3이더라도 소스 버전은 0.3.2입니다.
- SVE2는 실험적입니다. 역사적 확장 ARM 레이아웃은 현재 기본값이 아닙니다.
- 출시되지 않은 손상된 v0.3.1 옵션 레이아웃에 대해 컴파일된 바이너리는 다시 빌드해야 합니다.
- GPU 추론, 임의 모델 로드, 지속적인 일괄 처리 또는 완전한 HTTP API 호환성이 지원되지 않습니다.
- 타사 엔진 및 모델 권한은 해당 소유자에게 있습니다.