Честные сравнения
Стратегии совместно используют внимание, MLP, токенизатор, данные, конвейер обучения и заявленные бюджеты на настройку.
Программная система 02 / Исследования
Эксперименты-трансформеры, которые объединяют гипотезу, бюджет, неудачу и результат.
Hyphae Transformer — это созданная с нуля платформа PyTorch для контролируемых исследований остаточных стратегий в преобразователях, предназначенных только для декодеров.
Превратите исследование архитектуры в воспроизводимый процесс, а не в папку со сценариями и выборочными отчетами о запусках.
01 / Benefits
Зачем нужен фреймворк
Управление, инициализируемое личностью
Канонические, разделенные и RMS-нормализованные стратегии ReZero предоставляют явные остаточные элементы и траектории.
Типизированные объекты исследования
Гипотезы, этапы, бюджеты, манифесты, доказательства и отчеты структурированы, а не подразумеваются именами файлов.
Возобновляемый и идемпотентный
Атомарные контрольные точки и истории, доступные только для добавления, восстанавливают состояние оптимизатора, источника данных и RNG; завершенные манифесты не запускаются повторно.
Отрицательные результаты сохраняются
Неудачные затравки, неубедительные интервалы, неверные попытки и решения об остановке остаются первоклассными доказательствами.
Облако с поводком
Продвижение облака требует локальных инвариантов, четкого бюджета стоимости/срока службы, извлечения артефактов и очистки.
02 / Architecture
Жизненный цикл эксперимента
Результат продвигается только через упорядоченные ворота. Промежуточные кривые не допускают произвольной остановки.
- 01
Предварительная регистрация
Вопрос, стратегия, базовый уровень, исходные данные, идентичность данных, порог эффекта, бюджеты и правила остановки.
- 02
Статическая проверка
Схемы, идентичность источника и корпуса, геометрия модели, проверки конечных состояний и контрактов
- 03
Мини-пилот
Запуск только для проверки правильности перед расходованием полного бюджета токена или оборудования.
- 04
Пилотный/полный локальный
Парные наблюдения, фиксированная сетка проверки, контрольные точки, траектории ворот, сбои и доверительные интервалы
- 05
Повышенная облачная ступень
Точный манифест, список разрешенных исполнителей, жесткое ограничение времени и затрат, извлечение артефактов и уничтожение ресурсов.
- 06
Неизменяемый отчет
Агрегированный JSON/HTML, начальные доказательства, вердикт, отсутствие претензий, дефекты протокола и следующее решение.
03 / Surface
Состав лаборатории
Основной
Шлюзы ReZero, модель только для декодера, KV-кэши групповых запросов, RMSNorm, SwiGLU, RoPE, оптимизаторы и диагностика сигналов.
Лаборатория
Типизированные схемы, средство запуска кампаний, реестр, память, бюджеты, поиск, оценщик, сериализация и отчеты.
Регулируемое обучение
Контроль замороженной магистрали обеспечивает ответ, запрос доказательств и принятие решений о воздержании со строгими границами указателя доказательств.
Данные и исполнение
WikiText-2, закрепленный контрольной суммой, канонические диапазоны enwiki8, переносимые пути, контейнеры и средство запуска манифеста, внесенное в белый список.
04 / Evidence
Что показывают текущие данные
Самый сильный продвигаемый результат узок: одна остаточная стратегия в рамках конкретной 30-месячной кампании, а не универсальное превосходство трансформатора.
парное улучшение Final-NLL
95% CI [+1.59%, +3.06%]
снижение токена до 1,8 NLL
восемь парных семян
более ранний порог в 24/48 слоев
вторичный показатель
превышение облачности сохраняется
дефект протокола остается видимым
Кампания 30M с восемью посевами преодолела заранее зарегистрированный практический порог. Предыдущие первичные вердикты по уровням глубины остались безрезультатными, а о превышении облачного бюджета сообщается, а не стирается.
Что работает сейчас
- Сравнивает пять остаточных стратегий в рамках одного контролируемого конвейера только для декодера.
- Запускает поэтапные локальные и облачные кампании на основе строгих манифестов.
- Фиксирует контрольные точки, истории, метрики, сбои, доверительные интервалы, бюджеты и отчеты.
- Поддерживает авторегрессионную генерацию и управляемый обучающий срез с замороженной основой.
Что планируется
- Проверьте, сохраняются ли наблюдаемые эффекты на более крупных параметрах, длине последовательности, корпусе и ступенях архитектуры.
- Улучшите автоматизацию Cloud Runner и артефактов перед масштабированием затрат.
- Расширьте независимую аннотированную оценку замороженной магистрали, прежде чем выдвигать какие-либо претензии к качеству продукции.
- Следите за тем, чтобы исследовательская память и рабочие процессы публикаций регулировались четкими политиками в отношении источников и достаточности.
Что не установлено
- Не сервис серийной модели и не универсальная претензия к ReZero.
- Основа оборудования подтверждает контракты на обучение и управление, а не качество производства Gemma.
- Никакие дополнительные остановки тестового набора или неравные бюджеты настройки не допускаются.
- Исторические имена пакетов и идентификаторы манифеста сохраняются для совместимости и не перезаписываются.
Hyphae Transformer