Сопоставимые эксперименты
Делитесь ингредиентами модели, идентификаторами данных, бюджетами и правилами оценки между стратегиями.
Hyphae Transformer Исследование управляемого трансформатора
Держите вопрос, эксперимент и результат вместе.
Hyphae Transformer — это исследовательская платформа PyTorch для контролируемых экспериментов по остаточной стратегии. В более поздних работах изучаются небольшие контроллеры над замороженной моделью и ограниченная навигация с явными контрактами доказательств.
Сделайте эксперименты по архитектуре и управлению доступными для оценки с помощью фиксированных протоколов, сохраненных артефактов и видимых сбоев.
01 / Почему это важно
Почему эта работа важна
Явные объекты исследования
Храните гипотезы, исходные данные, манифесты, контрольные точки и вердикты вместе.
Управление замороженной моделью
Обучите небольшой контроллер, сохраняя при этом идентичность магистральной сети и границы политик, принадлежащих хосту.
Видимая неопределенность
Храните неубедительные первичные результаты и неудачные внешние оценки рядом с успешными запусками.
02 / Как это работает
Как это работает
Основные этапы делают видимыми границы проекта.
- 01
Определить
Зафиксируйте гипотезу, данные, исходные данные, порог эффекта и бюджет.
- 02
Подтвердить
Проверьте контракты и запустите небольшой пилотный проект на предмет корректности
- 03
Оценить
Выполнить заявленное обучение и удержанные сравнения
- 04
сохранить
Публикуйте результаты, идентификаторы артефактов, ограничения и следующее решение.
03 / Возможности
Текущие возможности
Остаточные исследования
Контролируемые сравнения остаточных стратегий только для декодера, включая ReZero с общим вентилем.
Управление экспериментом
Типизированные манифесты, возобновляемые контрольные точки, записи доказательств, бюджеты и отчеты.
Ограниченные контроллеры
Эксперименты с замороженной основой с ответом, запросом-доказательством и решением воздержаться.
Навигационные пакеты
Детерминированные опубликованные артефакты контроллера, включая калиброванную двухэтапную навигацию v2.
04 / Доказательства
Доказательства и их объем
Исторический результат 30M и последующие работы по управлению/навигации представляют собой отдельные, ограниченные линии доказательств.
парное улучшение Final-NLL
Кампания 30M, восемь парных семян
Интервал 95%
Специально для этого сравнения
калиброванный навигационный пакет
Фреймворк остается альфа-версией 0.2.0
Эксперимент 30M преодолел заранее зарегистрированный практический порог. Результаты навигации применимы к заявленным приборам и сертификатам с замороженной магистралью; ни один из них не определяет общее качество модели.
Что работает сейчас
- Запускает кампании с контролируемой архитектурой с фиксированным источником, данными и бюджетами.
- Сохраняет успешные, неубедительные и неудачные экспериментальные результаты.
- Публикует ограниченные артефакты управления и навигации над замороженными элементами модели.
Следующие направления
- Проверьте наблюдаемые эффекты на моделях других размеров, корпусах и архитектурах.
- Расширьте независимую аннотированную внешнюю оценку перед предъявлением производственных претензий.
- Расширенная навигация только по отдельно указанным и измеряемым протоколам.
Ограничения, которые следует учитывать
- Платформа альфа-исследований, а не сервис производственной модели.
- Идентификатор v2.0.0 навигационного пакета не меняет версию платформы на 2.0.0.
- Фиксированные и отложенные результаты не создают неограниченного автономного агента.
- Более ранние результаты глубины, сбои внешней тени и дефекты бюджета остаются частью записей.
Hyphae Transformer