Experimentos comparables
Comparte los componentes del modelo, las identidades de los datos, los presupuestos y las reglas de evaluación entre estrategias.
Hyphae Transformer Investigación controlada con transformers
Mantén unidas la pregunta, la prueba y el resultado.
Hyphae Transformer es un framework de investigación en PyTorch para experimentos controlados sobre estrategias residuales. Los trabajos posteriores estudian pequeños controladores sobre un modelo congelado y navegación acotada con contratos explícitos de evidencia.
Hacer evaluables los experimentos de arquitectura y control mediante protocolos fijos, artefactos conservados y fallos visibles.
01 / Por qué es importante
Por qué importa este trabajo
Objetos de investigación explícitos
Conserva juntos las hipótesis, las semillas, los manifiestos, los puntos de control y los veredictos.
Control sobre un modelo congelado
Entrena un controlador pequeño mientras conserva la identidad del modelo base y los límites de política que define el sistema anfitrión.
Incertidumbre visible
Conserva los resultados primarios inconclusos y las evaluaciones externas fallidas junto con las ejecuciones exitosas.
02 / Cómo funciona
Cómo funciona
Las etapas principales hacen visibles los límites del proyecto.
- 01
Definir
Fijar la hipótesis, los datos, las semillas, el umbral de efecto y el presupuesto
- 02
Validar
Comprobar los contratos y ejecutar un pequeño piloto de corrección
- 03
Evaluar
Ejecutar el entrenamiento declarado y las comparaciones con datos reservados
- 04
Conservar
Publicar los resultados, las identidades de los artefactos, los límites y la siguiente decisión
03 / Capacidades
Capacidades actuales
Estudio de estrategias residuales
Comparaciones controladas de estrategias residuales en modelos de solo decodificador, incluido ReZero con compuerta compartida.
Gestión de experimentos
Manifiestos tipados, puntos de control reanudables, registros de evidencia, presupuestos e informes.
Controladores acotados
Experimentos sobre un modelo base congelado con decisiones de responder, solicitar evidencia o abstenerse.
Paquetes de navegación
Artefactos publicados de controladores deterministas, incluida la navegación calibrada de dos pasos v2.
04 / Evidencia
La evidencia y su alcance
El resultado histórico de 30M y el trabajo posterior de control y navegación son líneas de evidencia separadas y de alcance acotado.
mejora pareada en NLL final
Campaña 30M, ocho semillas pareadas
intervalo del 95%
Específico para esa comparación
paquete de navegación calibrado
El framework continúa en alpha 0.2.0
El experimento 30M superó el umbral práctico prerregistrado. Los resultados de navegación corresponden a los casos de prueba y certificados indicados, con el modelo base congelado; ninguno establece la calidad general del modelo.
Lo que hace hoy
- Ejecuta campañas controladas de arquitectura con código, datos y presupuestos fijados.
- Conserva resultados experimentales exitosos, inconclusos y fallidos.
- Publica artefactos acotados de control y navegación sobre representaciones de modelos congelados.
Próximas líneas de trabajo
- Probar los efectos observados en otros tamaños de modelo, corpus y arquitecturas.
- Ampliar la evaluación externa con anotaciones independientes antes de afirmar su aptitud para producción.
- Avanzar en navegación mediante protocolos especificados y medidos por separado.
Límites a tener en cuenta
- Es un framework de investigación en alpha, no un servicio de modelos para producción.
- El identificador v2.0.0 del paquete de navegación no cambia la versión del framework a 2.0.0.
- Los resultados en casos de prueba y datos reservados no establecen un agente autónomo sin restricciones.
- Los resultados anteriores sobre profundidad, los fallos en evaluaciones externas en sombra y los defectos de presupuesto siguen formando parte del registro.
Hyphae Transformer