Thinking Machines Lab investiga cómo eliminar la aleatoriedad en respuestas de IA
El laboratorio de Mira Murati busca que los modelos de Inteligencia Artificial den respuestas consistentes. La no determinística actual hace que una misma pregunta genere resultados diferentes. La investigación se centra en el proceso de inferencia dentro de las GPU.
Un problema con solución a la vista
Thinking Machines Lab publicó su primera entrada en el blog de investigación ‘Connectionism’. El artículo «Derrotando el no determinismo en la inferencia de LLM» desglosa la causa raíz de la aleatoriedad en las respuestas de los modelos de IA. El investigador Horace He argumenta que el origen está en la forma en que se ensamblan los kernels de las GPU durante el procesamiento.
Implicaciones más allá de la consistencia
Lograr respuestas reproducibles no solo beneficiaría a empresas y científicos, sino que también podría mejorar el entrenamiento por aprendizaje por refuerzo (RL). He señala que este proceso, que recompensa a los modelos por respuestas correctas, se ve afectado por la inconsistencia, generando datos «ruidosos». Una IA más determinística haría que todo el proceso de RL fuera «más fluido».
El contexto de una startup valorada en 12.000 millones
Thinking Machines Lab, fundada por la ex Directora de Tecnología de OpenAI Mira Murati, opera con 2.000 millones de dólares de financiación inicial y un equipo de ex investigadores de OpenAI. The Information informó previamente que el laboratorio ha dicho a los inversores que planea utilizar RL para personalizar modelos de IA para empresas.
Hacia un primer producto y una cultura de transparencia
Murati anunció en julio que el primer producto del laboratorio se presentará en los próximos meses y será «útil para investigadores y startups que desarrollan modelos personalizados». Aunque aún no está claro si utilizará las técnicas de esta investigación, el laboratorio se ha comprometido a publicar con frecuencia blogs, código e información sobre su investigación para «beneficiar al público y mejorar nuestra propia cultura de investigación».
