Silicon Valley apuesta por entornos de simulación para entrenar agentes de IA
Los grandes laboratorios de IA demandan entornos de aprendizaje por refuerzo (RL) para desarrollar agentes autónomos más robustos. Startups y empresas de etiquetado de datos compiten por suministrar estos sistemas.
La nueva frontera del entrenamiento de IA
Los entornos RL son simulaciones que replican aplicaciones de software reales para que los agentes de IA practiquen tareas complejas. Se califica su desempeño y se les envía una señal de recompensa al tener éxito. Construirlos es más complejo que un conjunto de datos estático.
Actores clave y movimientos estratégicos
Empresas consolidadas como Surge y Mercor destinan recursos a desarrollar entornos RL. Scale AI, aunque ha perdido terreno, intenta adaptarse. Nuevos participantes como Mechanize Work se centran exclusivamente en este campo, ofreciendo salarios muy altos a ingenieros. Prime Intellect apuesta por hacerlos accesibles para desarrolladores más pequeños.
Inversión y repercusión en la industria
La demanda ha aumentado significativamente. Según The Information, Anthropic ha debatido invertir más de 1000 millones de dólares en entornos RL el próximo año. Surge, que facturó 1200 millones el año pasado, creó una nueva organización interna para ello.
Antecedentes de la técnica
El uso de entornos RL tiene precedentes. OpenAI construyó «RL Gyms» en 2016. Ese mismo año, el sistema AlphaGo de Google DeepMind usó técnicas RL en un entorno simulado para ganar al Go. Lo único ahora es que se aplica a modelos de transformadores para crear agentes de uso general.
¿Escalará la técnica?
La incógnita es si los entornos RL escalarán como otros métodos. Aunque han impulsado avances recientes como los modelos o1 de OpenAI y Claude Opus 4 de Anthropic, existen escepticismos. Expertos advierten de problemas como el «reward hacking», donde la IA hace trampas para la recompensa, y la gran dificultad para escalar estos sistemas de forma efectiva.
