Naomi Saphra investiga el entrenamiento para entender la inteligencia artificial

La investigadora Naomi Saphra defiende que para comprender los modelos de lenguaje es crucial estudiar su proceso de entrenamiento. Saphra, becaria en el Instituto Kempner de la Universidad de Harvard, compara su enfoque con la biología evolutiva.

Un enfoque evolutivo para la IA

Naomi Saphra sostiene que la mayoría de la investigación se centra en el producto final de los modelos, mientras que su trabajo examina la historia de su entrenamiento. «Si no comprendes los orígenes del modelo, entonces no entiendes por qué nada funciona», afirmó la investigadora. Su perspectiva se basa en la idea de que el algoritmo de Descenso Gradiente Estocástico (SGD) es fundamental, igual que la evolución lo es para la biología.

Los desafíos de la investigación

La dificultad para acceder a los modelos propietarios es uno de los mayores obstáculos. Las empresas rara vez permiten el acceso a los puntos de control intermedios del entrenamiento o a múltiples ejecuciones. Esto es crucial porque las condiciones iniciales y las variaciones aleatorias pueden dirigir el modelo de forma irreversible. Saphra utiliza esta variación para encontrar correlaciones entre la estructura interna y el comportamiento.

Por qué el proceso importa

El enfoque estándar de interpretabilidad puede llevar a equívocos. Estructuras que parecen importantes pueden ser vestigiales, como neuronas altamente selectivas en redes para clasificar imágenes que, si se suprimen durante el entrenamiento, mejoran el rendimiento del modelo. Saphra argumenta que sin estudiar el entrenamiento, es imposible distinguir lo causal de lo accesorio.

Repercusión en el campo

El trabajo de Saphra cuestiona los métodos predominantes en interpretabilidad. Mientras la mayoría busca el «cómo» funciona un modelo, ella investiga el «por qué». Su enfoque permite realizar afirmaciones más sólidas sobre el vínculo entre la estructura y el comportamiento general de los Modelos de Lenguaje Grande (LLM).

Un camino marcado por la adaptación

Durante su doctorado, Saphra desarrolló una enfermedad neurológica que le impidió escribir a mano o teclear. Esto la llevó a enfocarse en un área de investigación menos competitiva: la dinámica del entrenamiento de modelos de lenguaje. Esta decisión, tomada por necesidad, la condujo a lo que ella define como «una área de investigación realmente fantástica».