En el verano de 2022, quienes se sumergían en las aguas más profundas de la IA (investigadores, empleados de la industria, directores de IA en las empresas) sabían muy bien que OpenAI estaba preparando el lanzamiento de su próximo GPT (su modelo de lingüística o LLM). Pero no se conocieron los detalles. Ni cuándo sería, ni quién tendría acceso, ni qué nuevas capacidades demostraría respecto a la versión anterior, de uso limitado, GPT-3. Así estaban José Hernández-Orallo y Cèsar Ferri cuando, en septiembre, Lama Ahmad, investigador político de OpenAI, les propuso formar parte del equipo externo que evaluará GPT-4.
Hernández-Orallo y Ferri, ambos profesores del Departamento de Sistemas de Información e Informática de la Universitat Politècnica de València (UPV), pertenecen al mismo grupo de investigación y tienen una amplia experiencia en la evaluación de sistemas de inteligencia artificial. Quizás por eso estoy entre las poco más de 40 personas que OpenAI ha seleccionado de todo el mundo para probar su nuevo modelo de lenguaje. El objetivo era encontrar fallas en el sistema durante los seis meses previos al lanzamiento en marzo de 2023.
“Desde GPT-3 siempre nos han dado acceso gratuito a sus sistemas, a veces antes del lanzamiento, para hacer investigación”, afirma Hernández-Orallo, que colabora con OpenAI desde hace cuatro años y destaca la buena comunicación entre la empresa. investigadores que quieran analizar sus sistemas. El año pasado, aquel verano en el que se rumoreaba la llegada del próximo GPT, el acercamiento se había acercado. Investigadores de la UPV organizaron un taller en el marco de la Conferencia Internacional Conjunta sobre Inteligencia Artificial, uno de los eventos de IA más prestigiosos del año, y allí conocieron a otras personas de OpenAI. Recibieron su llamada en septiembre.
«Nos dieron mucha libertad», dice Ferri. “Solo teníamos pautas generales sobre lo que debíamos buscar, como identificar respuestas que incluyeran texto dañino, sexista o racista. El objetivo era evitar que la herramienta generara texto que pudiera causar problemas. Estábamos jugando y intentándolo diferente. requiere (instrucciones) que podrían provocar ese tipo de respuesta. Los investigadores formaron un equipo compuesto por ellos mismos y tres estudiantes: Yael Moros, Lexin Zhou y Wout Schellaert.
“Vieron que lo iban a lanzar y que iban a tener millones de usuarios, así que cuantas más cosas raras intentes, más podrás cubrir el espacio de locuras que la gente puede hacer”, explica Hernández-Orallo. Era cuestión de activar el GPT-4 para ver si tropezaba. Desde los ordenadores de su laboratorio, en la UPV, insertaron textos en los que de alguna manera invitaban al sistema a tener una respuesta con un sesgo peligroso.
buscando defectos
Ferri confiesa que para él fue emocionante ser el primero en tener acceso al instrumento. GPT-3 (lanzado de forma limitada en 2020) ya estaba funcionando muy bien, por lo que los investigadores sabían que tenían lo último en IA generativa en sus manos.
Había mucho que probar y todos experimentaron en el campo que más les interesaba. Hernández-Orallo exploró la confiabilidad: “El sistema falla donde menos te lo esperas. Y esto es bastante común con los modelos de lenguaje. Resuelve una ecuación diferencial, pero luego no suma bien una suma de cinco dígitos. Una persona en la calle está segura cuando puede resolver correctamente una ecuación diferencial de primera clase. Pero en el último paso del problema tiene que sumar dos vectores y falla”. El profesor de la UPV describe este problema como un desajuste entre las expectativas de los usuarios y la capacidad de la inteligencia artificial.
No todos los expertos seleccionados por OpenAI para evaluar GPT-4 tenían experiencia en computación. Algunos tenían formación en derecho, medicina, derechos humanos o defensa de armas químicas. El objetivo era pulir el sistema. Uno de los evaluadores, según el informe técnico publicado por OpenAI sobre GPT-4, logró, mediante una instrucción, que el sistema anotara paso a paso cómo sintetizar un compuesto químico peligroso en casa. Este tipo de respuestas fueron invalidadas para evitar que persistieran en la versión abierta al público.
Y en medio de este proceso de revisión en la sombra se desató la tormenta. El 30 de noviembre de 2022, OpenAI lanzó ChatGPT. “Para nosotros fue una sorpresa. Nadie nos dijo que había un proyecto paralelo”, afirma Hernández-Orallo. «ChatGPT aparece de la noche a la mañana y ni siquiera estábamos seguros de si era la versión que estábamos evaluando o no». Luego de unos días se aclaró que el sistema lanzado abiertamente estaba basado en GPT-3.5, una versión anterior al que estaban evaluando.
Los investigadores continuaron con su trabajo. Aún faltaban unos meses para el lanzamiento de GPT-4 y todavía estaban asombrados. “Vimos que podía resolver una búsqueda de palabras, en la que hay que buscar patrones de palabras que aparecen vertical o diagonalmente. Fue algo inesperado. Nadie esperaba que funcionara así”, afirma Ferri.
Mónica Torres
ChatGPT ahora le permite insertar gráficos en una consulta, pero en ese momento los investigadores no podían hacerlo. Para probar sus habilidades, le dieron coordenadas espaciales que, juntas, formaban una figura. «Le dijimos ‘Te daré las coordenadas en unas pocas teclas’. Le explicaste que la primera línea iba de (0,0) a (5,5) y así sucesivamente», dice Ferri. «Si se lo das a un ser humano, es difícil para él, tenemos que pintarlo. Y GPT-4 Era capaz de adivinar formas, como cuadrados, rectángulos y diseños más elaborados, como un coche o un avión». Se trataba de una capacidad de abstracción nunca antes vista en la inteligencia artificial. El investigador resume así: «Habíamos superado la barrera de la el texto».
“Con GPT-4 puedes romper cosas”
ChatGPT, inicialmente modelado a partir de GPT-3.5 y ahora también GPT-4, fue el primer sistema avanzado de generación de texto que llegó a las masas. Y los investigadores eran conscientes de que esto suponía un salto cualitativo lleno de incertidumbres. «Es cognitivamente irresponsable», dice Hernández-Orallo sobre el lanzamiento de la herramienta al público en general. “No tanto porque el sistema se salga de control o pronuncie malas palabras”, añade. Lo que le preocupa es que “estos sistemas podrían provocar atrofia cognitiva o que las personas utilicen este sistema como terapeuta o compañero de vida. Este tipo de cosas están sucediendo a un nivel mucho más bajo del que podrían haber sucedido, pero están sucediendo».
Esta preocupación está relacionada con el cataclismo ocurrido en OpenAI, cuando la junta directiva despidió al director ejecutivo Sam Altman, solo para reintegrarlo después de unos días de macabra inestabilidad. Por lo que resultó, en el centro de esta batalla estaba la cuestión de si priorizar o no la seguridad de la inteligencia artificial sobre su uso comercial.
Los investigadores dan sentido a este debate: “Hasta ahora no habíamos alcanzado un nivel tan avanzado en inteligencia artificial, por lo que muchas cosas no se podían detener. Con GPT-4 vemos que las cosas pueden estropearse, así que todavía tenemos que tomárnoslo con calma”, afirma Ferri, en referencia al deseo expresado por la comunidad investigadora de frenar la carrera de la IA para ganar margen para evaluar su impacto social.
puedes seguir La tecnología de EL PAÍS En Facebook Y X o regístrate aquí para recibir el nuestro boletín semanal.
Regístrate para continuar leyendo
Leer sin límites
_