El boom de ChatGPT llegó en noviembre del año pasado, pero con el paso de los meses, todos los usuarios imaginaban que esta inteligencia artificial (IA) sería más precisa a la hora de responder a preguntas o resolver problemas. Aunque desafortunadamente, parece que dicho chatbot se ha vuelto más tonto por ser más olvidadizo.
Unos investigadores de la Universidad de Stanford y de la Universidad de California publicaron un estudio que evaluaba cómo evolucionó tanto GPT-3.5 como GPT-4 en la versión gratuita de ChatGPT, ChatGPT Plus y en Bing Chat. Además, para llevar a cabo las pruebas, los expertos utilizaron la API (interfaz de programación de aplicaciones) de cada modelo para resolver preguntas de problemas matemáticos, solucionar cuestiones sensibles y generar código.
Sorprendentemente, una de las pruebas más llamativas fue el cambio de precisión entre los distintos modelos de ChatGPT al responder a la pregunta si 17077 era un número primo. Asimismo, notaron que las respuestas eran más breves porque tenían menos caracteres.
Entonces, ¿qué está pasando con ChatGPT?
El estudio llegó en un momento delicado, debido a que el foro Hacker News reveló que la calidad de ChatGPT había empeorado para muchos usuarios.
En cambio, Peter Welinder (vicepresidente de producto de OpenAI) refutaba en un tuit que "no, no hemos hecho que GPT-4 sea más tonto. Todo lo contrario: hacemos que cada nueva versión sea más inteligente que la anterior. Hipótesis actual: cuando lo usa más intensamente, comienza a notar problemas que no veía antes".
Mientras tanto, Arvind Narayanan (profesor de informática en Princeton, Estados Unidos) explica en tuit que las pruebas realizadas por los investigadores de la Universidad de Stanford y de la Universidad de California "no evalúan la corrección del código. Se limitan a comprobar si el código es directamente ejecutable. Así que el intento del nuevo modelo de ser más útil contó en su contra".
De momento, como no hay transparencia sobre cómo se utilizan los datos para entrenar a la inteligencia artificial de ChatGPT, resulta complicado evaluar la progresión de los modelos desarrollados por OpenAI.
Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.
Comentarios
Hemos bloqueado los comentarios de este contenido. Sólo se mostrarán los mensajes moderados hasta ahora, pero no se podrán redactar nuevos comentarios.
Consulta los casos en los que 20minutos.es restringirá la posibilidad de dejar comentarios