La IA es mejor que 100 CIENTÍFICOS para generar IDEAS innovadoras, según Stanford University. ¡Menudo titular! 😲

Os debo decir que me ha sorprendido bastante cuando lo he leido, porque esto viene a confirmar que una máquina puede competir con la creatividad humana en la ciencia. ¿es cierto?

Para darle un poco de rigor a esta afirmación os hablo de la investigación «Can LLMs Generate Novel Research Ideas?», realizada por Chenglei Si, Diyi Yang y Tatsunori Hashimoto de la Universidad de Stanford.

✍ https://www.arxiv.org/abs/2409.04109

El reto de las ideas innovadoras: IA vs. expertos humanos

El estudio parte de una premisa muy interesante: comparar las ideas generadas por LLMs con las propuestas por expertos en procesamiento de lenguaje natural (NLP). El resultado, sorprendentemente, mostró que las ideas generadas por IA fueron consideradas más novedosas que las humanas. A través de una evaluación ciega realizada por más de 100 investigadores.

No nos quedemos solo en el titular 💡

Las propuestas de IA sobresalieron en creatividad, aunque con una pequeña desventaja en términos de factibilidad.

Aquí es donde surge uno de los desafíos para la IA y del cual ya hemos hablado en alguna ocasión: la falta de diversidad en las ideas. A pesar de generar miles de propuestas, solo un pequeño porcentaje de estas ideas era verdaderamente único.

De hecho, de las 4000 ideas generadas, solo 200 eran únicas. Esto sugiere que, aunque los LLMs pueden producir muchas ideas, muchas de ellas terminan siendo variaciones de una misma propuesta, lo que limita la capacidad del modelo para ofrecer un rango amplio de propuestas originales.

Entonces, ¿Qué tan lejos estamos de un investigador autónomo?

La investigación también reveló que, aunque los LLMs pueden generar muchas ideas, no son buenos evaluadores de sus propias creaciones. De hecho, los modelos actuales no son capaces de juzgar con precisión cuáles de sus ideas son viables o merecen más atención.

Esto es comparable a un grupo de estudiantes que, tras una lluvia de ideas, no logra discernir cuáles son las mejores propuestas. La evaluación sigue siendo un terreno en el que la intervención humana es imprescindible.

Los LLMs ya son herramientas valiosas para estimular la creatividad y explorar nuevas posibilidades. Sin embargo, aún dependen de la revisión y el refinamiento humanos para llevar las mejores ideas a la práctica.

Esto me plantea una reflexión que os dejo, en relación también a los buenos resultados en el campo de ciencia obtenidos por o1-preview

¿Cómo será la colaboración entre investigadores y la IA en los próximos años?