Eres más listo que la inteligencia artificial, y esta es la razón

La inteligencia artificial ha avanzado mucho en muy poco tiempo, y lo ha hecho en todos los sentidos. Gracias a esa evolución hoy podemos encontrar modelos de IA basados en LLM capaces de trabajar con miles de millones de parámetros, pero también existen otras versiones más modestas con un número de parámetros mucho más bajo que no necesitan de un hardware extremadamente potente para funcionar. Microsoft Copilot+ es el mejor ejemplo de esa evolución.

Esa evolución en potencia y escalado ha sido fundamental para que la inteligencia artificial se democratice, y para que pueda llegar al usuario de a pie. Sus posibilidades son impresionantes, ya que incluso una IA sencilla es capaz de generar imágenes altamente realistas partiendo de comandos simples, y también hay modelos que pueden generar texto y vídeo, y otros especializados en tareas de edición y de creación de contenidos.

Sin embargo, esto no debe llevarnos a pensar que la inteligencia artificial ha sido capaz de superar al ser humano, de hecho esto es algo que está todavía muy lejos. Un estudio publicado por Apple ha confirmado esta realidad, y ha demostrado que la IA basada en LLM está todavía muy limitada por una razón tan simple como importante, no es capaz de razonar.

La inteligencia artificial carece de pensamiento crítico

En su estudio Apple utilizó GSM-Symbolic, un nuevo benchmark para medir el rendimiento de la IA que permite realizar evaluaciones más controladas, y que proporciona información clave y métricas más fiables con las que medir de forma más precisa la capacidad de razonamiento de los modelos de inteligencia artificial.

Las pruebas realizadas confirmaron que los LLMs pueden ofrecer resultados muy distintos con un pequeño cambio en las palabras utilizadas, incluso cuando estas no cambian en absoluto el sentido real de la frase. Para un humano esto no supondría ningún problema, porque sería capaz de razonar y de entender que al final la idea subyacente es la misma, y que el sentido no cambia.

Esto confirma la fragilidad del razonamiento matemático, que se ve sacudido en sus cimientos en cuanto se introduce información contextual a un comando que debe interpretar una IA. Por ejemplo, un problema sencillo de sumar frutas puede dar lugar a respuestas diferentes si se introduce contexto poco importante, porque acaba confundiendo a la IA.

En el estudio se preguntó a Llama 3 con 8.000 millones de parámetros algo muy sencillo: «si un niño recoge 44 kiwis el viernes, 58 kiwis el sábado dobla el número de kiwis del vieres el domingo, pero cinco de estos son más pequeños, ¿cuántos kiwis tiene en total?» La respuesta correcta sería 190, pero la IA interpretó mal el contexto del tamaño de los kiwis, y restó cinco kiwis al total, así que su respuesta fue 185 kiwis.

Este ejemplo nos permite ver la importancia del pensamiento crítico y de la capacidad de razonar, algo que de momento sigue siendo exclusivo del ser humano. La inteligencia artificial basada en LLMs se limita a un razonamiento matemático rígido y una combinación avanzada de patrones, y como hemos visto esto es tan frágil que se puede manipular con pequeños cambios en las palabras y jugando con el contexto.

Imágenes generadas con IA.