Apple y su estocada a los LRM

El texto escrito por Paul Lara el 9 de Junio de 2025 resume un nuevo estudio de Apple que critica severamente las capacidades de razonamiento de los modelos de lenguaje grandes (LRM), como Claude, DeepSeek-R1 y o3-mini. El estudio, una continuación de investigaciones anteriores, utiliza nuevos juegos de rompecabezas para demostrar las limitaciones de estos modelos, incluso cuando se les proporciona potencia computacional ilimitada.

Un dato importante es que los modelos de "razonamiento" colapsan completamente hasta alcanzar 0% de precisión al enfrentarse a problemas complejos que no han visto antes.

📝 Puntos clave

• Apple presentó un estudio que critica la capacidad de razonamiento de los LRM.
• El estudio utiliza nuevos juegos de rompecabezas para evaluar los modelos, en lugar de las pruebas matemáticas tradicionales.

• Publicidad
• Los modelos, incluyendo Claude, DeepSeek-R1 y o3-mini, fallan al enfrentarse a problemas complejos, incluso con recursos ilimitados.
• A medida que los problemas se vuelven más difíciles, los modelos utilizan menos tokens y se rinden más rápido.
• El estudio refuerza las críticas de Subbarao (Rao) Kambhampati y Gary Marcus sobre la sobreantropomorfización de los rastros de razonamiento de los LRM.
• Los modelos no pueden resolver de manera fiable problemas clásicos como la Torre de Hanói, incluso cuando se les proporciona el algoritmo de solución.
• El estudio sugiere que las probabilidades de que los modelos actuales alcancen la IAG (Inteligencia Artificial General) son remotas.

❓ Lo malo y lo bueno

¿Cuál es la principal crítica negativa que se desprende del texto sobre los LRM?

La principal crítica negativa es que los LRM actuales, a pesar de los avances y la potencia computacional, demuestran ser incapaces de razonar de manera fiable fuera de la distribución de datos a los que han sido entrenados. Esto se evidencia en su incapacidad para resolver problemas complejos como la Torre de Hanói, incluso cuando se les proporciona el algoritmo de solución.

¿Qué aspecto positivo, si es que hay alguno, se puede rescatar del texto sobre la investigación de Apple y su impacto en el campo de la IA?

Aunque el texto es crítico, el aspecto positivo es que la investigación de Apple proporciona una evaluación rigurosa y objetiva de las limitaciones de los LRM. Esto puede ayudar a enfocar los esfuerzos de investigación y desarrollo en áreas más prometedoras, en lugar de simplemente escalar los modelos existentes. Además, destaca la importancia de comprender las verdaderas capacidades y limitaciones de la IA para evitar la sobreantropomorfización y las expectativas poco realistas.