Les modèles de raisonnement IA s’effondrent-ils face aux problèmes complexes ?

Les modèles présentés comme capables de « réfléchir » plus longtemps constituent l’une des grandes promesses de la course à l’intelligence artificielle. Plutôt que de livrer immédiatement une réponse, ils décomposent un problème en étapes et consacrent davantage de puissance de calcul à la recherche d’une solution. Mais une étude de chercheurs d’Apple, rendue publique en juin 2025, met en évidence une limite troublante : lorsque des problèmes logiques deviennent suffisamment complexes, leur taux de réussite peut tomber à zéro.

Le résultat ne signifie pas que les assistants d’IA sont inutiles, ni qu’ils échouent à chaque demande difficile. Il concerne des tâches bien définies, exécutées dans un cadre expérimental précis. Il invite toutefois à relativiser l’idée selon laquelle allonger la chaîne de raisonnement d’un modèle suffirait à lui conférer une capacité générale et fiable à résoudre n’importe quel problème.

Une étude conçue pour mesurer le raisonnement, pas seulement la qualité d’une réponse

Les auteurs s’intéressent aux large reasoning models, ou LRM, que l’on peut traduire par grands modèles de raisonnement. Ces systèmes appartiennent à la famille des grands modèles de langage, les LLM. Leur particularité est de consacrer davantage de temps et de calcul à une requête avant de produire une réponse finale. Ils peuvent ainsi explorer plusieurs pistes, détailler une démonstration ou corriger une étape intermédiaire.

L’étude compare ces modèles avec des modèles de langage plus classiques. Les chercheurs ont notamment testé o3 d’OpenAI, Gemini Thinking de Google, Claude 3.7 Sonnet-Thinking d’Anthropic et DeepSeek-R1. L’objectif n’était pas de juger leur talent de conversation, d’écriture ou de synthèse, mais leur capacité à appliquer avec rigueur des règles logiques quand la difficulté augmente progressivement.

C’est un point essentiel. Dans une question de culture générale ou une demande ouverte, il est parfois difficile de déterminer avec certitude si une réponse est juste, ou de mesurer exactement sa difficulté. Les puzzles utilisés ici permettent au contraire de faire varier un paramètre précis, comme le nombre d’objets à déplacer ou de contraintes à respecter, et de vérifier objectivement le résultat.

Tour de Hanoï et traversées de rivière : pourquoi ces puzzles sont révélateurs

Parmi les exercices retenus figurent la tour de Hanoï et des problèmes de traversée de rivière. Ces jeux de logique sont particulièrement adaptés à l’expérience, car ils ont des règles simples, des solutions vérifiables et une complexité qui peut rapidement augmenter.

Dans la tour de Hanoï, il faut déplacer une pile de disques de tailles différentes d’un support à un autre, en ne déplaçant qu’un disque à la fois et sans jamais poser un grand disque sur un plus petit. Avec peu de disques, la tâche est abordable. Mais le nombre de mouvements nécessaires augmente très vite à mesure que l’on ajoute des disques.

Les problèmes de traversée de rivière reposent sur une logique comparable : plusieurs personnages ou objets doivent changer de rive en respectant des contraintes précises. Un déplacement apparemment raisonnable peut rendre la situation impossible à résoudre à l’étape suivante. Le modèle doit donc anticiper les conséquences de chacune de ses décisions, et non se contenter de proposer une réponse qui semble plausible.

Ces tâches ne reflètent pas à elles seules tous les usages de l’IA. Elles fournissent en revanche un test exigeant de planification, de mémoire des états intermédiaires et d’exécution méthodique. Ce sont précisément les qualités attendues d’un système présenté comme capable de raisonner.

Trois zones de performance, puis un seuil critique

L’un des apports les plus intéressants de la recherche est de distinguer trois régimes de complexité. Cette grille évite une lecture trop simple consistant à dire que les modèles de raisonnement sont soit supérieurs, soit défaillants.

Dans les tâches de faible complexité, les modèles de langage standard peuvent faire mieux que les LRM. Les modèles de raisonnement disposent en théorie de davantage de ressources, mais cette dépense de calcul ne se traduit pas toujours par une meilleure réponse. Ils peuvent emprunter des détours, examiner des hypothèses inutiles ou produire de longues explications là où une solution directe suffisait.

Quand la difficulté devient intermédiaire, les LRM prennent l’avantage. Leur capacité à détailler les étapes, à vérifier des contraintes et à explorer plusieurs solutions semble alors pertinente. C’est le terrain où leur promesse se matérialise le mieux : consacrer davantage de calcul à un problème permet effectivement d’améliorer les résultats.

Le troisième régime est le plus préoccupant. Au-delà d’un certain niveau de complexité, les chercheurs observent un effondrement total de la précision. Les modèles de raisonnement ne réussissent plus les problèmes soumis, tandis que les modèles standard échouent également. Autrement dit, le supplément de calcul et les longues étapes de raisonnement ne suffisent plus à franchir le seuil.

Il faut entendre cette expression dans son sens expérimental. Elle décrit le taux de réussite sur les instances les plus difficiles des puzzles étudiés. Elle ne veut pas dire que chaque système d’IA cesse de fonctionner dans tous les contextes complexes, ni qu’un assistant conversationnel ne peut plus donner de réponse utile dès qu’une demande comporte plusieurs paramètres.

Le paradoxe d’un effort qui diminue lorsque la difficulté augmente

Les chercheurs relèvent un phénomène particulièrement contre-intuitif. À l’approche de ce seuil critique, les modèles semblent réduire leur effort de raisonnement alors même que le problème exige davantage de travail. Ils produisent moins d’exploration utile, après avoir parfois suivi des pistes incorrectes ou dépensé des ressources sur des étapes qui ne rapprochent pas de la solution.

Cette observation pose une question plus profonde que celle du simple score à un benchmark. Si un système ne sait pas identifier qu’il atteint la limite de ses capacités, il risque de fournir une réponse affirmative et structurée alors que son raisonnement est incomplet ou erroné. Une explication longue n’est donc pas, à elle seule, une garantie de fiabilité.

Les résultats montrent aussi une forme de gaspillage de puissance de calcul. Sur des problèmes simples, les LRM peuvent mobiliser des ressources superflues. Sur des problèmes plus durs, ils peuvent explorer des réponses incorrectes avant d’atteindre, parfois, la bonne solution. Puis, lorsque la complexité augmente encore, ils échouent malgré leurs mécanismes de raisonnement.

Une limite des modèles actuels, pas un verdict définitif sur l’IA

Les conclusions doivent être interprétées avec prudence. Les puzzles logiques sont très utiles pour isoler une compétence, mais ils ne couvrent pas toute l’intelligence humaine ni toutes les formes de résolution de problèmes. Un modèle peut être faible dans une tâche de manipulation rigoureuse de règles tout en restant performant pour résumer un texte, traduire, classer des documents, générer du code ou assister un utilisateur dans un cadre bien délimité.

L’étude ne permet donc pas d’affirmer que les LRM sont incapables de raisonner. Elle montre en revanche que leur raisonnement n’est pas robuste à toutes les échelles de difficulté. Cette nuance compte dans un secteur où les démonstrations impressionnantes peuvent donner l’illusion d’une compétence générale.

Les auteurs soulignent également que les modèles peuvent échouer même face à des procédures dont la solution est connue. Le problème ne relève donc pas seulement d’un manque de créativité ou d’information. Il touche à l’exécution fiable d’étapes logiques et à la gestion d’une complexité croissante.

Cette réserve est particulièrement importante lorsque l’IA intervient dans des situations où une erreur peut avoir des conséquences concrètes : calculs financiers, décisions administratives, systèmes industriels, développement logiciel ou analyse de données sensibles. Dans ces domaines, une réponse convaincante doit pouvoir être contrôlée par une règle, un outil spécialisé ou un humain compétent.

Pourquoi l’étude relance le débat sur l’intelligence artificielle générale

Les ambitions autour de l’AGI, l’intelligence artificielle générale, reposent sur l’idée qu’un système pourrait un jour accomplir une grande diversité de tâches intellectuelles au niveau humain ou au-delà. Or, la capacité à résoudre des problèmes inédits, à planifier et à appliquer des règles complexes fait partie des qualités généralement associées à cette perspective.

C’est pourquoi l’étude d’Apple a suscité des réactions dans la communauté de l’IA. Gary Marcus, universitaire connu pour ses mises en garde concernant les limites des modèles de langage, a qualifié ces résultats de dévastateurs pour les attentes placées dans les approches actuelles. Des spécialistes liés à l’Institut pour l’IA centrée sur les personnes de l’Université de Surrey ont également estimé que ces observations pouvaient indiquer une impasse pour certaines trajectoires de développement suivies par l’industrie.

Le mot « impasse » ne signifie pas que la recherche est arrêtée. Il traduit plutôt une interrogation : l’augmentation de la taille des modèles, de leurs données et du temps de calcul suffira-t-elle à faire émerger une capacité de raisonnement véritablement généralisable ? Ou faudra-t-il associer les LLM à d’autres mécanismes, capables de vérifier formellement un résultat, de manipuler des symboles ou de planifier avec des garanties plus fortes ?

Au 10 juin 2025, OpenAI, Google et Anthropic avaient été sollicités pour réagir aux résultats rapportés, sans réponse communiquée. Leur silence ne vaut évidemment ni confirmation ni infirmation des conclusions de l’étude, mais il souligne la sensibilité du sujet pour des entreprises qui misent largement sur les capacités de raisonnement de leurs nouveaux modèles.

Ce que les utilisateurs et les entreprises peuvent en tirer

Pour le grand public, l’enseignement le plus utile est simple : il ne faut pas confondre fluidité verbale, raisonnement visible et exactitude. Un assistant peut expliquer une solution de manière très persuasive tout en commettant une erreur dans une étape clé. Plus un problème comporte de contraintes, de calculs successifs ou de conséquences importantes, plus la vérification est indispensable.

Pour les organisations, cette étude renforce l’intérêt d’une évaluation adaptée au cas d’usage réel. Tester un outil avec quelques requêtes convaincantes ne suffit pas. Il faut aussi augmenter progressivement la difficulté, introduire des cas limites, mesurer le taux d’erreur et prévoir une procédure de contrôle lorsque le système ne sait pas résoudre une demande.

Quelques précautions se dégagent :

• privilégier des tâches où le résultat peut être vérifié automatiquement ou par un expert ;
• ne pas utiliser une explication détaillée comme unique preuve de correction ;
• distinguer les usages d’assistance, où l’humain garde la décision, des usages automatisés à fort enjeu ;
• mesurer à la fois la qualité des réponses et la quantité de calcul nécessaire pour les obtenir.

Ce qu’il faut surveiller

La suite du débat dépendra d’abord de la reproduction de ces résultats par d’autres équipes et sur d’autres catégories de problèmes. Les puzzles de logique permettent une mesure précise, mais il faudra déterminer si des effondrements comparables apparaissent dans la programmation, les mathématiques, la recherche documentaire complexe ou la planification opérationnelle.

Il faudra aussi surveiller la façon dont les concepteurs de modèles répondent à cette limite. Des progrès pourraient venir de systèmes hybrides combinant un modèle de langage avec des outils de calcul, des vérificateurs formels ou des solveurs spécialisés. Mais ces solutions devront elles aussi être évaluées sur leur capacité à reconnaître leurs erreurs et à rester fiables lorsque les tâches changent d’échelle.

L’étude d’Apple ne ferme pas la porte au progrès des modèles de raisonnement. Elle rappelle cependant une exigence fondamentale : avant de leur déléguer des problèmes complexes, il faut savoir précisément ce qu’ils résolvent, à quel coût et à partir de quel seuil ils cessent de le faire correctement.