Les LLM apprennent à planifier des problèmes complexes, mais restent à évaluer

Planifier un itinéraire avec plusieurs contraintes, organiser une chaîne de production ou décomposer un objectif scientifique en étapes vérifiables exige plus qu’une réponse bien formulée. Il faut identifier ce qui compte, anticiper les conséquences d’un choix, conserver les règles imposées et réviser le plan lorsqu’une information change. C’est précisément cette capacité que les chercheurs tentent de mieux faire acquérir aux grands modèles de langage, ou LLM.

Au 2 avril 2025, les LLM sont déjà capables de résumer des documents, de rédiger, de traduire et de répondre à de nombreuses questions. Mais leur aisance linguistique ne garantit pas qu’ils sauront bâtir un plan juste et réalisable. Plusieurs axes de recherche cherchent donc à améliorer leur raisonnement : le recours à des représentations continues, comme dans l’approche Coconut, l’entraînement par approximations contrefactuelles et des évaluations plus adaptées, telles que NATURAL PLAN, développé dans l’écosystème de Google DeepMind.

Pourquoi la planification est-elle difficile pour un modèle de langage ?

La planification consiste à choisir une suite d’actions pour atteindre un objectif, tout en respectant des conditions. Dans un cas simple, il peut s’agir de déterminer l’ordre de tâches pour accomplir une démarche. Dans un environnement plus proche du monde réel, il faut aussi tenir compte du temps disponible, des ressources, des dépendances entre les actions, des règles à ne pas enfreindre et d’événements imprévus.

Un modèle de langage fonctionne avant tout en prédisant la suite la plus vraisemblable d’une séquence de texte. Cette faculté lui permet de produire des explications très convaincantes. Cependant, une explication cohérente en apparence peut masquer une erreur : une étape oubliée, une condition contradictoire ou une action proposée avant qu’elle ne soit possible.

La difficulté augmente lorsque plusieurs objectifs doivent être arbitrés. Préparer un plan de livraison, par exemple, ne revient pas simplement à connaître les adresses : il faut parfois concilier les délais, les capacités, les priorités et les aléas. Pour un LLM, le défi est de conserver toutes ces contraintes en mémoire tout au long de son raisonnement, puis de les appliquer sans les déformer.

Coconut : raisonner dans un espace latent continu

L’une des pistes explorées porte le nom de Coconut, pour « Chain of Continuous Thought », que l’on peut traduire par chaîne de pensée continue. Le principe consiste à ne pas limiter toutes les étapes intermédiaires du raisonnement à des mots ou à des phrases visibles. Certaines peuvent être représentées dans un espace latent continu.

Un espace latent désigne, en simplifiant, la représentation interne manipulée par le réseau de neurones. Au lieu de traiter uniquement une succession de mots, le modèle encode l’information sous forme de valeurs numériques. Ces représentations permettent de rapprocher des concepts, de conserver des relations et de transformer progressivement une information avant de la restituer en langage naturel.

Dans le paradigme Coconut, les données d’entrée sont ainsi transmises directement dans cet espace continu. L’ambition est d’offrir au modèle une manière plus souple de combiner plusieurs indices contextuels et de construire une réponse à un problème complexe. La recherche s’intéresse en particulier aux situations où une étape verbalisée trop tôt pourrait enfermer le modèle dans une mauvaise direction.

Cette approche ne signifie pas qu’un système devient mystérieusement infaillible parce qu’une partie de son raisonnement n’est plus écrite en toutes lettres. Elle vise plutôt à étendre les moyens de calcul et de représentation dont dispose le modèle pour traiter des relations complexes. La réponse finale doit toujours être confrontée aux faits, aux contraintes et aux résultats attendus.

Le sujet soulève aussi une question importante pour l’usage pratique : comment vérifier un raisonnement si une partie de ses opérations se déroule dans des représentations internes difficiles à lire directement ? Dans les domaines sensibles, une réponse finale claire, des contrôles indépendants et des mécanismes de validation restent indispensables.

Les approximations contrefactuelles pour isoler les décisions

Un autre axe de travail évoqué par les chercheurs repose sur les approximations contrefactuelles. Un raisonnement contrefactuel pose une question du type : que se serait-il passé si un élément précis avait été différent, tandis que les autres conditions seraient restées identiques ?

Appliquée à l’entraînement des LLM, cette méthode cherche à encourager le modèle à modifier un concept particulier sans bouleverser le reste de la situation. Elle peut aider à isoler l’effet d’une variable dans un problème de planification. Si une ressource devient indisponible, par exemple, le modèle devrait pouvoir adapter les étapes concernées, tout en préservant celles qui demeurent valides.

Cette façon de procéder répond à un défaut fréquent des réponses générées : une petite modification dans la demande peut provoquer une réécriture beaucoup trop large du plan. Or, dans la réalité, une bonne planification nécessite souvent des ajustements localisés. Il faut revoir ce qui est affecté, mais ne pas abandonner sans raison les décisions qui restaient pertinentes.

Les chercheurs soulignent toutefois que ces techniques sont gourmandes en ressources. Concevoir des scénarios alternatifs cohérents, entraîner les modèles à les distinguer et mesurer leur progression demandent du calcul, des données et des protocoles d’évaluation rigoureux. Le gain attendu est une meilleure compréhension des liens de cause à effet utiles à la décision, et non une simple production de texte plus détaillé.

NATURAL PLAN : mesurer la planification à partir d’instructions ordinaires

Il ne suffit pas de proposer de nouvelles méthodes d’entraînement : encore faut-il pouvoir mesurer leurs effets. C’est le rôle des benchmarks, ces jeux de tests standardisés qui permettent de comparer les performances de différents modèles sur une même série de tâches.

NATURAL PLAN, développé par Google DeepMind, s’inscrit dans cette démarche. Ce cadre s’intéresse à la capacité d’un modèle à comprendre des instructions rédigées en langage naturel, puis à les exécuter ou à en tirer un plan approprié. L’enjeu est central : les utilisateurs ne formulent pas leurs demandes sous la forme de programmes informatiques parfaitement structurés. Ils emploient des phrases ordinaires, parfois imprécises, contenant plusieurs conditions implicites ou explicites.

Un benchmark de planification ne mesure donc pas seulement la qualité de la prose produite. Il aide à examiner plusieurs dimensions : la compréhension de la consigne, le respect de l’ordre des actions, la prise en compte des contraintes et la cohérence de la réponse jusqu’à son terme.

Ces évaluations jouent un rôle de cartographie. Elles permettent d’identifier les situations où les modèles progressent réellement, mais aussi celles où ils échouent encore. Un bon résultat sur un test ne prouve pas qu’un LLM puisse être déployé sans supervision dans une organisation, un laboratoire ou un service public. Les environnements réels sont plus changeants, leurs données moins propres et le coût d’une erreur parfois bien plus élevé.

Des données de qualité, une ressource stratégique

La montée en puissance de ces travaux pose également la question des données nécessaires à l’entraînement. Les LLM apprennent à partir de très vastes corpus textuels. Pour les doter de meilleures capacités de planification, les chercheurs ont besoin d’exemples qui ne soient pas seulement abondants, mais aussi utiles : problèmes bien décrits, contraintes explicites, décisions justifiées et résultats évaluables.

La disponibilité de textes produits par des humains constitue un enjeu stratégique. À mesure que les modèles sont mis à l’échelle, la demande en jeux de données d’entraînement de qualité augmente. Or, accumuler davantage de textes ne suffit pas nécessairement à améliorer le raisonnement. La diversité des situations, la fiabilité des informations et la qualité des critères de correction sont tout aussi déterminantes.

L’enjeu économique est à la mesure de cette course technologique. Le marché mondial des LLM pourrait dépasser 259 milliards de dollars d’ici 2030. Cette projection illustre l’ampleur des investissements et des usages envisagés, mais elle ne préjuge pas de la capacité effective de chaque modèle à résoudre des tâches complexes avec le niveau de sûreté attendu.

Quels apports possibles pour la recherche scientifique ?

Des LLM plus compétents en planification pourraient soutenir les chercheurs dans de nombreuses tâches préparatoires. Ils pourraient aider à organiser des informations, à décomposer une question large en sous-problèmes, à proposer des pistes d’exploration ou à vérifier qu’un protocole décrit comporte les éléments annoncés.

Leur intérêt ne résiderait pas dans le remplacement du jugement scientifique. Une hypothèse doit toujours être évaluée, une méthode doit être validée et un résultat doit pouvoir être reproduit. En revanche, ces outils peuvent accélérer certaines étapes de recherche qui exigent beaucoup de lecture, de structuration et de comparaison.

Cette perspective concerne aussi bien la logistique, la finance, la santé ou l’éducation, secteurs dans lesquels la décision repose souvent sur une multitude d’informations et de contraintes. Mais plus un plan a des conséquences importantes, plus la place de la supervision humaine et de mécanismes de vérification indépendants devient essentielle.

Ce qu’il faut surveiller

Les prochaines avancées devront démontrer que les LLM ne se contentent pas de mieux expliquer un plan, mais qu’ils le construisent avec davantage de robustesse. Cela suppose des évaluations qui testent les cas ambigus, les contraintes contradictoires, les changements de contexte et les conséquences d’une erreur.

Il faudra aussi suivre la capacité des chercheurs à concilier performance et explicabilité. Les approches reposant sur un raisonnement latent continu, comme Coconut, peuvent enrichir le traitement interne des modèles. Elles renforcent en même temps le besoin de critères externes simples : le plan atteint-il l’objectif ? Respecte-t-il toutes les règles ? Peut-il être contrôlé et corrigé par une personne compétente ?

Enfin, le progrès dépendra autant de la qualité des données et des benchmarks que de la taille des modèles. Les travaux sur Coconut, les approches contrefactuelles et NATURAL PLAN dessinent une même direction : faire des LLM des assistants plus méthodiques face aux problèmes complexes, sans oublier qu’une planification utile se mesure à ses résultats, pas seulement à la fluidité de son langage.