Alibaba présente Marco-o1, un modèle ouvert pour le raisonnement des IA

Lorsqu’un modèle de langage doit répondre à une question simple, produire le texte le plus probable peut suffire. Mais pour démontrer un théorème, résoudre un problème de physique ou déboguer un programme, la difficulté change de nature : il faut découper le problème, tester des hypothèses, détecter une erreur et parfois repartir dans une autre direction. C’est sur ce terrain du raisonnement explicite qu’Alibaba entend avancer avec Marco-o1, présenté en novembre 2024 par son équipe MarcoPolo.

Le projet vise les tâches dites de raisonnement, qu’elles aient une réponse clairement vérifiable ou qu’elles nécessitent d’explorer plusieurs solutions possibles. Marco-o1 s’intéresse notamment aux mathématiques, à la physique et à la programmation. Son originalité ne tient pas seulement au modèle lui-même, mais à la méthode employée pour le faire progresser : produire des étapes de raisonnement, explorer différentes branches de résolution, puis réexaminer les réponses obtenues.

L’initiative s’inscrit dans une compétition technologique plus large autour des modèles capables de « réfléchir » plus longtemps avant de livrer leur réponse. OpenAI avait notamment mis en avant, avec sa famille o1, des modèles consacrant davantage de calcul à des problèmes complexes. Alibaba assume cette filiation technique tout en proposant Marco-o1 et des ressources associées à la communauté de recherche.

Marco-o1, un modèle pour les problèmes qui demandent plusieurs étapes

Un grand modèle de langage, ou LLM, est particulièrement à l’aise pour générer et reformuler du texte. Sa fiabilité devient toutefois plus fragile lorsqu’une réponse exige une succession d’opérations exactes. Une erreur de calcul au début d’un raisonnement peut fausser toute la suite, même si l’explication paraît convaincante à première vue.

Marco-o1 a été conçu pour mieux faire face à cette difficulté. Il cible à la fois des tâches conventionnelles, dont les critères de réussite sont bien définis, et des problèmes plus ouverts, dans lesquels il faut choisir une stratégie, explorer différentes voies ou composer avec plusieurs formulations possibles.

Les domaines mis en avant par l’équipe MarcoPolo sont révélateurs :

• les mathématiques, où la réponse dépend d’enchaînements logiques et de calculs cohérents ;
• la physique, qui combine compréhension d’un énoncé, choix de formules et raisonnement quantitatif ;
• la programmation, où une solution doit non seulement paraître plausible, mais fonctionner conformément à des contraintes précises.

L’ambition n’est donc pas de remplacer les modèles conversationnels généralistes par un outil séparé. Elle consiste plutôt à améliorer une compétence devenue centrale pour les assistants d’IA : la capacité à ne pas s’arrêter à la première réponse vraisemblable.

Chaîne de pensée et recherche arborescente, deux méthodes complémentaires

Marco-o1 s’appuie sur plusieurs techniques déjà explorées par la recherche en IA. La première est la chaîne de pensée, souvent désignée par l’expression anglaise Chain-of-Thought ou CoT. Le principe consiste à décomposer un problème en étapes intermédiaires au lieu de demander directement une réponse finale.

Pour un exercice de mathématiques, par exemple, cette approche peut conduire le modèle à identifier les données utiles, à poser les opérations nécessaires et à vérifier que le résultat est compatible avec l’énoncé. Cette décomposition peut améliorer la résolution des tâches complexes, à condition que les étapes intermédiaires restent elles-mêmes fiables.

La seconde technique est la recherche arborescente Monte Carlo, ou Monte Carlo Tree Search (MCTS). Plutôt que de suivre un unique chemin de raisonnement, le système peut en explorer plusieurs, comme les branches d’un arbre. Certaines pistes sont approfondies, d’autres sont abandonnées si elles semblent moins prometteuses.

Cette méthode est connue dans les systèmes qui doivent effectuer une recherche parmi de nombreuses possibilités. Appliquée au raisonnement d’un modèle de langage, elle permet de comparer des réponses partielles et d’accorder davantage d’attention aux chemins susceptibles de mener à une bonne solution.

Le recours au MCTS est particulièrement important dans la proposition d’Alibaba. Les expérimentations citées par l’équipe montrent que les versions enrichies par cette recherche arborescente obtiennent des gains significatifs par rapport à Marco-o1-CoT, la version de base centrée sur la chaîne de pensée. L’article de présentation ne fournit cependant pas tous les résultats absolus permettant de mesurer ces écarts tâche par tâche.

Pourquoi la taille des étapes de raisonnement compte

L’un des apports spécifiques de Marco-o1 concerne la granularité des actions examinées dans le cadre du MCTS. Une « action » peut correspondre à une étape assez large du raisonnement, ou au contraire à une intervention plus fine dans la séquence générée par le modèle.

L’équipe MarcoPolo a expérimenté plusieurs niveaux de détail, y compris des mini-étapes de 32 ou 64 tokens. Un token est une unité de texte manipulée par le modèle : il ne correspond pas exactement à un mot, mais peut représenter un mot, une partie de mot ou un signe de ponctuation.

Cette distinction est loin d’être seulement technique. Des étapes trop longues permettent d’avancer rapidement, mais elles risquent de cacher une erreur au milieu d’un bloc de raisonnement. Des étapes très courtes donnent davantage de prises pour examiner les choix du modèle, au prix d’une exploration plus coûteuse et potentiellement plus lente.

Alibaba cherche donc un équilibre entre deux exigences :

• explorer assez largement les solutions possibles ;
• garder une finesse suffisante pour corriger le raisonnement lorsqu’il dévie.

Le modèle inclut aussi un mécanisme de réflexion. Son rôle est d’inciter Marco-o1 à s’auto-évaluer et à reprendre son raisonnement lorsque cela semble nécessaire. Cette idée d’une vérification interne est importante pour les problèmes à plusieurs étapes, où une réponse finale peut être incorrecte pour une raison localisée dans un passage antérieur.

Plus de 60 000 exemples pour spécialiser l’entraînement

La performance d’un modèle de raisonnement dépend autant de sa méthode d’exploration que de la qualité des données utilisées pour l’entraîner. Pour Marco-o1, l’équipe indique avoir mis en place une stratégie de fine-tuning reposant sur plusieurs ensembles de données.

Le fine-tuning, ou ajustement fin, consiste à reprendre un modèle déjà entraîné sur de vastes quantités de textes et à l’adapter à des tâches plus précises avec des exemples sélectionnés. Ici, le corpus comprend plus de 60 000 échantillons soigneusement retenus.

Les données citées par Alibaba se répartissent en trois sources principales : une version filtrée du CoT Dataset d’Open-O1, un ensemble synthétique conçu pour Marco-o1, ainsi qu’un Marco Instruction Dataset. Les données synthétiques sont produites artificiellement, généralement par des modèles, puis sélectionnées ou filtrées selon les besoins de l’entraînement. Les données d’instructions servent quant à elles à apprendre au système à suivre une demande formulée par un utilisateur.

Cette combinaison répond à un enjeu courant pour les LLM : un modèle peut disposer de nombreuses connaissances générales sans avoir appris à exposer une démarche robuste dans une situation de résolution. Des exemples de raisonnement structurés et des consignes bien formulées peuvent contribuer à l’orienter vers ce type de comportement.

Il reste néanmoins essentiel de distinguer deux aspects. La capacité à présenter un raisonnement détaillé n’est pas, à elle seule, une preuve de justesse. Et l’évaluation d’un modèle ne peut pas se limiter aux exemples vus durant son entraînement : elle doit aussi mesurer son comportement face à de nouveaux problèmes.

Quels résultats Marco-o1 affiche-t-il en plusieurs langues ?

Alibaba met également l’accent sur la dimension multilingue de son modèle. Les tests rapportés font état d’une amélioration de précision de 6,17 % sur MGSM en anglais et de 5,60 % sur la version chinoise du même jeu de données.

MGSM est un benchmark employé pour évaluer la résolution de problèmes mathématiques de niveau scolaire dans différentes langues. Il ne mesure donc pas simplement la traduction d’une phrase. Il vérifie que le modèle comprend l’énoncé, conserve les relations entre les nombres et applique un raisonnement correct dans la langue évaluée.

Ces chiffres sont présentés comme des gains de précision. Ils ne permettent pas, à eux seuls, d’établir un classement général entre Marco-o1 et tous les modèles concurrents, notamment parce que les scores de départ et le protocole complet de comparaison ne sont pas détaillés ici. Ils indiquent néanmoins que les méthodes testées ont produit des améliorations mesurables sur ce benchmark dans les deux langues.

Alibaba souligne aussi des capacités de traduction, notamment pour les expressions colloquiales et les nuances culturelles. C’est un point important : dans les applications multilingues, le défi ne se résume pas à convertir les mots d’une langue à l’autre. Une IA doit aussi préserver l’intention, le registre et les implicites d’une formulation.

Un projet ouvert, mais encore loin d’un modèle o1 abouti

Marco-o1 n’est pas présenté par ses auteurs comme un produit final. L’équipe reconnaît explicitement que, malgré des caractéristiques de raisonnement solides, le modèle ne constitue pas encore un modèle « o1 » pleinement réalisé. Cette prudence est significative dans un domaine où les démonstrations spectaculaires peuvent masquer des limites de robustesse ou de coût de calcul.

La publication du modèle et des ensembles de données associés sur le dépôt GitHub d’Alibaba donne toutefois au projet une dimension utile pour la recherche. La documentation mise à disposition comprend des instructions d’installation et des scripts d’exemple pour employer directement le modèle. Cette ouverture permet à d’autres équipes d’étudier les méthodes proposées, de reproduire les expérimentations et d’identifier d’éventuels axes d’amélioration.

L’accès au code et aux données ne signifie pas automatiquement que Marco-o1 sera simple à déployer dans tous les contextes. Les approches reposant sur l’exploration de plusieurs chemins de raisonnement peuvent nécessiter davantage de calcul qu’une génération unique et directe. Leur intérêt dépendra donc de l’usage : pour une question brève, cette dépense peut être disproportionnée ; pour une tâche difficile où l’erreur a un coût, elle peut être plus justifiée.

Ce qu’il faut surveiller dans les prochaines étapes

Alibaba prévoit d’intégrer des modèles de récompense afin d’améliorer les décisions prises pendant la recherche. Deux pistes sont citées : l’Outcome Reward Modeling (ORM), qui évalue le résultat final d’une réponse, et le Process Reward Modeling (PRM), qui évalue les étapes du raisonnement.

La différence est décisive. Un système qui juge seulement le résultat peut manquer une démarche fragile ayant abouti par chance à la bonne réponse. Un système qui tient compte du processus peut, en théorie, mieux repérer les étapes erronées ou encourager une méthode plus fiable. Mais construire un bon modèle de récompense reste difficile : il faut pouvoir distinguer réellement une bonne justification d’un texte qui en a simplement l’apparence.

L’équipe MarcoPolo envisage également de recourir à l’apprentissage par renforcement pour affiner les compétences de résolution de problèmes de Marco-o1. Dans ce cadre, le modèle apprend à privilégier les comportements qui reçoivent les meilleures évaluations selon les critères définis.

Pour les observateurs, trois éléments seront particulièrement importants : la qualité des futurs modèles de récompense, la reproductibilité des gains annoncés par des équipes indépendantes, et le coût pratique de ces méthodes de recherche. Marco-o1 illustre en tout cas une orientation claire de l’IA générative fin 2024 : les progrès ne reposent plus uniquement sur des modèles plus grands, mais aussi sur de meilleures stratégies pour chercher, vérifier et corriger une réponse avant de la donner.