OpenAI dévoile o3, un modèle de raisonnement aux scores records

Le douzième et dernier jour de Shipmas, la série d’annonces d’OpenAI organisée du 5 au 20 décembre 2024, n’a pas pris la forme d’une simple mise à jour de ChatGPT. L’entreprise a présenté o3, un nouveau modèle conçu pour consacrer davantage de calcul à la résolution de problèmes complexes, ainsi qu’o3-mini, une déclinaison annoncée comme plus économique et plus réactive. Les chiffres mis en avant sont élevés. Ils méritent toutefois d’être lus pour ce qu’ils sont : des résultats sur des évaluations précises, pas la démonstration qu’une intelligence artificielle générale serait déjà atteinte.

Cette nuance est essentielle. OpenAI présente o3 comme le successeur d’o1, son précédent modèle de raisonnement. Ces systèmes ne se distinguent pas seulement par leur capacité à rédiger un texte fluide ou à résumer un document. Ils sont entraînés pour consacrer plus de temps de calcul à une question avant de répondre, notamment lorsqu’elle demande des étapes de logique, de programmation, de mathématiques ou de science. En contrepartie, leur utilisation peut être plus lente et plus coûteuse qu’avec un modèle conversationnel classique.

Au 21 décembre 2024, ni o3 ni o3-mini ne sont encore proposés au grand public. OpenAI prévoit d’abord une phase d’évaluation par des chercheurs extérieurs spécialisés dans la sécurité.

o3, le nouveau modèle de raisonnement d’OpenAI

Le terme « modèle de raisonnement » désigne ici une famille de modèles capables de mobiliser davantage de ressources lors de l’inférence, c’est-à-dire au moment où ils répondent à une requête. Plutôt que de livrer immédiatement la suite de mots la plus probable, le système peut explorer un problème plus longuement, vérifier certaines pistes et adapter son effort à la difficulté de la tâche.

Cette approche ne transforme pas l’IA en machine infaillible. Un modèle peut toujours mal interpréter une consigne, inventer une information ou échouer face à une situation qui sort de ses exemples d’entraînement. Elle peut en revanche améliorer ses résultats sur des exercices où une réponse courte exige en réalité une succession d’opérations rigoureuses : corriger un programme, déduire une règle visuelle, résoudre un problème mathématique inédit.

OpenAI qualifie o3 de « frontier model », expression couramment employée dans le secteur pour désigner les systèmes situés à la frontière des capacités disponibles. L’annonce intervient à la fin d’une séquence de douze jours durant laquelle la société a aussi dévoilé ou enrichi plusieurs produits et services. Avec o3, le message est surtout technologique : OpenAI entend faire progresser ses modèles sur les tâches de raisonnement difficiles, un terrain devenu central dans la compétition entre laboratoires d’IA.

Des scores élevés sur ARC-AGI, le logiciel et les mathématiques

OpenAI a communiqué trois résultats particulièrement remarqués. Le premier concerne ARC-AGI, un test fondé sur des petites grilles colorées. Le modèle doit déduire la règle qui relie plusieurs exemples, puis l’appliquer à une nouvelle grille. L’objectif est d’évaluer une forme de généralisation à partir d’un très faible nombre d’exemples, plutôt que la restitution de connaissances encyclopédiques.

Sur cette évaluation, OpenAI affirme que o3 atteint 87,5 %, au-delà du score humain moyen de référence de 85 % cité dans son annonce. Ce résultat attire l’attention parce qu’ARC-AGI a longtemps résisté aux modèles de langage généralistes. Mais il ne permet pas, à lui seul, de conclure qu’une machine possède une compréhension générale du monde. Le test reste un ensemble fini de problèmes abstraits, et le score dépend aussi du niveau de calcul autorisé au système.

Le deuxième résultat porte sur SWE-bench Verified, une évaluation de programmation. Le modèle reçoit des problèmes issus de véritables projets logiciels et doit produire un correctif qui passe les tests prévus. OpenAI attribue à o3 un score de 71,7 %, présenté comme une amélioration d’environ 20 points par rapport à o1. Pour les développeurs, ce type de mesure est plus concret qu’un questionnaire à choix multiples : il vérifie si une modification de code fonctionne effectivement dans un environnement défini.

Enfin, o3 dépasse 25 % de réussite sur FrontierMath, un ensemble de problèmes de mathématiques avancées élaboré avec Epoch AI. Cette barre peut sembler modeste à première vue. Elle est pourtant significative au regard de la difficulté revendiquée par ce benchmark, conçu pour contenir des questions auxquelles les modèles précédents répondaient rarement correctement. Là encore, il ne faut pas confondre réussite sur une collection d’énoncés avec maîtrise générale des mathématiques : la vérification indépendante, la reproductibilité et la gestion des erreurs comptent autant que le score brut.

Ces trois résultats ne se recouvrent pas totalement. Un outil très performant sur les grilles d’ARC-AGI ne sera pas nécessairement un excellent assistant de programmation, et un système qui réussit un exercice de code n’est pas automatiquement fiable pour expliquer une décision médicale, juridique ou financière. Les benchmarks servent surtout à comparer des progrès, à condition d’examiner leurs conditions d’exécution.

o3-mini veut réduire le coût du raisonnement

Parallèlement à o3, OpenAI annonce o3-mini. Il ne s’agit pas seulement d’une version allégée destinée à afficher des réponses plus vite. L’ambition est de proposer des performances comparables à celles d’o1, tout en diminuant la latence et le coût. Cette variante peut intéresser les développeurs qui veulent intégrer des capacités de raisonnement dans un produit sans réserver le même budget ou le même temps de calcul qu’aux modèles les plus lourds.

La principale particularité annoncée est un réglage du temps de réflexion selon trois niveaux : bas, moyen et haut. Le principe est simple. Pour une question routinière, un niveau faible doit privilégier la rapidité. Pour un raisonnement plus délicat, un niveau plus élevé autorise le système à consacrer davantage d’effort au problème. Cette possibilité d’arbitrage reflète une évolution importante de l’IA générative : la performance ne dépend plus uniquement de la taille du modèle, mais aussi du calcul mobilisé au moment de répondre.

Dans la pratique, ce réglage ne dispense pas l’utilisateur de vérifier le résultat. Augmenter le temps de raisonnement peut améliorer les chances de résoudre une tâche complexe, mais cela ne garantit ni l’exactitude des faits fournis au modèle ni l’adéquation de sa réponse au contexte réel. Un développeur devra toujours tester son application, et un professionnel ne doit pas déléguer une décision engageante à un système automatique sans contrôle humain adapté.

Pourquoi OpenAI ne rend pas encore o3 public

L’annonce ne correspond pas à un lancement immédiat dans ChatGPT ou via une interface de programmation ouverte à tous. OpenAI indique mettre en place un programme de tests de sécurité destiné à des chercheurs. Les candidatures sont ouvertes jusqu’au 10 janvier 2025. L’objectif est d’observer plus largement les comportements des modèles, d’identifier des usages risqués et de recueillir des retours avant une disponibilité élargie.

Cette prudence tient aussi à la nature des capacités mises en avant. Un système meilleur en programmation ou en résolution de problèmes peut être utile pour les chercheurs, les ingénieurs et les entreprises. Il peut aussi faciliter des usages indésirables s’il est mal encadré. Les évaluations externes ne remplacent pas les protections techniques, mais elles permettent de confronter un modèle à des scénarios que son créateur n’aurait pas nécessairement anticipés.

Le calendrier communiqué reste progressif : o3-mini est attendu à la fin janvier 2025, puis o3 doit suivre. Au 21 décembre 2024, aucune date de disponibilité publique précise n’est annoncée pour le modèle complet. Cette distinction entre présentation, accès limité aux évaluateurs et lancement commercial est importante, car les annonces de modèles de pointe précèdent souvent de plusieurs semaines, voire davantage, leur accès effectif.

La « deliberative alignment », une sécurité fondée sur le raisonnement

OpenAI accompagne o3 d’une méthode de sécurité baptisée deliberative alignment, que l’on peut traduire par alignement délibératif. L’idée consiste à exploiter les capacités de raisonnement du modèle pour l’aider à interpréter et appliquer des règles de sécurité lorsqu’il reçoit une demande potentiellement problématique.

Concrètement, au lieu de reposer uniquement sur des filtres qui reconnaissent des mots ou des formulations interdites, le modèle est entraîné à prendre en compte les spécifications de sécurité et à évaluer le contexte de la demande. Une même expression peut en effet être anodine dans un cadre éducatif et problématique si elle vise à faciliter un acte dangereux. La promesse de cette méthode est donc une application plus fine des règles, en limitant à la fois les réponses nocives et les refus injustifiés.

Cette approche présente néanmoins une difficulté connue : un modèle chargé d’interpréter des règles reste un système probabiliste. Il peut se tromper sur l’intention d’un utilisateur, manquer un contexte important ou appliquer la politique de manière incohérente. L’alignement ne constitue pas un bouton magique de sécurité. Il associe des consignes, un entraînement spécifique, des tests, des mécanismes de surveillance et, pour les usages sensibles, des garde-fous humains.

o3 est-il une étape vers l’AGI ?

OpenAI inscrit cette annonce dans sa quête de l’AGI, pour Artificial General Intelligence, ou intelligence artificielle générale. Cette expression désigne généralement une IA qui pourrait accomplir un très large éventail de tâches intellectuelles avec une souplesse comparable à celle d’un humain. Le problème est qu’il n’existe pas de définition unique, ni de test universellement reconnu permettant de déclarer qu’une AGI a été atteinte.

Les résultats d’o3 suggèrent une progression sur des tâches de raisonnement qui avaient mis en difficulté les modèles précédents. C’est une information importante pour suivre l’état de l’art. Mais une IA générale devrait aussi faire preuve de robustesse dans des contextes très variés, apprendre de nouvelles situations, comprendre les contraintes du monde réel, reconnaître ses incertitudes et rester fiable sur la durée. Les scores communiqués le 20 décembre ne couvrent pas à eux seuls ces exigences.

Employer l’expression « étape vers l’AGI » est donc pertinent au sens stratégique : OpenAI considère le raisonnement comme une brique essentielle de cet objectif. Ce serait excessif si cela laissait entendre qu’o3 a franchi la ligne d’arrivée. La présentation d’un nouveau modèle très performant marque un jalon de recherche et de produit, pas la résolution du problème de l’intelligence générale.

Ce qu’il faut surveiller avant le lancement

Les prochaines semaines devront d’abord confirmer comment o3 et o3-mini se comportent hors des benchmarks. Les résultats du programme de sécurité, les conditions d’accès, les tarifs éventuels et les limites d’usage compteront autant que les performances annoncées. Pour o3-mini, la question centrale sera de savoir si la baisse de latence et de coût se vérifie dans des applications concrètes sans dégrader excessivement la qualité.

Il faudra aussi suivre la reproductibilité des scores. Les évaluations indépendantes sont particulièrement utiles lorsqu’un modèle affiche un bond important : elles aident à déterminer si le gain se maintient avec d’autres paramètres, d’autres niveaux de calcul et d’autres familles de problèmes. Enfin, l’adoption dépendra de la capacité d’OpenAI à concilier puissance et contrôle. À mesure que les modèles deviennent plus capables de raisonner, programmer et automatiser certaines tâches, les exigences de sécurité et de transparence deviennent elles aussi plus élevées.