OpenAI lance o3 et o4-mini, deux modèles qui raisonnent aussi avec les images

OpenAI franchit une étape supplémentaire dans la course aux modèles capables de résoudre des problèmes complexes. Présentés le 16 avril 2025, o3 et o4-mini ne se contentent pas de produire du texte ou de décrire une photographie. Ils peuvent faire entrer une image dans leur processus d’analyse, l’examiner de plus près, puis combiner ce qu’ils y voient avec du calcul, du code, une recherche sur le web ou l’exploitation d’un fichier.

Cette capacité, qu’OpenAI qualifie de raisonnement visuel, répond à une limite très concrète des assistants conversationnels. Dans la vie courante comme au travail, les informations ne se présentent pas toujours sous la forme d’un texte proprement structuré. Elles se trouvent dans un tableau photographié, un graphique, un schéma, une feuille manuscrite, une capture d’écran ou un document pris de biais. Avec o3 et o4-mini, l’ambition est de traiter ces supports comme des éléments actifs d’un problème à résoudre.

Deux modèles de raisonnement, deux usages distincts

Les noms o3 et o4-mini renvoient à la famille de modèles de raisonnement d’OpenAI. Contrairement à un assistant qui répond immédiatement à une consigne, ce type de modèle est conçu pour consacrer davantage d’efforts à l’examen d’un problème avant de fournir une réponse. L’objectif est notamment d’améliorer les résultats sur les mathématiques, la programmation, les sciences et les questions nécessitant plusieurs étapes de réflexion.

o3 est présenté comme le modèle le plus performant des deux. Il cible les utilisateurs confrontés à des demandes difficiles, par exemple l’analyse d’un protocole scientifique, le débogage d’un programme, l’interprétation d’un jeu de données ou la résolution d’un exercice mathématique comportant plusieurs contraintes. OpenAI indique que le modèle fait 20 % d’erreurs majeures en moins qu’o1 dans des évaluations externes centrées sur des tâches réelles complexes.

o4-mini, comme son nom l’indique, adopte une approche plus compacte. Le modèle est optimisé pour offrir un raisonnement rapide et économique, tout en conservant de solides capacités en mathématiques et en code. Il ne faut donc pas l’interpréter comme une simple version appauvrie : son positionnement vise les usages intensifs où la rapidité et le coût comptent autant que la qualité de la réponse.

Que signifie réellement le raisonnement visuel ?

Un modèle multimodal peut recevoir à la fois du texte et des images. Cette possibilité existait déjà dans plusieurs assistants d’IA : on pouvait montrer une photo à un modèle et lui demander ce qu’elle représentait. Le raisonnement visuel va plus loin dans la manière dont l’image est utilisée.

Avec o3 et o4-mini, l’image peut être examinée pendant la résolution d’une demande. Le modèle peut notamment zoomer, recadrer ou faire pivoter une image afin de mieux distinguer une zone utile. Il peut ensuite confronter cette observation aux autres éléments de la consigne. Par exemple, devant la photographie peu nette d’un graphique, il peut chercher à lire les axes, identifier une tendance, puis mobiliser un calcul pour répondre à une question précise.

Cette faculté peut aussi concerner un document manuscrit mal cadré, un schéma technique, un tableau intégré à un fichier ou une image prise sous un angle peu favorable. Le modèle ne transforme pas miraculeusement une image illisible en document parfait. En revanche, il peut adapter son inspection au contenu et tenter d’extraire les indices pertinents sans exiger que l’utilisateur prépare lui-même chaque image.

L’enjeu est important, car une part considérable de l’information utile est visuelle. Un panneau de signalisation, une courbe économique, une carte, un diagramme de laboratoire ou une interface informatique demandent à la fois de reconnaître des éléments et de comprendre leurs relations. Un bon raisonnement ne consiste donc pas uniquement à nommer ce que l’on voit, mais à expliquer ce que cela implique dans le contexte de la question posée.

Des exemples d’usage concrets

Dans ChatGPT, cette évolution peut se traduire par des requêtes plus naturelles. Un utilisateur peut importer une capture d’écran d’erreur informatique et demander quelles vérifications effectuer. Il peut photographier un tableau de mesures, demander une synthèse des résultats, puis solliciter un calcul. Il peut également soumettre un graphique scientifique et demander si les données semblent étayer une hypothèse donnée.

Les modèles peuvent, selon les outils disponibles dans l’environnement utilisé, combiner leur analyse avec :

• la recherche d’informations sur le web ;
• l’exécution de code pour effectuer un calcul ou explorer des données ;
• l’analyse de fichiers ;
• la génération d’images.

Cette combinaison est essentielle. Une image seule ne suffit pas toujours à répondre correctement. Pour interpréter un graphique, il peut être nécessaire de lire une légende, de calculer un écart ou de vérifier une notion technique. L’intérêt d’o3 et d’o4-mini est de pouvoir enchaîner ces opérations dans une même démarche.

L’usage d’outils, une autonomie encadrée

OpenAI met également en avant l’aptitude d’o3 à utiliser des outils de manière autonome. Concrètement, lorsqu’une tâche le justifie et que les outils sont activés, le modèle peut décider qu’une recherche, un calcul ou une lecture de fichier est nécessaire avant de finaliser sa réponse.

Cette autonomie ne signifie pas qu’un modèle agit librement en dehors de la demande de l’utilisateur. Elle désigne sa capacité à décomposer un problème, à sélectionner les moyens pertinents et à en exploiter les résultats. Dans un échange prolongé, cela peut éviter à l’utilisateur de dicter chaque micro-étape : ouvrir une image, chercher une définition, convertir une donnée, puis rédiger une synthèse.

Il faut toutefois distinguer les capacités du modèle et les outils effectivement accessibles. Une même demande peut donner des résultats différents selon qu’elle est réalisée dans ChatGPT, dans une interface professionnelle ou via une API. L’accès au web, à un environnement de code ou à certains fichiers dépend du service et de sa configuration.

OpenAI ne donne pas accès à l’intégralité du raisonnement interne du modèle. Les utilisateurs peuvent recevoir des résumés de raisonnement, utiles pour comprendre les grandes étapes suivies, mais pas une retranscription complète des processus internes. Cette nuance compte : une réponse qui paraît méthodique doit toujours être évaluée à l’aune des sources, des calculs et du contexte réel.

À qui sont destinés o3 et o4-mini ?

Au lancement, OpenAI rend ces modèles disponibles aux abonnés de ChatGPT Plus, Pro et Team. Cette disponibilité initiale montre que l’entreprise les positionne d’abord comme des outils avancés, destinés aux personnes prêtes à utiliser des modèles de raisonnement pour des tâches plus élaborées qu’une conversation généraliste.

Pour un professionnel, o3 peut intéresser les métiers qui manipulent beaucoup de documents hétérogènes : développeurs, analystes, ingénieurs, chercheurs, enseignants ou équipes travaillant sur des données. Un assistant capable de rapprocher une image, un fichier et du code peut accélérer certaines étapes d’exploration, de vérification ou de rédaction.

o4-mini répond à une autre logique. Dans de nombreux usages, il n’est pas nécessaire de mobiliser le modèle le plus lourd pour chaque question. Un modèle plus compact peut être préférable pour analyser un grand volume de requêtes, produire des explications techniques, aider à programmer ou extraire des éléments d’images, à condition que le niveau de fiabilité soit adapté à l’enjeu.

Une avancée utile, mais pas une preuve automatique

La démonstration technologique est convaincante, mais elle appelle aussi à la prudence. Les modèles de langage peuvent se tromper, y compris lorsqu’ils affichent une réponse structurée et plausible. L’analyse visuelle ajoute ses propres difficultés : texte trop petit, mauvaise lumière, perspective, document incomplet, symboles spécialisés ou données graphiques ambiguës.

Dans les domaines où une erreur peut avoir des conséquences importantes, l’IA doit donc rester un outil d’assistance. Un résultat médical, juridique, financier, scientifique ou de sécurité ne devrait pas être validé sur la seule base d’une réponse générée. L’utilisateur doit pouvoir revenir au document original, contrôler les valeurs retenues et vérifier le raisonnement proposé.

La confidentialité mérite la même attention. Importer un document dans un assistant peut exposer des données personnelles, professionnelles ou sensibles. Avant d’envoyer une photo, un contrat, un relevé ou une capture d’écran, il est prudent de retirer les informations non nécessaires et de connaître les règles applicables au compte et au service utilisés.

Ce qu’il faut surveiller

Avec o3 et o4-mini, OpenAI fait évoluer le rôle de l’assistant conversationnel : il ne s’agit plus seulement de répondre à un texte, mais de travailler sur des matériaux variés, souvent imparfaits, tels qu’ils existent dans le quotidien. La possibilité de raisonner à partir d’une image, puis d’enchaîner avec des outils, pourrait simplifier de nombreuses tâches de bureau, d’apprentissage, d’analyse ou de développement.

La question centrale sera celle de la fiabilité en situation réelle. Les évaluations sur les mathématiques ou la programmation renseignent une partie des progrès, mais les usages les plus fréquents reposent sur des documents ordinaires, parfois flous, incomplets et chargés de contexte. Il faudra observer la capacité de ces modèles à signaler leurs incertitudes plutôt qu’à produire une interprétation trop assurée.

L’autre enjeu concerne l’accessibilité. o3 incarne la recherche de performances élevées, tandis qu’o4-mini vise un usage plus efficient. À mesure que ces capacités se diffusent, le choix d’un modèle ne dépendra pas uniquement de son niveau sur un test : il reposera aussi sur le coût, la vitesse, l’accès aux outils, la protection des données et le degré de vérification nécessaire pour chaque tâche.