OpenAI : le modèle Orion face au mur des rendements décroissants

Les grands modèles de langage ont habitué le public à des bonds rapides : GPT-3, puis GPT-4, ont donné l’impression qu’il suffisait d’augmenter les données, la puissance de calcul et la taille des réseaux neuronaux pour obtenir une IA sensiblement meilleure. En novembre 2024, les informations entourant le projet interne Orion chez OpenAI suggèrent une réalité plus nuancée. La recette qui a porté la vague des IA génératives pourrait produire des gains moins visibles à mesure que les modèles atteignent des niveaux déjà élevés.

Orion n’est pas un produit publiquement documenté par OpenAI à cette date. Son nom de code et ses performances proviennent d’informations rapportées sur le développement interne de l’entreprise. Elles doivent donc être lues comme l’état d’un programme en cours, et non comme la fiche technique définitive d’un futur modèle. Elles éclairent néanmoins une question centrale pour l’ensemble du secteur : comment continuer à améliorer une IA quand chaque palier supplémentaire coûte davantage, exige des données plus rares et ne garantit plus une avancée proportionnelle ?

Ce que révèlent les premiers essais d’Orion

D’après les éléments rapportés, des employés d’OpenAI ont constaté qu’Orion atteignait un niveau de performance comparable à GPT-4 après environ 20 % de son entraînement. Ce résultat peut être interprété de deux manières. Il montre d’abord que l’équipe sait atteindre rapidement un niveau déjà très élevé. Mais il soulève aussi une interrogation plus gênante : quelle amélioration supplémentaire le reste de l’entraînement apporte-t-il réellement, au regard des ressources mobilisées ?

L’objectif d’un nouveau modèle ne consiste pas seulement à égaler son prédécesseur plus vite. Les utilisateurs, les clients professionnels et les investisseurs attendent des capacités nouvelles ou une fiabilité nettement supérieure : de meilleures réponses factuelles, une compréhension plus fine des instructions, des raisonnements plus solides, une programmation plus robuste ou encore moins d’erreurs. Or les progrès associés à Orion sembleraient, à ce stade, plus marginaux que ceux perçus lors du passage de GPT-3 à GPT-4.

Certains chercheurs au sein d’OpenAI se montreraient notamment prudents sur la fiabilité du modèle pour certaines catégories de problèmes. Orion pourrait être performant sur des tâches de langage, sans pour autant dépasser systématiquement ses prédécesseurs dans des domaines techniques tels que la programmation. Cette distinction est importante : un modèle peut sembler très convaincant en conversation tout en restant fragile dès qu’une tâche exige une succession longue d’étapes exactes, la vérification de contraintes ou une compréhension complète d’un code existant.

Que signifie l’expression « rendements décroissants » en IA ?

Les rendements décroissants désignent une situation simple : chaque unité d’effort additionnelle produit un bénéfice plus faible que la précédente. Dans le cas des modèles d’IA, cet effort prend plusieurs formes : davantage de données, plus de calcul informatique, des puces plus nombreuses, une durée d’entraînement accrue et un travail important de sélection ou de nettoyage des données.

Pendant plusieurs années, une tendance a marqué le développement des grands modèles de langage. En augmentant l’échelle, les équipes obtenaient souvent des améliorations tangibles dans de nombreuses tâches. Cette approche repose sur des « lois de mise à l’échelle », c’est-à-dire des régularités observées entre la quantité de ressources consacrées à un modèle et ses résultats. Ces lois ne promettent pas que toutes les capacités progressent au même rythme. Elles indiquent plutôt qu’une perte statistique peut diminuer de façon prévisible quand un système reçoit davantage de ressources.

Le problème est que les utilisateurs ne jugent pas une IA à sa seule perte statistique. Ils jugent sa capacité à produire la bonne réponse, à ne pas inventer une information, à respecter une consigne détaillée ou à corriger son propre raisonnement. Or une petite amélioration moyenne dans les mesures d’entraînement ne se traduit pas forcément par une différence spectaculaire dans ces usages.

C’est précisément le risque mis en lumière par les résultats intermédiaires d’Orion. Si des moyens beaucoup plus importants permettent seulement une amélioration perceptible dans une partie des situations, la stratégie consistant à « faire plus grand » devient moins évidente à justifier. Elle n’est pas nécessairement abandonnée, mais elle doit être complétée par d’autres méthodes.

Pourquoi les données d’entraînement deviennent-elles un goulot d’étranglement ?

Un grand modèle de langage apprend à repérer des régularités dans d’immenses ensembles de textes, de codes et, selon les systèmes, d’images ou d’autres contenus. La qualité de ce matériau compte autant que son volume. Des données mal structurées, répétitives, erronées ou peu pertinentes ne remplacent pas des contenus diversifiés et fiables.

Le secteur se heurte à une difficulté croissante : les sources de données humaines publiques et de haute qualité ne sont pas infinies. Un rapport cité dans le débat sur la disponibilité des données estime que ce réservoir pourrait être largement épuisé entre 2026 et 2032, selon les hypothèses retenues sur la croissance des besoins et l’utilisation des jeux de données. Cette projection ne signifie pas qu’il n’y aura plus aucun contenu disponible. Elle signifie que les données les plus utiles, suffisamment riches et exploitables pour entraîner des modèles toujours plus ambitieux, pourraient devenir plus difficiles à obtenir.

Cette rareté a plusieurs conséquences. Les entreprises doivent mieux filtrer leurs corpus, négocier des licences, créer des données spécialisées ou chercher à obtenir davantage de valeur à partir de données déjà disponibles. Elles doivent aussi éviter d’entraîner des modèles sur de grandes quantités de contenus produits par d’autres IA sans contrôle de qualité, au risque de multiplier les erreurs et les répétitions.

La question est aussi économique. Réunir, nettoyer, stocker et traiter des données à très grande échelle représente une dépense considérable. Si un corpus additionnel améliore peu les résultats d’un modèle, le coût marginal d’un progrès devient beaucoup plus élevé.

Une pression financière à la hauteur de la levée de fonds

Les défis d’Orion surviennent dans un contexte particulier pour OpenAI. L’entreprise a annoncé en octobre 2024 une levée de fonds de 6,6 milliards de dollars. Une telle somme donne au groupe des moyens importants pour financer l’infrastructure de calcul, la recherche et les produits. Elle renforce aussi les attentes autour de la capacité à continuer de produire des avancées significatives.

Pour une entreprise d’IA, les performances des modèles ne constituent pas seulement un enjeu scientifique. Elles déterminent la qualité des services proposés aux particuliers et aux entreprises, le coût de leur exploitation, la capacité à se différencier de concurrents toujours plus nombreux, et donc la perspective de revenus futurs. Si la prochaine génération apporte peu de différences évidentes, convaincre les clients de migrer vers une offre plus coûteuse peut devenir plus difficile.

Il faut toutefois distinguer deux réalités. D’un côté, la recherche fondamentale d’OpenAI vise des progrès de long terme et comporte nécessairement des incertitudes. De l’autre, la pression des investisseurs s’exerce dans un marché où les dépenses d’infrastructure sont immédiates et massives. Le défi consiste à faire coïncider le rythme imprévisible des percées techniques avec des besoins de financement et de commercialisation très concrets.

La post-formation, une autre voie pour rendre les modèles plus utiles

Face aux limites possibles de l’entraînement initial à très grande échelle, OpenAI envisagerait de mettre davantage l’accent sur l’amélioration post-entraînement. Cette étape intervient après l’apprentissage général sur de très grands corpus. Elle sert à spécialiser un modèle, à aligner ses réponses sur des attentes humaines, à renforcer son respect des instructions ou à améliorer sa performance sur des tâches ciblées.

Dans le langage courant, l’entraînement initial donne au modèle une grande partie de ses connaissances statistiques et de ses capacités générales. La post-formation cherche ensuite à convertir ce potentiel en comportement plus utile. Elle peut s’appuyer sur des exemples annotés, des retours humains, des évaluations automatisées et des exercices spécifiques. C’est notamment là que les équipes peuvent travailler sur la sûreté des réponses, la précision des formats demandés ou la performance dans des métiers précis.

Cette approche ne résout pas mécaniquement tous les problèmes. Elle dépend elle aussi de données de qualité, d’évaluations solides et de choix techniques difficiles. Mais elle offre une possibilité importante : obtenir des gains en travaillant plus finement sur le comportement du système, plutôt qu’en ne comptant que sur un volume toujours supérieur de paramètres, de données et de calcul.

Pourquoi la programmation reste un test décisif

La programmation est souvent présentée comme l’un des terrains les plus prometteurs pour les modèles de langage. Le code est structuré, abondant et se prête à certaines vérifications automatiques. Un assistant peut expliquer une fonction, écrire un exemple ou repérer une erreur simple. Mais les usages professionnels les plus utiles sont aussi les plus exigeants : comprendre un vaste projet, modifier plusieurs fichiers sans créer de régression, respecter des contraintes de sécurité ou diagnostiquer une erreur rare.

Dans ces situations, une réponse plausible ne suffit pas. Une seule instruction incorrecte peut empêcher un programme de fonctionner ou introduire un défaut difficile à détecter. Les réserves évoquées autour d’Orion sur les tâches techniques rappellent donc une limite plus générale : les modèles de langage excellent à générer des suites cohérentes, mais la cohérence textuelle ne garantit pas l’exactitude opérationnelle.

Pour les utilisateurs, la leçon est pratique. L’IA peut accélérer la recherche, la rédaction de code répétitif, l’explication et le prototypage. Elle ne dispense pas de tests, de relecture et de validation par une personne compétente, en particulier lorsqu’un logiciel concerne des données sensibles, des paiements, des systèmes industriels ou des services critiques.

Ce qu’il faut surveiller pour OpenAI et le secteur

La première question concerne la nature réelle des progrès d’Orion une fois son développement achevé et, le cas échéant, une fois qu’un produit sera présenté publiquement. Des résultats internes intermédiaires ne permettent pas à eux seuls de juger un modèle final. Il faudra surtout observer les gains vérifiables : fiabilité, capacité à accomplir des tâches longues, programmation, compréhension multimodale et coût d’utilisation.

La deuxième concerne les nouvelles lois de mise à l’échelle que pourrait faire émerger la post-formation. Si l’amélioration ciblée des modèles offre un meilleur rapport entre coût et performance, le centre de gravité de la compétition pourrait se déplacer. La différence ne se jouerait plus uniquement sur la taille des modèles et des centres de données, mais aussi sur la qualité des données spécialisées, des méthodes d’évaluation et des boucles de retour.

Enfin, la disponibilité des données restera déterminante. La perspective d’une raréfaction des données humaines de qualité entre 2026 et 2032 oblige déjà les acteurs à réfléchir à leurs sources, à leurs licences et à leurs procédés de contrôle. Pour OpenAI comme pour ses concurrents, la prochaine étape de l’IA ne dépendra sans doute pas d’un levier unique. Elle reposera sur une combinaison de modèles mieux entraînés, de données mieux choisies, d’outils de vérification plus rigoureux et d’applications capables de démontrer une utilité réelle.