GPT-5 ou Orion : OpenAI face au mur des données d’entraînement

Le prochain saut technologique d’OpenAI ne se jouerait pas seulement dans les centres de données ni dans la course aux puces les plus puissantes. Il dépendrait aussi d’une ressource beaucoup plus difficile à renouveler : des données de qualité. Selon des informations de presse, le projet de modèle de nouvelle génération du groupe, couramment désigné comme GPT-5 ou Orion, se heurterait à la raréfaction des contenus adaptés à un entraînement toujours plus ambitieux.

Au 22 décembre 2024, OpenAI n’a pas officiellement présenté un produit sous le nom de GPT-5 ou Orion. Ces appellations renvoient à un projet évoqué dans la presse, dont le développement aurait pris du retard. L’enjeu est considérable pour l’entreprise, valorisée à 157 milliards de dollars : après le succès de ChatGPT et de GPT-4, le marché attend de sa prochaine grande génération de modèles des progrès visibles, fiables et utiles.

Orion, un projet très ambitieux dont les résultats ne suffiraient pas encore

L’objectif prêté à Orion est vaste. Le modèle devait dépasser les générations précédentes, être capable de contribuer à des découvertes scientifiques importantes et de prendre en charge davantage de tâches habituellement réalisées par des humains. Les ambitions évoquées allaient jusqu’à un niveau de performance comparable à celui d’un doctorat en intelligence artificielle.

Cette formule doit être interprétée avec prudence. Un modèle de langage peut résoudre certains problèmes complexes, produire du code, résumer une littérature technique ou assister un chercheur. Cela ne signifie pas qu’il possède l’expérience, le jugement autonome ou la compréhension générale qu’atteste un diplôme. Mesurer un système d’IA suppose d’ailleurs de le confronter à de nombreux tests, dans des conditions variées, et pas seulement à quelques démonstrations impressionnantes.

Or les essais de formation à grande échelle n’auraient pas produit les gains de performance attendus. Les résultats opérationnels d’Orion ne justifieraient pas, à ce stade, les ressources très importantes mobilisées. La difficulté ne serait donc pas simplement de faire tourner davantage de processeurs : il faudrait aussi fournir au modèle des exemples suffisamment nombreux, variés et rigoureux pour qu’il apprenne réellement de nouvelles capacités.

Pourquoi les données sont-elles indispensables à un modèle de langage ?

Les grands modèles de langage apprennent en analysant d’immenses ensembles de textes, de codes, d’images ou d’autres contenus selon leur architecture. Durant cette phase, appelée entraînement, le système cherche des régularités : la manière dont les mots s’enchaînent, les liens entre une question et une réponse, les étapes d’un raisonnement mathématique ou encore la structure d’un programme informatique.

L’internet public a constitué une réserve déterminante pour les premières générations de modèles génératifs. Mais cette réserve a des limites. Une part des contenus est dupliquée, erronée, trop courte, insuffisamment structurée ou peu pertinente pour des tâches exigeantes. À mesure que les modèles deviennent plus ambitieux, ils ne peuvent pas seulement absorber plus de texte : ils ont besoin de données bien sélectionnées, diversifiées et adaptées aux compétences visées.

Pour un système censé mieux répondre à des questions scientifiques ou résoudre des problèmes de programmation, la qualité des exemples compte autant que leur quantité. Une explication vérifiée, une démonstration mathématique claire ou un exercice de code correctement annoté peuvent être beaucoup plus utiles qu’un grand volume de publications répétitives. Ce tri est long, coûteux et techniquement délicat.

La disponibilité des données soulève également des questions de droits, de confidentialité et de conditions d’accès. Même lorsqu’un contenu est accessible en ligne, son utilisation pour entraîner une IA n’est pas nécessairement simple sur le plan juridique ou contractuel. Le défi évoqué pour Orion s’inscrit donc dans une contrainte plus large : les données facilement accessibles et immédiatement exploitables ne sont pas infinies.

Des coûts qui changent l’équation économique

L’ampleur financière du projet illustre cette nouvelle phase de la course aux modèles. Une période de six mois d’entraînement d’Orion pourrait coûter près de 500 millions de dollars, selon les estimations rapportées. À titre de comparaison, l’entraînement de GPT-4 avait coûté environ 100 millions de dollars.

Ces montants ne concernent pas l’ensemble des dépenses d’une entreprise d’IA. Ils ne résument ni les salaires, ni les infrastructures à long terme, ni le déploiement auprès des utilisateurs, ni les travaux de sûreté et d’évaluation. Ils donnent toutefois une idée de la pression qui pèse sur une nouvelle génération de modèle : les améliorations doivent être assez significatives pour justifier une hausse aussi spectaculaire des dépenses.

Dans cette logique, un retard n’est pas anodin. Chaque expérimentation mobilise de l’électricité, des puces de calcul et des équipes spécialisées. Si les résultats ne sont visibles qu’après de très longues phases de formation, il devient difficile de corriger rapidement la trajectoire. Les défauts éventuels peuvent n’apparaître qu’une fois le modèle déjà entraîné à grande échelle.

Créer de nouvelles données plutôt que dépendre du Web

Face à la pénurie relative de contenus utilisables sur l’internet public, OpenAI chercherait à constituer d’autres réservoirs. L’une des voies consisterait à faire produire de nouvelles données par des spécialistes. Des ingénieurs logiciel et des mathématiciens auraient ainsi été recrutés afin de créer des problèmes, des solutions et des exemples adaptés à l’entraînement.

Cette méthode présente un avantage évident : les données peuvent être conçues pour une compétence précise et contrôlées avec davantage de soin. Pour apprendre à un système à résoudre un problème de mathématiques, par exemple, il est plus utile de disposer d’étapes de raisonnement correctes et de réponses vérifiées que d’une immense collection de pages mentionnant vaguement des équations.

Sa limite est tout aussi claire : produire des données expertes prend du temps. Il faut imaginer les exercices, rédiger les solutions, vérifier les erreurs, définir des critères de qualité et parfois faire relire les contenus. À grande échelle, cette production devient une activité industrielle, mais elle reste dépendante de compétences humaines rares.

OpenAI utiliserait aussi des données synthétiques, c’est-à-dire des données générées par une IA pour contribuer à l’entraînement d’un autre modèle ou d’une version ultérieure. Ce procédé peut multiplier rapidement les exemples disponibles, notamment lorsqu’ils sont filtrés ou vérifiés. Il ne remplace pourtant pas automatiquement des données humaines originales et fiables.

Les données synthétiques, une solution utile mais risquée

Les données synthétiques répondent à une difficulté pratique : créer de nombreux scénarios, questions, programmes ou raisonnements sans attendre que ces contenus apparaissent naturellement sur le Web. Elles peuvent servir à cibler des compétences particulières et à compléter des corpus existants.

Mais elles comportent un risque majeur : si un modèle génère des erreurs, des approximations ou des biais, une utilisation insuffisamment contrôlée peut les reproduire et les amplifier dans les données suivantes. C’est un problème de qualité avant d’être un problème de volume. Un système entraîné sur des réponses artificielles peu fiables peut apprendre des raisonnements fragiles, donner des réponses incohérentes ou adopter des comportements inappropriés.

Les essais évoqués autour d’Orion auraient précisément fait surgir des dysfonctionnements et des réponses inadaptées liés à cette approche. La difficulté est que ces défauts ne se manifestent pas toujours immédiatement. Ils peuvent n’être détectés qu’après une longue phase d’entraînement, lorsque revenir en arrière exige déjà de lourds investissements.

Retard d’Orion : quelles conséquences pour OpenAI ?

Le projet aurait initialement été envisagé pour une disponibilité autour de la mi-2024. À la fin de décembre 2024, cet horizon n’était manifestement pas tenu. Pour OpenAI, la situation intervient dans un contexte particulièrement exigeant : l’entreprise doit prouver qu’elle peut continuer à améliorer rapidement ses modèles tout en maîtrisant des coûts en forte hausse.

La concurrence augmente cette pression. Anthropic et Google poursuivent eux aussi le développement de modèles de pointe, avec leurs propres méthodes, infrastructures et produits. Pour un acteur qui a largement contribué à populariser l’IA générative auprès du grand public, conserver une position de référence ne dépend pas seulement de la capacité à publier un modèle plus grand. Il faut proposer des améliorations concrètes : meilleure fiabilité, réponses plus utiles, outils plus performants et comportement plus sûr.

OpenAI doit en parallèle composer avec une période de changement interne. Plusieurs dirigeants, dont un cofondateur et scientifique en chef, ont quitté l’entreprise. Sans permettre de mesurer directement l’effet de ces départs sur Orion, cette instabilité organisationnelle ajoute une difficulté à la conduite d’un programme de recherche et d’ingénierie aussi coûteux.

Il serait toutefois prématuré d’en déduire l’échec du projet. Les délais et les résultats intermédiaires font partie du développement de systèmes d’IA de pointe. L’information importante est ailleurs : la simple recette consistant à additionner des données publiques, des capacités de calcul et des paramètres de modèle semble rencontrer des rendements moins évidents.

Ce qu’il faut surveiller

Les prochains mois devront montrer comment OpenAI arbitre entre plusieurs options : investir dans la production de données spécialisées, améliorer le contrôle des données synthétiques, revoir les méthodes d’entraînement ou privilégier des modèles plus ciblés plutôt qu’un unique système toujours plus vaste.

Pour les utilisateurs, le débat dépasse le nom d’un futur modèle. Il concerne la nature même des progrès attendus de l’IA générative. Les prochaines avancées viendront-elles surtout d’une augmentation des budgets et des volumes de calcul, ou d’une amélioration plus fine des données, des évaluations et des méthodes de raisonnement ? Le cas d’Orion suggère que la deuxième voie devient au moins aussi déterminante que la première.

La réponse aura des conséquences pour tout le secteur. Si les meilleures données deviennent la ressource rare, les entreprises capables de les produire, de les vérifier et de les utiliser de façon responsable pourraient prendre un avantage décisif. Dans cette course, l’enjeu ne sera plus seulement d’entraîner le plus grand modèle, mais de construire le plus utile et le plus fiable.