Au MIT, une méthode pour entraîner des agents d’IA plus fiables

Un agent d’intelligence artificielle peut se révéler très performant dans le scénario précis sur lequel il a été entraîné, puis perdre ses repères face à une variation apparemment anodine. Une voie de circulation supplémentaire, une autre limitation de vitesse ou un flux de véhicules différent peuvent suffire à dégrader ses décisions. Des chercheurs du Massachusetts Institute of Technology, le MIT, proposent une méthode pour mieux préparer ces systèmes à cette diversité de situations, sans multiplier inutilement les données et les calculs.

Leur algorithme, baptisé Model-Based Transfer Learning, ou MBTL, ne cherche pas à entraîner un agent sur toutes les tâches disponibles de la même manière. Il sélectionne les tâches les plus instructives, celles dont l’apprentissage est le plus susceptible d’améliorer la performance sur tout un ensemble de problèmes liés. Dans des simulations de gestion des feux de circulation, les auteurs rapportent une efficacité cinq à 50 fois supérieure à celle de méthodes de référence.

Pourquoi les agents d’IA peinent-ils à s’adapter ?

Le travail s’inscrit dans le domaine de l’apprentissage par renforcement. Dans cette approche, un agent apprend en agissant dans un environnement et en recevant des signaux qui récompensent ou pénalisent ses décisions. L’idée est proche d’un apprentissage par essais et erreurs : le système teste des actions, observe leurs conséquences, puis ajuste progressivement sa stratégie afin de maximiser une récompense.

Cette méthode est particulièrement adaptée aux problèmes de décision séquentielle. Un feu de circulation, par exemple, ne doit pas seulement choisir quel axe ouvrir à un instant donné. Il doit aussi anticiper les conséquences de ce choix sur les embouteillages à venir, les autres carrefours et l’ensemble du réseau routier. Des situations comparables se retrouvent dans la robotique, certains problèmes médicaux ou la gestion d’infrastructures.

Mais l’apprentissage par renforcement a une faiblesse importante : un agent peut apprendre une stratégie très efficace pour un contexte étroit, sans savoir la réutiliser correctement lorsqu’un détail change. Dans le cas du trafic, deux intersections peuvent sembler similaires tout en différant par leur nombre de voies, leurs vitesses autorisées, la densité de circulation ou leurs schémas de déplacement. Un système formé sur l’une ne réagira pas nécessairement bien sur l’autre.

C’est un enjeu concret de fiabilité. Il ne suffit pas qu’un modèle obtienne un bon résultat moyen dans un environnement de test. Il faut aussi qu’il conserve des décisions pertinentes lorsque les conditions varient à l’intérieur de la famille de problèmes qu’il est censé traiter.

Deux stratégies classiques, deux compromis coûteux

Pour commander les feux d’un grand nombre de carrefours, un ingénieur peut schématiquement suivre deux stratégies. La première consiste à former un algorithme distinct pour chaque intersection. Elle permet d’adapter finement l’agent au lieu étudié, mais elle exige de répéter l’effort d’apprentissage et peut devenir très coûteuse en données comme en calcul.

La seconde consiste à former un modèle plus général, censé fonctionner sur toutes les intersections. Cette option peut sembler plus économique, mais l’agent risque de ne pas tenir compte des particularités décisives de chaque carrefour. Une stratégie valable pour une large moyenne n’est pas toujours la meilleure décision localement.

La proposition du MIT cherche une position intermédiaire. Plutôt que d’apprendre indifféremment sur tous les carrefours ou d’entraîner un agent isolé pour chacun d’eux, MBTL identifie un nombre plus réduit de tâches dont l’utilité est élevée pour le reste du groupe. Dans un réseau urbain congestionné, il peut donc être plus pertinent de se concentrer sur certaines intersections représentatives ou particulièrement informatives que de répartir les ressources de façon uniforme.

Comment fonctionne MBTL ?

Le nom de la méthode résume son principe. Model-Based Transfer Learning s’appuie sur l’idée de transfert d’apprentissage : un modèle entraîné sur une tâche peut apporter une partie de ce qu’il a appris à une autre tâche proche. L’intérêt est d’éviter de repartir de zéro chaque fois que l’environnement change, à condition que la relation entre les deux situations soit suffisamment utile.

Dans cette recherche, l’algorithme évalue deux dimensions. Il examine d’abord la façon dont un algorithme performant traiterait des tâches prises individuellement. Il estime ensuite comment cette performance évoluerait si l’algorithme était transféré vers d’autres tâches. À partir de ces évaluations, MBTL cherche les tâches dont l’apprentissage devrait le plus contribuer à la performance générale.

La question centrale n’est donc pas seulement : « Sur quelle tâche l’agent est-il bon ? » Elle devient : « Quelle tâche faut-il lui faire apprendre pour qu’il devienne aussi meilleur sur d’autres situations ? » Ce changement de perspective est important, car les ensembles d’entraînement peuvent comporter de très nombreux cas. Tous ne sont pas équivalents pour apprendre à généraliser.

La sélection stratégique des tâches permet de concentrer les ressources sur les expériences les plus porteuses. Selon les auteurs, l’algorithme peut ainsi atteindre des niveaux de performance similaires avec une quantité de données sensiblement réduite. C’est un point déterminant pour l’apprentissage par renforcement, qui peut demander de très nombreuses interactions simulées avant qu’une stratégie ne se stabilise.

Cathy Wu, l’une des principales autrices de l’étude, souligne l’intérêt pratique d’un algorithme relativement simple malgré les améliorations observées. Cette simplicité compte pour la recherche comme pour le développement : une méthode plus facile à mettre en œuvre et à évaluer a davantage de chances d’être reprise et confrontée à d’autres cas d’usage.

Des gains mesurés dans des simulations de trafic

Les chercheurs ont testé leur approche sur plusieurs scénarios simulés. Le contrôle de feux de circulation est un bon terrain d’évaluation, car il combine des tâches proches mais non identiques : chaque intersection fait partie du même système urbain, tout en présentant ses propres contraintes.

Les résultats rapportés font état d’une efficacité comprise entre cinq et 50 fois celle d’approches standards, selon les scénarios considérés. Autrement dit, dans ces tests, MBTL a permis d’acquérir des solutions plus efficacement que les méthodes de comparaison. Le gain revendiqué concerne surtout le processus d’apprentissage : atteindre les performances recherchées avec moins de données et moins de ressources de calcul.

Il faut interpréter ce chiffre avec précision. Une performance « 50 fois plus efficace » ne signifie pas automatiquement que les feux contrôlés par l’IA seraient 50 fois meilleurs pour les automobilistes, ni que les embouteillages seraient réduits dans la même proportion. Les chercheurs mesurent ici l’efficacité de la formation de l’agent dans leurs environnements simulés. Le passage d’un tel résultat à un déploiement opérationnel nécessiterait d’autres évaluations, notamment dans des conditions réelles.

Pourquoi la sélection des tâches peut réduire les coûts

En intelligence artificielle, l’entraînement ne dépend pas seulement de la taille d’un modèle. Le nombre et la qualité des situations auxquelles il est exposé jouent également un rôle majeur. Enseigner à un agent toutes les variantes disponibles peut représenter un volume considérable d’expériences, sans garantir que chacune apporte une information nouvelle ou utile.

Dans le cas étudié par le MIT, certaines intersections peuvent fournir des enseignements qui se transfèrent bien à d’autres, tandis que d’autres apportent une contribution plus limitée. MBTL tente de distinguer ces cas avant de consacrer des ressources importantes à l’entraînement. La méthode entend donc réduire le gaspillage d’efforts sans sacrifier la capacité de l’agent à traiter les tâches liées.

Cette logique peut intéresser des domaines où l’obtention de données ou la simulation est coûteuse. En robotique, chaque essai peut prendre du temps et entraîner une usure matérielle. En médecine, les données sont souvent limitées et les conditions d’utilisation demandent une validation particulièrement rigoureuse. Dans les infrastructures, une décision erronée peut perturber un système complexe. La recherche cite ces champs comme des domaines potentiellement concernés par l’amélioration de la prise de décision, mais ses résultats présentés portent sur des scénarios de trafic simulés.

La prudence reste donc essentielle. Le transfert d’apprentissage est utile lorsque les tâches partagent des caractéristiques significatives. S’il rapproche des situations qui ne se ressemblent qu’en apparence, il peut au contraire transmettre une stratégie inadaptée. Le choix pertinent des tâches ne dispense ni d’une définition rigoureuse des objectifs, ni de tests représentatifs, ni de mécanismes de contrôle humain lorsque les décisions ont des conséquences importantes.

Vers des problèmes plus complexes et des applications concrètes

Les chercheurs envisagent maintenant d’adapter MBTL à des problèmes plus complexes, notamment lorsque l’espace des tâches comporte davantage de dimensions. Il s’agit d’un défi de taille : dans un environnement réel, les variables ne se limitent pas au nombre de voies ou au trafic. La météo, les travaux, les comportements humains, les incidents ou les contraintes locales peuvent modifier rapidement la situation.

L’équipe prévoit aussi d’explorer des applications concrètes dans des systèmes de mobilité de prochaine génération. La promesse est attractive : mieux entraîner les agents chargés d’aider à piloter des réseaux dynamiques, tout en limitant la quantité d’entraînement nécessaire. Mais cette perspective devra être mise à l’épreuve hors des environnements de simulation, là où les données sont imparfaites et où les conséquences d’une mauvaise décision sont plus directes.

Ces travaux ont reçu notamment le soutien du NSF CAREER Award de la National Science Foundation et d’un programme de bourses doctorales d’Amazon Robotics. Ce financement illustre l’intérêt porté à des méthodes capables de rendre l’apprentissage des systèmes autonomes moins coûteux et plus adaptable.

Ce qu’il faut surveiller

La suite de cette recherche dépendra d’abord de sa capacité à changer d’échelle. MBTL devra démontrer que le choix de tâches utiles reste possible lorsque les scénarios sont beaucoup plus nombreux et que leurs relations sont moins évidentes. Les chercheurs devront également vérifier que les gains observés en simulation se maintiennent dans des contextes concrets.

Il faudra aussi évaluer la qualité des décisions au-delà de la seule efficacité d’entraînement. Dans la mobilité, par exemple, un système utile doit composer avec la sécurité, l’équité entre quartiers ou usagers, les règles locales et les priorités données aux transports publics ou aux secours. Une IA mieux formée est une étape prometteuse, mais elle ne remplace pas les choix de société ni la supervision nécessaires à la gestion d’infrastructures réelles.

La contribution du MIT rappelle enfin un principe souvent moins visible que les modèles eux-mêmes : pour rendre une IA plus compétente, il ne suffit pas de lui donner toujours plus d’exemples. Il faut aussi choisir avec soin les expériences qui lui apprendront réellement à s’adapter.