Sujet
Tous les articles d’Actu.ai consacrés à Entraînement : actualités, analyses et explications sur ce sujet lié à l’intelligence artificielle. 3 articles
En analysant 485 modèles issus de 40 familles, des chercheurs du MIT et du MIT-IBM Watson AI Lab proposent un cadre pour mieux anticiper les performances des grands modèles de langage. Leurs résultats montrent comment de petits modèles et leurs étapes d’entraînement intermédiaires peuvent orienter des choix techniques très coûteux.
Plutôt que d’interroger un moteur de recherche à chaque étape d’entraînement, Alibaba propose de simuler ses résultats avec des documents générés par IA. Baptisée ZeroSearch, cette méthode annonce un coût de 70,80 dollars pour 64 000 requêtes, contre 586,70 dollars avec des API de Google, mais suppose aussi de disposer de GPU puissants.
Entraîner un modèle de langage sur toujours plus de textes ne garantit pas de meilleurs résultats. Des chercheurs de Carnegie Mellon, Stanford, Harvard et Princeton observent qu’au-delà d’un seuil, des LLM deviennent plus fragiles et plus difficiles à ajuster à de nouveaux usages. Un constat qui interroge la course au volume de données.
