Comment l’IA passe de l’ordre des mots à leur sens pour apprendre à lire
Les modèles de langage ne comprennent pas les phrases d’un seul coup. Une étude théorique montre qu’un réseau neuronal peut d’abord s’appuyer sur la place des mots, puis basculer brutalement vers leur sens lorsqu’il reçoit assez de données. Un résultat qui éclaire les mécanismes de l’attention au cœur des IA génératives.























