Sujet
Tous les articles d’Actu.ai consacrés à Inférence : actualités, analyses et explications sur ce sujet lié à l’intelligence artificielle. 4 articles
Les grands modèles de langage produisent habituellement leurs réponses mot après mot, un procédé qui peut devenir lent sur les demandes élaborées. Des chercheurs du MIT et de Google proposent PASTA, une méthode qui apprend à repérer les parties indépendantes d’une réponse afin de les générer simultanément.
Hugging Face ajoute l’infrastructure de Groq à son réseau de fournisseurs d’inférence. Les développeurs peuvent ainsi exécuter des modèles open source, dont Llama 4 et QwQ-32B, sur des puces pensées pour les modèles de langage, avec le choix entre leur propre compte Groq ou une facturation centralisée chez Hugging Face.
AMD a recruté l’ensemble de l’équipe d’ingénieurs d’Untether AI, une société canadienne spécialisée dans les puces d’inférence à faible consommation. L’opération ne constitue pas un transfert annoncé des produits : Untether AI arrête de fournir et de soutenir son processeur speedAI et son environnement logiciel imAIgine SDK.
OpenAI travaillerait avec Broadcom sur une puce spécifiquement conçue pour l’inférence, c’est-à-dire l’étape où un modèle d’IA répond aux demandes des utilisateurs. Le projet, qui pourrait aussi mobiliser le fabricant TSMC, illustre la course aux composants capables de faire fonctionner l’IA plus efficacement à grande échelle.
