Comment Snowflake veut réduire l’avance de Databricks dans l’intelligence artificielle

Snowflake ne cherche plus seulement à entreposer et analyser les données de ses clients. À l’automne 2024, l’éditeur veut faire de sa plateforme un espace où les entreprises peuvent aussi préparer leurs données, exploiter des modèles de machine learning, interroger des documents en langage naturel et construire des applications d’intelligence artificielle. Cette évolution répond à une faiblesse historique : face à Databricks, Snowflake est arrivé plus tard dans le domaine du machine learning.

La compétition ne se joue pas uniquement sur la puissance d’un modèle de langage. Pour les entreprises, la valeur de l’IA dépend surtout de la capacité à relier les modèles aux données internes, à contrôler les accès, à suivre les résultats et à mettre les applications en production sans multiplier les outils. C’est sur cette intégration que Snowflake entend faire valoir ses atouts.

Un retard historique face à Databricks dans le machine learning

Snowflake et Databricks proposent tous deux des plateformes conçues pour travailler sur de grands volumes de données, mais leurs trajectoires sont différentes. Databricks s’est positionné très tôt sur le traitement des données et le machine learning, bien avant l’essor de l’IA générative. Cette antériorité lui a permis de développer des outils dédiés à l’entraînement, au déploiement et au suivi des modèles.

Snowflake, de son côté, s’est d’abord imposé comme une plateforme de données cloud. Cette spécialisation lui a donné une base solide pour centraliser des données et les rendre accessibles, mais elle l’a aussi placé en retrait sur certains usages avancés de l’apprentissage automatique. L’arrivée massive des grands modèles de langage, ou LLM, a changé la donne : elle ouvre la voie à des fonctions prêtes à l’emploi, plus simples à activer que la construction complète d’un modèle de machine learning sur mesure.

Pour rattraper son concurrent, Snowflake a donc renforcé son environnement de data engineering. Celui-ci sert à bâtir et exécuter des pipelines, autrement dit des chaînes d’opérations qui collectent, nettoient, transforment et préparent les données. Cette étape est déterminante : un modèle, même performant, ne produit pas de résultats fiables si les informations qui l’alimentent sont incomplètes, mal organisées ou inaccessibles.

L’éditeur a aussi mis en place un atelier de machine learning intégré à sa plateforme. Il comprend notamment un model store, qui aide à gérer les modèles, et un feature store, destiné à organiser les variables utilisées lors de leur entraînement et de leur exécution. Des mécanismes de monitoring viennent compléter l’ensemble pour surveiller les modèles, y compris les risques d’hallucinations des systèmes génératifs.

Cortex AI, le pari de services IA managés et serverless

Le cœur de la réponse de Snowflake à l’IA générative s’appelle Cortex AI. Il s’agit d’un ensemble de services managés et serverless. Dans ce modèle, l’entreprise cliente n’a pas à installer ni administrer elle-même l’infrastructure informatique qui exécute les requêtes. Elle consomme les fonctions proposées par la plateforme, ce qui peut réduire la complexité opérationnelle.

Cortex AI donne accès à des LLM de plusieurs fournisseurs. Snowflake a notamment conclu des accords pour proposer des modèles de Meta et de Mistral. L’intérêt n’est pas seulement d’élargir un catalogue : selon une tâche donnée, un client peut choisir le modèle qui semble le plus adapté, en tenant compte des performances attendues et du coût d’exécution.

Les fonctions visées couvrent notamment :

• la traduction de contenus ;
• la synthèse de textes ;
• la génération de requêtes en langage SQL ;
• l’exploitation de modèles de langage pour des usages métier.

Le SQL est le langage couramment utilisé pour interroger des bases de données. Pouvoir le générer à partir d’une question rédigée en langage naturel peut faciliter l’accès aux données, à condition que les droits d’accès et la validation des requêtes soient correctement encadrés.

Benoit Dageville, cofondateur de Snowflake, souligne que l’IA générative demande des compétences moins complexes que le machine learning traditionnel. L’idée est qu’une entreprise peut obtenir des résultats utiles en s’appuyant sur un modèle existant et sur ses propres données, sans nécessairement lancer un programme long et coûteux d’entraînement de modèle depuis zéro.

Snowflake privilégie également des LLM plus légers et spécialisés. Cette approche vise à limiter les ressources machines nécessaires à l’inférence, c’est-à-dire au moment où le modèle répond effectivement à une requête. Les utilisateurs peuvent par ailleurs recourir à des modèles tiers via leurs interfaces de programmation, ce qui étend les possibilités offertes par la plateforme.

Le fine-tuning pour adapter des modèles sans exploser les coûts

Tous les besoins ne nécessitent pas un très grand modèle de langage généraliste. Pour une tâche circonscrite, comme classer les appels reçus par un centre d’appels, un modèle de taille moyenne adapté au contexte de l’entreprise peut être plus pertinent. C’est l’objectif du fine-tuning, ou ajustement fin : spécialiser un modèle existant à partir de données représentatives d’un cas d’usage précis.

Snowflake a développé une technologie destinée au fine-tuning de modèles de taille moyenne. L’enjeu est double. Il s’agit d’abord de rapprocher le modèle du vocabulaire, des catégories et des règles propres à une organisation. Il s’agit ensuite de maintenir un coût de fonctionnement compatible avec un déploiement régulier.

L’éditeur permet aussi d’entraîner des modèles avec Snowpark Container Services. Il ne s’agit pas nécessairement de LLM : ce mécanisme peut servir à exécuter des entraînements pour des modèles plus classiques. Toutefois, l’entraînement de modèles demeure une discipline exigeante, qui suppose des données adaptées, des compétences spécialisées et des capacités de calcul importantes.

C’est précisément sur ce terrain que Databricks conserve une avance notable avec Mosaic AI Training, son offre dédiée à l’entraînement de modèles. Snowflake ne prétend donc pas effacer d’un coup les écarts techniques accumulés. Sa stratégie consiste plutôt à rendre accessibles, dans son propre environnement, les briques nécessaires aux projets de machine learning et d’IA générative.

Arctic, le modèle open source de Snowflake

Snowflake ne se limite pas à l’intégration de modèles conçus par d’autres. L’entreprise a aussi lancé Arctic, son propre modèle de langage open source. Le projet poursuit un objectif clair : proposer un LLM à la fois puissant et économique à entraîner.

Le choix de l’open source permet à la communauté de s’approprier le modèle, de l’étudier et de l’adapter à différents besoins. Pour Snowflake, Arctic complète Cortex AI et renforce sa crédibilité dans l’écosystème des modèles de langage, au-delà de son rôle historique de plateforme de données.

L’offre Arctic comprend deux éléments distincts. Le premier est le LLM lui-même, destiné aux tâches de génération et de compréhension du langage. Le second est un modèle d’embedding, ou modèle de représentation vectorielle. Celui-ci transforme un texte en une suite de nombres qui résume son sens. Deux passages proches sémantiquement peuvent alors être rapprochés, même s’ils n’emploient pas exactement les mêmes mots.

Cette capacité est particulièrement utile pour retrouver une information dans de grands ensembles de documents, alimenter un assistant interne ou proposer des réponses fondées sur une base documentaire d’entreprise.

Cortex Search associe recherche sémantique et filtres SQL

Avec Cortex Search, Snowflake propose un service de recherche hybride. Son principe est de combiner deux méthodes complémentaires : la recherche sémantique et les requêtes SQL.

La recherche sémantique s’appuie sur des vecteurs. Lorsqu’un utilisateur formule une question, le système la transforme en vecteur et le compare à ceux des documents indexés. Cette méthode peut retrouver des contenus pertinents lorsque le vocabulaire de la requête diffère de celui des documents. Elle est donc particulièrement adaptée aux questions formulées naturellement, aux notes de service, aux comptes rendus ou à une base de connaissances.

Les requêtes SQL ajoutent une couche de précision. Elles permettent de filtrer l’information selon des critères structurés et de paramétrer finement l’accès aux données. Une entreprise peut ainsi combiner une question générale avec des restrictions liées à une période, à une catégorie de document ou aux autorisations de l’utilisateur.

Snowflake a enrichi Cortex Search avec la technologie obtenue lors de l’acquisition de Neeva. L’objectif est de traiter automatiquement les contenus et de rendre la recherche suffisamment rapide pour des applications interactives, telles que des assistants conversationnels connectés aux données de l’entreprise.

Streamlit, le lien entre les données et les applications IA

Une plateforme IA ne sert réellement que si les équipes peuvent transformer ses capacités en outils concrets. Snowflake s’appuie pour cela sur Streamlit, une technologie acquise en 2022. Streamlit permet aux développeurs de créer des applications Python au sein de l’environnement Snowflake.

Python est un langage très utilisé dans la data science et le machine learning. Grâce à Streamlit, les équipes peuvent concevoir plus rapidement des interfaces destinées à explorer des données, tester un modèle ou créer un assistant interne. Des composants prêts à l’emploi facilitent la création de ces applications et leur intégration avec Cortex Search.

Un cas d’usage typique est le chatbot métier. Au lieu de répondre à partir de connaissances générales, il peut rechercher des informations dans des documents préalablement indexés, puis formuler une réponse. La qualité du résultat dépend alors autant de l’organisation des données, des droits d’accès et des consignes données au modèle que du LLM lui-même.

Pour Snowflake, Streamlit apporte une pièce essentielle : après avoir stocké les données, exécuté les traitements et mobilisé les modèles, le client peut bâtir une interface applicative sans devoir déplacer ces éléments vers une chaîne technique entièrement séparée.

Une plateforme unifiée, gouvernée par Horizon

La cohérence de l’ensemble repose sur la volonté de Snowflake de réunir data engineering, machine learning et IA générative dans une même plateforme. Le socle Horizon est présenté comme la couche chargée d’accompagner le management et l’interopérabilité des actifs informatiques.

Cette intégration répond à un problème très concret pour les organisations : chaque nouvel outil peut créer des copies de données, de nouveaux comptes utilisateurs, des règles de sécurité différentes et des coûts difficiles à suivre. En centralisant les briques, Snowflake veut simplifier l’expérience des équipes techniques comme des utilisateurs métier, tout en gardant des contrôles d’accès et de droits au sein de la plateforme.

La promesse diffère de celle des grands fournisseurs cloud qui proposent de nombreuses briques séparées. Snowflake cherche à offrir un environnement plus intégré, où les données et les services IA restent étroitement liés. Cette simplicité revendiquée pourrait séduire les entreprises qui souhaitent déployer des cas d’usage sans assembler elles-mêmes l’ensemble de la chaîne technologique.

Ce qu’il faut surveiller dans la compétition avec Databricks

À la fin octobre 2024, Snowflake a considérablement étoffé sa proposition dans l’intelligence artificielle. Cortex AI apporte des services génératifs managés, Arctic donne à l’éditeur un modèle open source, Cortex Search répond aux besoins de recherche dans les données non structurées et Streamlit facilite la construction d’applications.

Le défi reste néanmoins important. Databricks conserve une position forte dans le machine learning traditionnel et l’entraînement de modèles, notamment avec Mosaic AI Training. La comparaison ne se réduira pas au nombre de fonctions annoncées : elle dépendra de la facilité de déploiement, de la qualité des intégrations, de la maîtrise des coûts et de la capacité des entreprises à gouverner leurs données et leurs modèles.

Pour les clients, l’enjeu principal n’est pas de choisir abstraitement entre deux noms. Il consiste à déterminer si la plateforme peut répondre à leurs usages réels : entraîner un modèle, analyser des documents, créer un assistant interne, protéger des informations sensibles et suivre les performances dans la durée. Snowflake veut démontrer que sa plateforme de données peut devenir le point de départ de ces projets IA, sans renoncer à la simplicité qui a fait son succès initial.