Gimlet Labs, une startup fondée par Zain Asgar, professeur adjoint à Stanford, a levé 80 millions de dollars dans le cadre d’un cycle de financement de série A dirigé par Menlo Ventures. L’entreprise s’attaque à un problème critique dans le paysage de l’IA en expansion rapide : l’inefficacité de l’utilisation actuelle du matériel pour les charges de travail d’IA. La solution de Gimlet Labs ne consiste pas à construire de nouvelles puces mais à tirer le meilleur parti des puces déjà utilisées.
Le problème : la puissance de calcul gaspillée
À mesure que les modèles d’IA deviennent plus complexes, la demande en puissance de calcul monte en flèche. Les centres de données devraient dépenser près de 7 000 milliards de dollars d’ici 2030, mais les déploiements actuels n’exploitent qu’entre 15 % et 30 % de la capacité matérielle existante. Cela signifie que des centaines de milliards de dollars sont effectivement gaspillés en ressources inutilisées. Le goulot d’étranglement n’est pas un manque de calcul ; c’est l’incapacité de répartir efficacement les tâches d’IA sur diverses architectures matérielles.
La solution de Gimlet Labs : un « nuage d’inférence multi-silicium »
Gimlet Labs a développé un logiciel qui agit comme un orchestrateur, permettant aux charges de travail d’IA de s’exécuter simultanément sur les processeurs, les GPU et les systèmes à mémoire élevée. Les différentes parties d’une application d’IA (inférence, décodage et appels d’outils) ont chacune des exigences matérielles uniques. Aucune puce n’excelle dans tous ces domaines, mais la plate-forme de Gimlet attribue dynamiquement les tâches au matériel disponible le plus approprié.
« Nous utilisons essentiellement tous les différents matériels disponibles », explique Asgar.
Cette approche permet des gains de performances significatifs : une inférence entre 3 et 10 fois plus rapide pour le même coût et la même puissance. Le logiciel peut même découper des modèles pour les exécuter sur différentes architectures, en utilisant la puce optimale pour chaque partie.
Partenariats clés et premiers résultats
Gimlet Labs a déjà conclu des partenariats avec de grands fabricants de puces, notamment NVIDIA, AMD, Intel, ARM, Cerebras et d-Matrix. La société a été lancée publiquement en octobre et a immédiatement généré un chiffre d’affaires à huit chiffres. Au cours des quatre derniers mois, sa clientèle a doublé, comprenant désormais un important développeur de modèles d’IA et un grand fournisseur de cloud computing (noms non divulgués).
De l’observabilité à l’optimisation
L’équipe fondatrice a déjà collaboré à Pixie, un outil d’observabilité open source pour Kubernetes, acquis par New Relic en 2020. Cette expérience préalable en optimisation au niveau du système semble avoir été cruciale pour le succès rapide de Gimlet Labs. L’entreprise emploie aujourd’hui 30 personnes.
Confiance des investisseurs
Le cycle de série A a été sursouscrit, avec la participation d’investisseurs tels que Factory, Eclipse Ventures, Prosperity7 et Triatomic. Parmi les investisseurs providentiels notables figurent Bill Coughran de Sequoia, le professeur Nick McKeown de Stanford, l’ancien PDG de VMware Raghu Raghuram et le PDG d’Intel Lip-Bu Tan.
L’approche de Gimlet Labs met en évidence une tendance croissante : l’accent mis sur l’efficacité logicielle dans l’utilisation du matériel. Plutôt que de rechercher la prochaine avancée technologique en matière de silicium, l’entreprise maximise la valeur de l’infrastructure existante. Il s’agit d’une solution pragmatique qui pourrait avoir des implications significatives pour le déploiement de l’IA à grande échelle.
