Gimlet Labs, een startup opgericht door Stanford adjunct-professor Zain Asgar, heeft $80 miljoen opgehaald in een Series A-financieringsronde onder leiding van Menlo Ventures. Het bedrijf pakt een cruciaal probleem aan in het snel groeiende AI-landschap: de inefficiëntie van het huidige hardwaregebruik voor AI-workloads. De oplossing van Gimlet Labs gaat niet over het bouwen van nieuwe chips, maar over het optimaal benutten van de meeste chips die al in gebruik zijn.
Het probleem: verspilde rekenkracht
Naarmate AI-modellen complexer worden, schiet de vraag naar rekenkracht omhoog. Verwacht wordt dat datacenters in 2030 bijna 7 biljoen dollar zullen uitgeven, maar de huidige implementaties maken slechts gebruik van tussen de 15% en 30% van de bestaande hardwarecapaciteit. Dit betekent dat honderden miljarden dollars effectief worden verspild aan ongebruikte hulpbronnen. Het knelpunt is niet een gebrek aan rekenkracht; het is het onvermogen om AI-taken efficiënt te verdelen over verschillende hardware-architecturen.
De oplossing van Gimlet Labs: een “Multi-Silicon Inference Cloud”
Gimlet Labs heeft software ontwikkeld die als orkestrator fungeert, waardoor AI-workloads gelijktijdig kunnen worden uitgevoerd op CPU’s, GPU’s en systemen met veel geheugen. Verschillende delen van een AI-toepassing – inferentie, decodering en tooloproepen – hebben elk unieke hardwarevereisten. Geen enkele chip blinkt uit in al deze chips, maar het platform van Gimlet wijst taken dynamisch toe aan de meest geschikte hardware die beschikbaar is.
“We komen eigenlijk alle verschillende hardware tegen die beschikbaar is”, zegt Asgar.
Deze aanpak zorgt voor aanzienlijke prestatieverbeteringen: tussen 3x en 10x snellere inferentie tegen dezelfde kosten en hetzelfde vermogen. De software kan zelfs modellen opsplitsen zodat ze over verschillende architecturen kunnen lopen, waarbij voor elk deel de optimale chip wordt gebruikt.
Belangrijke partnerschappen en vroege tractie
Gimlet Labs heeft al partnerschappen gesloten met grote chipfabrikanten, waaronder NVIDIA, AMD, Intel, ARM, Cerebras en d-Matrix. Het bedrijf werd in oktober publiekelijk gelanceerd en genereerde onmiddellijk een omzet van acht cijfers. In de afgelopen vier maanden is het klantenbestand verdubbeld, en omvat nu een grote AI-modelontwikkelaar en een grote cloud computing-provider (namen niet bekendgemaakt).
Van waarneembaarheid naar optimalisatie
Het oprichtende team werkte eerder samen bij Pixie, een open-source observatietool voor Kubernetes, overgenomen door New Relic in 2020. Deze eerdere ervaring met optimalisatie op systeemniveau lijkt cruciaal te zijn geweest voor het snelle succes van Gimlet Labs. Het bedrijf heeft nu 30 mensen in dienst.
Investeerdersvertrouwen
De Series A-ronde was overtekend, met deelname van investeerders, waaronder Factory, Eclipse Ventures, Prosperity7 en Triatomic. Opmerkelijke investeerders zijn onder meer Bill Coughran van Sequoia, Stanford-professor Nick McKeown, voormalig VMware-CEO Raghu Raghuram en Intel-CEO Lip-Bu Tan.
De aanpak van Gimlet Labs benadrukt een groeiende trend: de focus op softwaregestuurde efficiëntie in hardwaregebruik. In plaats van de volgende doorbraak in silicium na te jagen, maximaliseert het bedrijf de waarde van de bestaande infrastructuur. Dit is een pragmatische oplossing die aanzienlijke gevolgen kan hebben voor de inzet van AI op grote schaal.
