Gimlet Labs, una startup fondata dal professore a contratto di Stanford Zain Asgar, ha raccolto 80 milioni di dollari in un round di finanziamento di serie A guidato da Menlo Ventures. L’azienda sta affrontando un problema critico nel panorama dell’intelligenza artificiale in rapida espansione: l’inefficienza dell’attuale utilizzo dell’hardware per i carichi di lavoro dell’intelligenza artificiale. La soluzione di Gimlet Labs non consiste nella creazione di nuovi chip ma nello sfruttamento del maggior parte dei chip già in uso.
Il problema: potenza di calcolo sprecata
Man mano che i modelli di intelligenza artificiale diventano più complessi, la domanda di potenza di calcolo sale alle stelle. Si prevede che i data center spenderanno quasi 7 trilioni di dollari entro il 2030, ma le implementazioni attuali sfruttano solo tra il 15% e il 30% della capacità hardware esistente. Ciò significa che centinaia di miliardi di dollari vengono effettivamente sprecati in risorse inattive. Il collo di bottiglia non è la mancanza di calcolo; è l’incapacità di distribuire in modo efficiente le attività dell’intelligenza artificiale su diverse architetture hardware.
La soluzione di Gimlet Labs: un “cloud di inferenza multi-silicio”
Gimlet Labs ha sviluppato un software che funge da orchestratore, consentendo l’esecuzione simultanea- ta dei carichi di lavoro IA su CPU, GPU e sistemi con memoria elevata. Le diverse parti di un’applicazione AI (inferenza, decodifica e chiamate agli strumenti) hanno ciascuna requisiti hardware unici. Nessun singolo chip eccelle in tutti, ma la piattaforma Gimlet assegna dinamicamente i compiti all’hardware più adatto disponibile.
“Fondamentalmente utilizziamo qualsiasi hardware diverso disponibile”, afferma Asgar.
Questo approccio consente miglioramenti significativi delle prestazioni: un’inferenza da 3 a 10 volte più veloce allo stesso costo e potenza. Il software può anche suddividere i modelli in modo che possano essere eseguiti su architetture diverse, utilizzando il chip ottimale per ciascuna porzione.
Partnership chiave e trazione anticipata
Gimlet Labs ha già stretto partnership con i principali produttori di chip tra cui NVIDIA, AMD, Intel, ARM, Cerebras e d-Matrix. L’azienda è stata lanciata in borsa in ottobre e ha immediatamente generato ricavi a otto cifre. Negli ultimi quattro mesi, la sua base di clienti è raddoppiata, includendo ora un importante sviluppatore di modelli di intelligenza artificiale e un grande fornitore di cloud computing (nomi non divulgati).
Dall’osservabilità all’ottimizzazione
Il team fondatore aveva precedentemente collaborato a Pixie, uno strumento di osservabilità open source per Kubernetes, acquisito da New Relic nel 2020. Questa precedente esperienza nell’ottimizzazione a livello di sistema sembra essere stata cruciale per il rapido successo di Gimlet Labs. L’azienda impiega ora 30 persone.
Fiducia degli investitori
Il round di serie A ha registrato un numero eccessivo di sottoscrizioni, con la partecipazione di investitori tra cui Factory, Eclipse Ventures, Prosperity7 e Triatomic. Tra gli investitori angelici degni di nota figurano Bill Coughran di Sequoia, il professore di Stanford Nick McKeown, l’ex CEO di VMware Raghu Raghuram e il CEO di Intel Lip-Bu Tan.
L’approccio di Gimlet Labs evidenzia una tendenza in crescita: l’attenzione all’efficienza basata sul software nell’utilizzo dell’hardware. Invece di inseguire la prossima svolta nel silicio, l’azienda sta massimizzando il valore dell’infrastruttura esistente. Si tratta di una soluzione pragmatica che potrebbe avere implicazioni significative per la diffusione dell’intelligenza artificiale su larga scala.
