Gimlet Labs, sebuah startup yang didirikan oleh asisten profesor Stanford Zain Asgar, telah mengumpulkan $80 juta dalam putaran pendanaan Seri A yang dipimpin oleh Menlo Ventures. Perusahaan ini sedang mengatasi masalah kritis dalam lanskap AI yang berkembang pesat: inefisiensi pemanfaatan perangkat keras saat ini untuk beban kerja AI. Solusi Gimlet Labs bukan tentang membuat chip baru, namun tentang memanfaatkan semaksimal mungkin chip yang sudah digunakan.
Masalahnya: Daya Komputasi yang Terbuang
Seiring dengan semakin kompleksnya model AI, permintaan akan daya komputasi pun meroket. Pusat data diproyeksikan menghabiskan hampir $7 triliun pada tahun 2030, namun penerapan saat ini hanya memanfaatkan antara 15% dan 30% dari kapasitas perangkat keras yang ada. Ini berarti ratusan miliar dolar terbuang percuma untuk sumber daya yang menganggur. Hambatannya bukanlah kurangnya komputasi; ini adalah ketidakmampuan untuk mendistribusikan tugas AI secara efisien ke berbagai arsitektur perangkat keras.
Solusi Gimlet Labs: “Awan Inferensi Multi-Silikon”
Gimlet Labs telah mengembangkan perangkat lunak yang bertindak sebagai orkestrator, memungkinkan beban kerja AI berjalan secara bersamaan di seluruh CPU, GPU, dan sistem memori tinggi. Bagian berbeda dari aplikasi AI – inferensi, decoding, dan panggilan alat – masing-masing memiliki persyaratan perangkat keras yang unik. Tidak ada satu chip pun yang unggul dalam semuanya, namun platform Gimlet secara dinamis memberikan tugas ke perangkat keras paling sesuai yang tersedia.
“Kami pada dasarnya menggunakan berbagai perangkat keras yang tersedia,” kata Asgar.
Pendekatan ini memungkinkan peningkatan performa yang signifikan—antara 3x dan 10x lebih cepat dengan biaya dan daya yang sama. Perangkat lunak ini bahkan dapat mengiris model untuk dijalankan di berbagai arsitektur berbeda, menggunakan chip optimal untuk setiap porsi.
Kemitraan Utama dan Daya Tarik Awal
Gimlet Labs telah menjalin kemitraan dengan produsen chip besar termasuk NVIDIA, AMD, Intel, ARM, Cerebras, dan d-Matrix. Perusahaan ini diluncurkan ke publik pada bulan Oktober dan langsung menghasilkan pendapatan delapan digit. Selama empat bulan terakhir, basis pelanggannya meningkat dua kali lipat, kini termasuk pengembang model AI besar dan penyedia komputasi awan besar (nama dirahasiakan).
Dari Observabilitas ke Optimasi
Tim pendiri sebelumnya berkolaborasi di Pixie, sebuah alat observasi sumber terbuka untuk Kubernetes, yang diakuisisi oleh New Relic pada tahun 2020. Pengalaman sebelumnya dalam pengoptimalan tingkat sistem tampaknya sangat penting bagi kesuksesan Gimlet Labs yang cepat. Perusahaan sekarang mempekerjakan 30 orang.
Kepercayaan Investor
Putaran Seri A mengalami kelebihan permintaan, dengan partisipasi dari investor termasuk Factory, Eclipse Ventures, Prosperity7, dan Triatomic. Angel investor terkemuka termasuk Bill Coughran dari Sequoia, Profesor Stanford Nick McKeown, mantan CEO VMware Raghu Raghuram, dan CEO Intel Lip-Bu Tan.
Pendekatan Gimlet Labs menyoroti tren yang sedang berkembang: fokus pada efisiensi berbasis perangkat lunak dalam pemanfaatan perangkat keras. Daripada mengejar terobosan silikon berikutnya, perusahaan ini malah memaksimalkan nilai infrastruktur yang ada. Ini adalah solusi pragmatis yang dapat memberikan implikasi signifikan terhadap penerapan AI dalam skala besar.
