Gimlet Labs, ein Startup, das vom außerordentlichen Professor Zain Asgar aus Stanford gegründet wurde, hat in einer von Menlo Ventures geleiteten Finanzierungsrunde der Serie A 80 Millionen US-Dollar eingesammelt. Das Unternehmen befasst sich mit einem kritischen Problem in der schnell wachsenden KI-Landschaft: der Ineffizienz der aktuellen Hardwareauslastung für KI-Workloads. Bei der Lösung von Gimlet Labs geht es nicht darum, neue Chips zu bauen, sondern darum, das Beste aus den bereits verwendeten Chips herauszuholen.
Das Problem: Verschwendete Rechenleistung
Da KI-Modelle immer komplexer werden, steigt der Bedarf an Rechenleistung sprunghaft an. Schätzungen zufolge werden Rechenzentren bis 2030 fast 7 Billionen US-Dollar ausgeben, doch die derzeitigen Implementierungen nutzen nur zwischen 15 und 30 % der vorhandenen Hardwarekapazität. Das bedeutet, dass tatsächlich Hunderte Milliarden Dollar für ungenutzte Ressourcen verschwendet werden. Der Engpass ist nicht ein Mangel an Rechenleistung; Es ist die Unfähigkeit, KI-Aufgaben effizient auf verschiedene Hardwarearchitekturen zu verteilen.
Die Lösung von Gimlet Labs: Eine „Multi-Silicon Inference Cloud“
Gimlet Labs hat eine Software entwickelt, die als Orchestrator fungiert und es ermöglicht, dass KI-Workloads gleichzeitig auf CPUs, GPUs und Systemen mit hohem Speicher ausgeführt werden. Verschiedene Teile einer KI-Anwendung – Inferenz, Dekodierung und Toolaufrufe – haben jeweils unterschiedliche Hardwareanforderungen. Kein einziger Chip übertrifft sie alle, aber die Plattform von Gimlet weist Aufgaben dynamisch der am besten geeigneten verfügbaren Hardware zu.
„Grundsätzlich greifen wir auf jede verfügbare Hardware zurück“, sagt Asgar.
Dieser Ansatz ermöglicht erhebliche Leistungssteigerungen – zwischen 3x und 10x schnellere Inferenz bei gleichen Kosten und gleichem Stromverbrauch. Die Software kann Modelle sogar so aufteilen, dass sie auf verschiedenen Architekturen laufen, wobei für jeden Teil der optimale Chip verwendet wird.
Wichtige Partnerschaften und frühzeitige Umsetzung
Gimlet Labs hat bereits Partnerschaften mit großen Chipherstellern geschlossen, darunter NVIDIA, AMD, Intel, ARM, Cerebras und d-Matrix. Das Unternehmen ging im Oktober an die Börse und erwirtschaftete sofort einen zweistelligen Umsatz. In den letzten vier Monaten hat sich der Kundenstamm verdoppelt, darunter nun ein großer Entwickler von KI-Modellen und ein großer Cloud-Computing-Anbieter (Namen nicht bekannt gegeben).
Von der Beobachtbarkeit zur Optimierung
Das Gründungsteam arbeitete zuvor bei Pixie zusammen, einem Open-Source-Observability-Tool für Kubernetes, das 2020 von New Relic übernommen wurde. Diese früheren Erfahrungen in der Optimierung auf Systemebene scheinen für den schnellen Erfolg von Gimlet Labs entscheidend gewesen zu sein. Mittlerweile beschäftigt das Unternehmen 30 Mitarbeiter.
Anlegervertrauen
Die Serie-A-Runde war überzeichnet und es beteiligten sich Investoren wie Factory, Eclipse Ventures, Prosperity7 und Triatomic. Zu den bemerkenswerten Angel-Investoren zählen Bill Coughran von Sequoia, Stanford-Professor Nick McKeown, der ehemalige VMware-CEO Raghu Raghuram und Intel-CEO Lip-Bu Tan.
Der Ansatz von Gimlet Labs unterstreicht einen wachsenden Trend: den Fokus auf softwaregesteuerte Effizienz bei der Hardwarenutzung. Anstatt dem nächsten Silizium-Durchbruch nachzujagen, maximiert das Unternehmen den Wert der vorhandenen Infrastruktur. Dies ist eine pragmatische Lösung, die erhebliche Auswirkungen auf den KI-Einsatz in großem Maßstab haben könnte.
