Gimlet Labs, стартап, основанный адъюнкт-профессором Стэнфордского университета Заином Асгаром, привлек $80 миллионов в раунде финансирования Серии A под руководством Menlo Ventures. Компания решает критически важную проблему в быстро развивающейся сфере ИИ: неэффективность использования существующего оборудования для рабочих нагрузок ИИ. Решение Gimlet Labs заключается не в создании новых чипов, а в максимальном использовании тех, которые уже используются.
Проблема: Потерянная Вычислительная Мощность
По мере усложнения моделей ИИ спрос на вычислительную мощность резко возрастает. Ожидается, что центры обработки данных потратят почти $7 триллионов к 2030 году, однако текущие развертывания используют лишь от 15% до 30% существующей аппаратной мощности. Это означает, что сотни миллиардов долларов фактически тратятся впустую на неиспользуемые ресурсы. Проблема не в нехватке вычислительной мощности, а в неспособности эффективно распределять задачи ИИ между различными аппаратными архитектурами.
Решение Gimlet Labs: «Мульти-Кремниевое Облако Инференса»
Gimlet Labs разработала программное обеспечение, которое действует как оркестратор, позволяя рабочим нагрузкам ИИ запускаться одновременно на ЦП, графических процессорах и системах с большой памятью. Различные части приложения ИИ — инференс, декодирование и вызовы инструментов — имеют уникальные аппаратные требования. Ни один чип не превосходит все остальные во всех аспектах, но платформа Gimlet динамически назначает задачи наиболее подходящему доступному оборудованию.
“Мы по сути работаем на любом доступном оборудовании,” — говорит Асгар.
Этот подход позволяет добиться значительного повышения производительности — от 3 до 10 раз быстрее при той же стоимости и энергопотреблении. Программное обеспечение может даже разделять модели для запуска на разных архитектурах, используя оптимальный чип для каждой части.
Ключевые Партнерства и Ранние Успехи
Gimlet Labs уже заключила партнерства с ведущими производителями чипов, включая NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix. Компания вышла на рынок в октябре и сразу же получила восьмизначный доход. За последние четыре месяца клиентская база удвоилась, включая крупного разработчика моделей ИИ и крупного поставщика облачных вычислений (названия не разглашаются).
От Наблюдаемости к Оптимизации
Команда основателей ранее сотрудничала в Pixie, инструменте открытого исходного кода для мониторинга Kubernetes, приобретенном New Relic в 2020 году. Этот предыдущий опыт в системно-уровневой оптимизации, по-видимому, сыграл решающую роль в быстром успехе Gimlet Labs. В настоящее время в компании работает 30 человек.
Уверенность Инвесторов
Раунд Серии A был переподписан, с участием инвесторов, включая Factory, Eclipse Ventures, Prosperity7 и Triatomic. Заметные ангельские инвесторы включают Билла Кауграна из Sequoia, профессора Стэнфордского университета Ника МакКеоуна, бывшего генерального директора VMware Рагху Рагурама и генерального директора Intel Лип-Бу Тана.
Подход Gimlet Labs подчеркивает растущую тенденцию: сосредоточение внимания на программно-управляемой эффективности использования оборудования. Вместо того чтобы гнаться за следующим прорывом в области кремния, компания максимизирует ценность существующей инфраструктуры. Это прагматичное решение, которое может иметь значительные последствия для развертывания ИИ в масштабе.
