Gimlet Labs, стартап, започаткований ад’юнкт-професором Стенфордського університету Заїном Асгаром, залучив $80 мільйонів у раунді фінансування Серії A під керівництвом Menlo Ventures. Компанія вирішує критично важливу проблему в сфері ІІ, що швидко розвивається: неефективність використання існуючого обладнання для робочих навантажень ІІ. Рішення Gimlet Labs полягає не у створенні нових чіпів, а максимальному використанні тих, які вже використовуються.
Проблема: Втрачена Обчислювальна Потужність
У міру ускладнення моделей ІІ попит на обчислювальну потужність різко зростає. Очікується, що центри обробки даних витратить майже $7 трильйонів до 2030 року, проте поточні розгортання використовують лише від 15% до 30% апаратної потужності. Це означає, що сотні мільярдів доларів фактично витрачаються даремно на невикористовувані ресурси. Проблема над браку обчислювальної потужності, а нездатності ефективно розподіляти завдання ІІ між різними апаратними архітектурами.
Рішення Gimlet Labs: “Мульти-Кремнієва Хмара Інференсу”
Gimlet Labs розробила програмне забезпечення, яке діє як оркестратор, дозволяючи робочим навантаженням ІІ запускатися одночасно на ЦП, графічних процесорах і системах з великою пам’яттю. Різні частини додатку ІІ – інференс, декодування та виклики інструментів – мають унікальні апаратні вимоги. Жоден чіп не перевершує всі інші у всіх аспектах, але платформа Gimlet динамічно призначає завдання найбільш підходящого доступного обладнання.
“Ми по суті працюємо на будь-якому доступному обладнанні”, – говорить Асгар.
Цей підхід дозволяє досягти значного підвищення продуктивності — від 3 до 10 разів швидше за тієї ж вартості та енергоспоживання. Програмне забезпечення може навіть розділяти моделі для запуску різних архітектурах, використовуючи оптимальний чіп кожної частини.
Ключові Партнерства та Ранні Успіхи
Gimlet Labs вже уклала партнерства з провідними виробниками чіпів, включаючи NVIDIA, AMD, Intel, ARM, Cerebras та d-Matrix. Компанія вийшла на ринок у жовтні та одразу ж отримала восьмизначний дохід. За останні чотири місяці клієнтська база подвоїлася, включаючи великого розробника моделей ІІ та великого постачальника хмарних обчислень (назви не розголошуються).
Від спостереження до оптимізації
Команда засновників раніше співпрацювала в Pixie, інструмент відкритого вихідного коду для моніторингу Kubernetes, придбаному New Relic в 2020 році. Цей попередній досвід у системно-рівневій оптимізації, мабуть, відіграв вирішальну роль у швидкому успіху Gimlet Labs. Наразі у компанії працює 30 осіб.
Впевненість Інвесторів
Раунд Серії A був перепідписаний за участю інвесторів, включаючи Factory, Eclipse Ventures, Prosperity7 та Triatomic. Помітні ангельські інвестори включають Білла Кауграна з Sequoia, професора Стенфордського університету Ніка МакКеоуна, колишнього генерального директора VMware Рагху Рагурама та генерального директора Intel Ліп-Бу Тана.
Підхід Gimlet Labs підкреслює тенденцію, що зростає: зосередження уваги на програмно-керованій ефективності використання обладнання. Замість того, щоб гнатися за наступним проривом в області кремнію, компанія максимізує цінність існуючої інфраструктури. Це прагматичне рішення, яке може мати значні наслідки для розгортання ІІ масштабу.
