Gimlet Labs, una startup fundada por el profesor adjunto de Stanford Zain Asgar, ha recaudado 80 millones de dólares en una ronda de financiación Serie A liderada por Menlo Ventures. La compañía está abordando un problema crítico en el panorama de la IA en rápida expansión: la ineficiencia de la utilización actual del hardware para las cargas de trabajo de IA. La solución de Gimlet Labs no se trata de construir nuevos chips sino de aprovechar al máximo los chips que ya están en uso.
El problema: potencia informática desperdiciada
A medida que los modelos de IA se vuelven más complejos, la demanda de potencia informática se dispara. Se prevé que los centros de datos gastarán casi 7 billones de dólares para 2030, pero las implementaciones actuales solo aprovechan entre el 15% y el 30% de la capacidad de hardware existente. Esto significa que se están desperdiciando efectivamente cientos de miles de millones de dólares en recursos inactivos. El cuello de botella no es la falta de computación; es la incapacidad de distribuir eficientemente las tareas de IA entre diversas arquitecturas de hardware.
Solución de Gimlet Labs: una “nube de inferencia multisilicio”
Gimlet Labs ha desarrollado un software que actúa como orquestador, permitiendo que las cargas de trabajo de IA se ejecuten simultáneamente en CPU, GPU y sistemas de alta memoria. Las diferentes partes de una aplicación de IA (inferencia, decodificación y llamadas a herramientas) tienen requisitos de hardware únicos. Ningún chip sobresale en todos ellos, pero la plataforma de Gimlet asigna dinámicamente tareas al hardware más adecuado disponible.
“Básicamente, utilizamos cualquier hardware diferente que esté disponible”, dice Asgar.
Este enfoque permite mejoras significativas en el rendimiento: inferencias entre 3 y 10 veces más rápidas con el mismo costo y potencia. El software puede incluso dividir modelos para ejecutarlos en diferentes arquitecturas, utilizando el chip óptimo para cada porción.
Asociaciones clave y tracción temprana
Gimlet Labs ya ha conseguido asociaciones con los principales fabricantes de chips, incluidos NVIDIA, AMD, Intel, ARM, Cerebras y d-Matrix. La empresa se lanzó a bolsa en octubre e inmediatamente generó ingresos de ocho cifras. En los últimos cuatro meses, su base de clientes se ha duplicado y ahora incluye a un importante desarrollador de modelos de inteligencia artificial y un gran proveedor de computación en la nube (nombres no revelados).
De la observabilidad a la optimización
El equipo fundador colaboró anteriormente en Pixie, una herramienta de observabilidad de código abierto para Kubernetes, adquirida por New Relic en 2020. Esta experiencia previa en optimización a nivel de sistema parece haber sido crucial para el rápido éxito de Gimlet Labs. La empresa emplea actualmente a 30 personas.
Confianza de los inversores
La ronda Serie A tuvo un exceso de suscripción, con la participación de inversores como Factory, Eclipse Ventures, Prosperity7 y Triatomic. Los inversores ángeles notables incluyen a Bill Coughran de Sequoia, el profesor de Stanford Nick McKeown, el ex director ejecutivo de VMware, Raghu Raghuram, y el director ejecutivo de Intel, Lip-Bu Tan.
El enfoque de Gimlet Labs destaca una tendencia creciente: el enfoque en la eficiencia impulsada por el software en la utilización del hardware. En lugar de perseguir el próximo avance del silicio, la empresa está maximizando el valor de la infraestructura existente. Se trata de una solución pragmática que podría tener importantes implicaciones para el despliegue de la IA a escala.
