AI推理效率提升10倍！Gimlet Labs融资8000万美元

Gimlet Labs 探索AI推理性能瓶颈的新突破

近日，据外媒报道，斯坦福大学的兼职教授、成功创业者Zain Asgar带领的初创公司Gimlet Labs已经完成了一轮8000万美元的A轮融资。本轮融资由知名机构Menlo Ventures领投。这家初创企业致力于解决人工智能推理效率问题，提出了一种创新方式。

Gimlet Labs开发了一种被称为“多硅推理云”的技术方案。这一软件使得人工智能工作负载能够在不同类型的硬件之间同时运行，包括传统的中央处理器（CPU）、为AI优化的图形处理器（GPU）以及高内存系统。

“我们的技术可以在各种不同的硬件上运行，”Asgar在接受外媒采访时表示。

他进一步解释称，AI应用程序的一个执行步骤可能需要多个环节，而每个环节对硬件的需求各不相同。例如，推理过程依赖计算能力（compute-bound），解码过程依赖内存（memory-bound），而工具调用则需要网络支持（network-bound）。Menlo Ventures的投资人Tim Tully表示，Gimlet Labs的技术很好地解决了这一难题，填补了多芯片硬件架构上缺失的软件层，使部署效率大大提升。

数据显示，如果当前增加计算资源的趋势持续下去，到2030年，数据中心的支出预计将达到将近7万亿美元。然而，Asgar指出，当前已经部署的硬件资源使用率仅在15%至30%之间。这意味着许多硬件资源处于闲置状态，相当于浪费了数千亿美元。

“我们希望通过这个技术，让AI工作负载的效率至少提升10倍，”Asgar说道。

为实现这一目标，他与团队成员Michelle Nguyen、Omid Azizi和Natalie Serrino一同开发了一款编排软件，将AI的工作负载划分成更细致的部分，使这些工作负载能在各类硬件之间高效分配和运行。

Gimlet Labs声称，他们的解决方案可以使AI推理速度提高3到10倍，而成本和能耗保持不变。同时，该技术还能按照模型的不同部分需求，将模型在不同硬件架构间分散运行，充分利用每一种芯片的性能优势。

目前，Gimlet Labs已与多家知名芯片制造商建立合作关系，包括NVIDIA、AMD、Intel、ARM、Cerebras和d-Matrix。这些合作不仅为技术的落地提供强有力支持，也提高了市场覆盖率。

Gimlet Labs的产品主要通过软件或API形式提供，其目标客户是大型AI模型实验室和数据中心，而非普通的AI应用开发者。去年10月，该公司正式公开推出产品，初期便实现了八位数的收入（至少1000万美元）。Asgar透露，目前公司的客户数量在4个月内翻了一倍，新客户包括一家大型模型开发机构和一家极具规模的云计算公司，但他并未透露具体名称。

值得一提的是，Gimlet Labs的联合创始团队此前曾在Pixie共同工作——这是一个专为Kubernetes设计开源观测工具的创业项目。Pixie在2020年被New Relic收购，上市仅两个月便完成这一收购，这为团队的后续创业奠定了良好基础。

本轮融资之前，Gimlet Labs同样已获得包括斯坦福教授及多位知名天使投资人的种子轮融资支持到位。据外媒透露，本次融资的超额认购反映了市场对相关技术的高度关注和认可。此外，已有诸多著名投资者参与到项目中，包括来自Sequoia的Bill Coughran、前VMware CEO Raghu Raghuram和Intel CEO Lip-Bu Tan等。

截至目前，Gimlet Labs团队规模已扩展至30人。本轮其他参与投资机构包括Factory、Eclipse Ventures、Prosperity7以及Triatomic。
AI硬件合作