新媒网 · 跨境数据社区

人工智能技术正以前所未有的速度发展，其应用场景也从云端向设备端迅速拓展。新媒网跨境获悉，在2025年的今天，将机器学习能力直接部署到用户设备，即“边缘AI”或“端侧AI”，正成为行业热点。这种部署方式能够实现快速、实时的响应，无需依赖云端连接，有效提升用户体验。同时，通过将数据保留在本地，边缘AI也大幅增强了用户隐私保护，并支持在无网络环境下也能提供个性化的功能和服务。

边缘AI的崛起与挑战

传统上，端侧AI应用已在移动设备上广泛实践，例如用于照片编辑和处理的计算机视觉算法。然而，伴随硬件技术和AI模型的飞速进步，边缘AI的应用场景正经历爆发式增长。目前，由智能大型语言模型（LLMs）驱动的本地智能助手，以及在可穿戴设备和智能眼镜中实现的沉浸式AI应用，都代表着这一领域的新趋势。

尽管前景广阔，但在将这些前沿模型部署到移动设备、桌面电脑和嵌入式系统等端侧生产环境时，开发人员面临诸多挑战。以往，模型通常需要转换成ONNX或TFLite等其他格式，或完全使用C++（例如llama.cpp）或MLX等不同语言重写。这些转换过程对机器学习工程师而言耗时巨大，并常常成为生产部署中的瓶颈。转换过程中出现的数值不匹配和调试信息丢失等问题，都增加了部署的难度。

特别是在模型日益复杂化的今天，用C++等语言重写模型带来的挑战更为显著。最初，当大型语言模型（LLM）架构仍以标准文本Transformer为主时，重写尚具可行性。但随着多模态和推理模型的兴起，今天的模型变得愈加复杂。例如，多模态LLM需要灵活组合和模块化骨干组件，以便轻松替换和集成图像、音频等不同模态的编码器。这种情况下，通用解决方案及其所提供的灵活性显得尤为重要。

为应对这些挑战，ExecuTorch应运而生。它旨在帮助开发人员构建针对边缘设备优化的创新AI应用，并于近期正式发布了1.0版本。

ExecuTorch 1.0 深度解析：为边缘AI而生

ExecuTorch是一个完全开源、通用且基于PyTorch的解决方案，专为移动设备、嵌入式设备和桌面电脑设计，支持iOS、Android、嵌入式设备以及AI个人电脑等平台。它的核心优势在于，能够让开发人员将任何基于PyTorch的模型——无论是大型语言模型（LLM）、视觉-语言模型（VLM）、图像分割、检测、音频模型等——直接部署到边缘设备上，而无需进行格式转换或代码重写。

在部署过程中，ExecuTorch利用PyTorch的本机方式，将模型转换为稳定且紧凑的表示形式，以实现高效的端侧部署。这一过程最大限度地减少了原始模型与部署模型之间的不匹配，从而确保了精度和性能的完整性。同时，ExecuTorch保持了高度的灵活性和模块化，允许开发人员根据需要组合和定制骨干组件，这对于复杂的多模态LLM尤为关键。

此外，开发人员可以使用ExecuTorch的相同工作流程，在多种外形尺寸（如微控制器、手机、笔记本电脑）和各种后端（数字信号处理器DSP、中央处理器CPU、图形处理器GPU和神经网络处理器NPU）上启用模型。简而言之，ExecuTorch显著减少了生产部署所需的时间和复杂性，消除了常见的瓶颈和调试难题。

ExecuTorch 1.0 版本升级亮点

自2024年10月ExecuTorch发布Beta版本以来，该项目持续致力于提升可靠性、稳定性和性能。新媒网跨境了解到，本次1.0版本的发布带来了多项重要升级：

• 加速器覆盖范围显著扩展： ExecuTorch 1.0新增了多个硬件后端合作伙伴，进一步丰富了其加速器支持列表。其中包括Arm VGF、恩智浦半导体（NXP Semiconductors）的eIQ® Neutron NPU、三星（Samsung）的Exynos NPU和Exynos GPU，以及英特尔（Intel）的OpenVINO。这些新增的后端与现有的Cadence DSP、联发科（MediaTek）NPU和苹果（Apple）Metal Performance Shaders（MPS）等共同构成了强大的硬件生态系统。这一广泛的覆盖能力意味着开发者可以将PyTorch模型部署到更多样化的设备上，充分利用不同芯片的AI加速能力。

• 加速器稳定性达到生产就绪水平： 多个此前处于测试阶段的后端已升级至生产就绪状态，这表明它们在稳定性、可靠性方面已达到企业级应用标准。这些升级后的后端包括：

  • 结合Arm Kleidi的XNNPACK，用于CPU加速。
  • 适用于苹果芯片的Apple Core ML。
  • 高通（Qualcomm®）AI Engine，通过ExecuTorch delegate支持高通Hexagon™ NPU。
  • Arm Ethos-U NPU。
  • Vulkan GPU。
    这些后端达到生产就绪状态，为开发者在实际产品中集成ExecuTorch提供了更坚实的基础。

• 模型兼容性与覆盖广泛： ExecuTorch（及其后端）已在广泛的AI用例中得到验证，涵盖了传统AI任务（例如目标检测、深度估计、光学字符识别OCR、自动语音识别ASR、图像分割等），以及最新的端侧文本LLM和多模态LLM。例如，Voxtral支持音频-文本输入，而Gemma3则支持图像-文本输入。

• 与Hugging Face的生态合作： 为了进一步简化开发流程，ExecuTorch已与知名的Hugging Face平台建立合作。通过这一合作，开发者可以更便捷地将Hugging Face Transformers上广泛的模型导出并在ExecuTorch上运行。目前，Hugging Face上超过80%最受欢迎且适用于边缘设备的大型语言模型，均可直接在ExecuTorch上运行。对于多模态应用，其支持范围也正迅速扩展，涵盖了多个流行的视觉模型（如Gemma3、SmolVLM和LLaVA）和音频模型（Voxtral、Granite等）。这极大地拓宽了端侧创新的可能性。

• 拓展桌面与笔记本电脑应用场景： ExecuTorch如今可以嵌入到原生的C++桌面和笔记本电脑应用程序中，利用这些设备的CPU、GPU和NPU进行计算。尽管这一功能仍处于早期阶段，但其为消费级桌面和笔记本电脑应用开发者带来了新的机遇，例如开发生产力工具和保护隐私的个人助手。ExecuTorch的灵活性以及对模型和硬件后端的广泛支持，使其在该领域具有巨大潜力。

开发者如需获取ExecuTorch的完整功能列表和详细能力，可查阅其1.0版本发布说明和涵盖所有支持后端的后端概述技术文档。

行业实践：ExecuTorch 的成功案例

ExecuTorch已在多个公司的生产环境中得到应用，并与重要的开源框架和生态系统进行了集成。Meta公司近期的一篇外媒文章强调了一些由ExecuTorch驱动的端侧AI功能示例，这些功能正在Instagram、WhatsApp、Messenger和Facebook等Meta旗下的应用程序中为数十亿用户提供服务。

以下是部分行业专家对ExecuTorch价值的直接评价：

Meta公司Reality Labs总监Anuj Kumar表示：“Meta的Reality Labs已在我们的可穿戴产品线中采用ExecuTorch进行生产，包括最新的Meta Ray-Ban Display眼镜与肌电图（EMG）腕带。语音识别、运动传感和计算机视觉等先进AI功能，通过利用尖端硬件，正在这些设备上运行。ExecuTorch帮助我们通过PyTorch标准化，突破现有技术的边界，加速从研究到生产的进程。其开源基础加速了创新，使得硬件合作伙伴和研究社区的贡献易于集成。因此，我们正在为数百万用户提供更智能、更快速、更个性化的体验。”

Hugging Face的首席开源官Lysandre Debut提到：“Hugging Face上目前有超过75万个Transformer模型。这代表着将创新带入边缘并推动环境智能革命的巨大机遇。我们很高兴Hugging Face Transformer上的模型现在可以轻松地导出到ExecuTorch。今天，Hugging Face上超过80%最受欢迎、对边缘友好的大型语言模型都可以直接在ExecuTorch上运行。对于多模态应用，支持正在迅速扩展，包括Gemma3、SmolVLM和LLaVA等多个流行视觉模型，以及Voxtral和Granite等音频模型。这极大地拓宽了端侧创新的可能性！”

Unsloth AI的联合创始人Daniel Han评价道：“直接在PyTorch中对模型进行微调和量化，在Python中进行实验和评估，然后将精确量化后的模型用于设备端运行，这对于开发人员来说是颠覆性的改变，并让Unsloth团队能够在技术和方案上更具创造性。对于Unsloth用户而言，ExecuTorch是实现边缘部署的绝佳途径！”

Liquid AI的首席技术官Mathias Lechner解释了他们在LFM2模型系列中使用ExecuTorch的原因：“有两个主要原因：一是灵活性，ExecuTorch在支持Liquid AI的自定义模型架构和预/后处理代码方面提供了极高的灵活性，使得我们的研究团队能够自由尝试新模型，而不会给推理运行时增加额外负担。二是性能，ExecuTorch提供的PyTorch图状态跟踪和缓存，能够减少推理时的令牌生成时间并降低延迟。”

Mistral AI的首席技术官Timothée Lacroix表示：“Voxtral在一个单一的多模态架构中统一了音频和文本处理，而要在设备端高效部署它，需要对执行和硬件利用率进行精确控制。ExecuTorch基于PyTorch的原生运行时，使我们能够直接运行Voxtral，无需格式转换，同时有效地针对GPU、NPU和CPU后端进行低延迟、高保真的设备端推理。”

这些成功案例共同证明了ExecuTorch在提升AI模型边缘部署效率、降低开发门槛以及推动多模态AI创新方面的显著价值。

展望未来与行动号召

ExecuTorch 1.0的发布标志着端侧AI发展的一个重要里程碑，它为开发者提供了前所未有的工具和支持，以在边缘设备上构建更智能、更快速、更私密的AI体验。

新媒网跨境邀请全球的开发者深入探索ExecuTorch，尝试其代码，并分享宝贵反馈，共同塑造其未来。开发者可以通过ExecuTorch代码库和详细文档开启端侧AI的创新之旅。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/executorch-10-eases-edge-ai-deployment-for-most.html