树莓派AI HAT+2登场！130刀，边缘AI也能跑大模型。

树莓派（Raspberry Pi）日前宣布推出其最新产品——AI HAT+ 2扩展板，此举标志着其在边缘计算领域布局的进一步深化，旨在将生成式人工智能（Generative AI）工作负载引入树莓派5平台。此次发布，不仅拓展了树莓派在人工智能应用上的边界，更预示着本地化大型语言模型（LLM）和视觉语言模型（VLM）在边缘设备上运行的普及化趋势。

树莓派AI HAT+ 2发布：边缘AI新篇章

新媒网跨境获悉，这款AI HAT+ 2扩展板的发布，是树莓派在人工智能硬件发展上的重要里程碑。此前，树莓派的AI HAT硬件主要侧重于计算机视觉加速，能够有效处理物体检测和场景分割等任务。然而，全新的AI HAT+ 2则显著拓宽了应用范畴，它能够支持本地运行大型语言模型和视觉语言模型，这意味着设备不再高度依赖云基础设施或持续的网络连接，从而为各类边缘部署提供了更强大的隐私保护和更低的延迟。

硬件升级：赋能本地语言模型

AI HAT+ 2的核心亮点在于其集成的Hailo-10H神经网络加速器，该加速器具备高达40 TOPS的INT4推理性能。这一强大的算力是支撑本地化LLM和VLM运行的关键。与前代产品不同，AI HAT+ 2内置了8GB的独立板载内存。这一设计至关重要，它使得大型模型能够在不占用树莓派主机系统内存的情况下运行，从而确保了LLM和VLM在设备上的直接执行，维持了低延迟，并确保了本地数据处理，这对于许多边缘应用来说是核心需求。

用户通过标准的树莓派操作系统发行版，可以便捷地安装受支持的模型，并通过浏览器聊天工具等常见界面进行访问和操作。AI HAT+ 2通过GPIO接头与树莓派5连接，并利用系统的PCIe接口进行数据传输。需要注意的是，由于采用了PCIe接口，此扩展板不兼容树莓派4，仅支持树莓派5。PCIe接口的高带宽数据传输能力，对于高效地传输模型输入、输出及摄像头数据至关重要，确保了数据流的顺畅和实时性。

应用场景与模型能力

在实际演示中，AI HAT+ 2展现了多样的应用能力，包括基于文本的Qwen2模型问答、利用Qwen2.5-Coder进行代码生成、基础翻译任务，以及根据实时摄像头画面生成视觉场景描述。这些工作负载的实现，均得益于专门为树莓派软件栈打包的AI工具，其中包括容器化后端和本地推理服务器，所有处理过程都在设备端完成，无需依赖外部计算资源。

目前，AI HAT+ 2支持的模型参数量介于10亿至15亿之间。相较于云端动辄数百亿甚至千亿参数的大型系统，这些模型规模虽然适中，但其设计初衷是针对有限的内存和功耗预算，而非追求广阔的通用知识。这种策略使得树莓派能够在资源受限的边缘设备上，依然实现特定场景下的高效AI推理。

微调与定制化能力

为了进一步提升模型在特定任务上的表现，AI HAT+ 2支持低秩适应（Low-Rank Adaptation, LoRA）等微调方法。LoRA允许开发者在保持大部分参数不变的情况下，对模型进行小幅调整，从而在狭窄任务上实现定制化。此外，Hailo的工具链也支持利用特定应用数据集对视觉模型进行再训练，为开发者提供了灵活的定制选项。

AI HAT+ 2的定价为130美元。尽管其价格高于早期专注于计算机视觉的附件，但在计算机视觉吞吐量方面，它提供了相似的性能。因此，对于那些纯粹以图像处理为中心的工作负载而言，此次升级带来的性能增益有限。然而，其核心吸引力在于本地LLM执行和对隐私敏感型应用的强大支持。从实际应用角度看，这款硬件的推出表明在树莓派硬件上运行生成式AI已具备可行性，尽管有限的内存余量和较小的模型规模仍是当前需要关注的方面。

新媒网跨境了解到， 树莓派AI HAT+ 2的发布，不仅是单一产品的推出，更是边缘计算与人工智能融合趋势的有力印证。随着物联网设备和各类智能终端的普及，将AI能力下沉到设备端，实现本地化推理，对于提升数据安全、降低网络延迟、减少云服务成本等方面都具有深远意义。此次升级，无疑为开发者和企业在构建本地化、隐私增强型AI应用方面，开辟了新的路径和可能性。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/rpi-ai-hat-2-brings-llm-to-edge-for-130.html