本地AI突破！65W袖珍电脑跑100B模型，AI算力告别云端。

近日，全球范围内对于本地化人工智能（AI）算力的需求日益增长，而美国初创公司Tiiny则在此背景下推出了一款突破性的设备。新媒网跨境获悉，该公司发布了Tiiny AI Pocket Lab，一款宣称能够实现大型语言模型（LLM）本地运行的袖珍AI超级计算机。这款设备已获得吉尼斯世界纪录的认证，肯定了其在本地执行100B级别模型的能力，标志着AI算力向个人设备下沉迈出了重要一步。

本地AI算力的创新实践

Tiiny AI Pocket Lab被定位为一台迷你PC，其核心功能在于无需依赖云服务、外部服务器或独立加速器，即可在本地高效完成复杂的推理工作负载。该设备旨在将大型语言模型从云端带到个人设备，实现完全离线的数据处理，有效规避了网络延迟问题，并大幅降低了外部数据泄露的风险。

Tiiny公司市场总监萨马尔·博伊（Samar Bhoj）在产品发布时表示，尽管云AI带来了显著的进步，但也伴随着依赖性、潜在的安全漏洞以及可持续性方面的挑战。他强调，智能应该属于每个人而非集中在数据中心，Tiiny AI Pocket Lab的推出，旨在让先进的AI技术变得真正触手可及、隐私安全且个性化。这一理念的提出，呼应了当前业界对于数据主权和去中心化AI的关注。

核心性能与技术规格

Tiiny AI Pocket Lab专为处理需复杂推理和长上下文任务的大型个人模型而设计。其一大亮点在于，该设备能够在65W的功耗限制下运行。据Tiiny官方数据，该设备对于参数量在10B至100B范围内的模型能保持稳定的运行性能，并且支持高达120B参数的模型。这一上限已接近目前领先云系统所能提供的能力水平，使得高级推理和扩展上下文的处理得以在本地设备上实现。

吉尼斯世界纪录对Tiiny AI Pocket Lab在本地执行100B级别模型的能力给予了认证，进一步验证了其技术实力。在硬件配置方面，该系统搭载了一颗12核的ARMv9.2架构中央处理器（CPU），并集成了一个定制的异构AI模块，能够提供大约190万亿次每秒（TOPS）的算力。此外，设备配备了80GB的LPDDR5X内存和1TB的固态硬盘（SSD），而整个系统的总功耗据称维持在65W以内。从物理尺寸上看，这款设备更像是一个大型外置硬盘，而非传统的工作站，这与其“袖珍”的产品定位相符。

值得关注的是，尽管Tiiny公司已公布了详细规格，并且其设计理念被外媒与“厚膜万杰M50”（Houmo Manjie M50）风格的芯片进行比较，但目前尚未有独立的真实世界性能数据对外发布，因此其宣称的能力仍有待第三方验证。

开放生态与技术策略

Tiiny公司强调，AI Pocket Lab将构建一个开放的生态系统，支持主流模型和智能体框架的一键式安装。公司表示将持续提供更新，其中提及的“OTA硬件升级”表述引起了业内关注。通常而言，OTA（Over-The-Air）机制适用于软件更新，因此这一措辞可能意味着其在营销表述上存在不精确，或指未来硬件迭代将通过更便捷的方式实现，而非字面意义上的硬件通过空中下载方式进行修改。

在技术实现层面，Tiiny AI Pocket Lab并非单纯依靠提升原始硅片性能，而是采用了两项软件驱动的优化技术。其一是名为“TurboSparse”的技术，该技术专注于选择性神经元激活，旨在不改变模型结构的前提下，降低推理成本。另一项技术是“PowerInfer”，它通过在异构组件之间分配工作负载，协调CPU与专用的神经网络处理单元（NPU）协同工作，以在较低功耗下实现接近服务器级别的吞吐量。该系统并未采用独立的图形处理器（GPU），Tiiny公司认为通过精密的调度机制，可以有效消除对昂贵加速器的需求。这些技术主张表明，该设备的核心竞争力在于效率提升，而非简单的算力堆叠。

应对行业挑战的战略布局

Tiiny AI将Pocket Lab定位为解决当前集中式AI服务所面临的可持续性、隐私保护和运营成本压力的方案。通过在本地运行大型语言模型，有望显著减少企业和个人对重复性云服务费用的支出，同时也能有效限制敏感数据暴露的风险。在当前数据隐私日益受到重视的时代背景下，本地AI的部署模式提供了一种新的选择。

在全球数字经济中，数据隐私和主权正成为越来越重要的议题。对于许多企业和个人而言，将数据处理置于本地而非依赖云端服务，可以更好地控制数据流向，减少合规风险。同时，长期来看，本地AI的普及也可能为更多个性化、定制化的AI应用场景提供基础。然而，对于这种在资源受限硬件上实现服务器级性能和无缝扩展能力的说法，独立的验证仍然是行业关注的焦点。新媒网跨境认为，这类创新产品的出现，将促使更多厂商探索边缘AI的潜力，并加速AI技术在个人终端的普及。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/65w-pocket-ai-runs-100b-model-local-no-cloud.html