NeMo Agent智能体搭建实操：25分钟极速搞定私密AI伙伴

今天在2026年的国际消费电子展（CES）上，美国英伟达公司（NVIDIA）向全球展示了多款开放模型，这些模型将共同开启智能体（agents）的未来，无论是线上虚拟环境还是现实世界。从近期发布的NVIDIA Nemotron推理LLM大模型，到全新的NVIDIA Isaac GR00T N1.6开放推理VLA以及NVIDIA Cosmos世界基础模型，所有构建智能体的关键模块都已到位，等待咱们技术开发者去探索。

新媒网跨境获悉，如果能将你自己的智能体带入现实生活，让它就在你的办公桌旁为你服务，那会是怎样一番体验？一个能够私密处理你的数据，并且成为你得力助手的AI伙伴？在今天CES的主题演讲中，英伟达创始人兼CEO黄仁勋先生就向我们展示了如何通过NVIDIA DGX Spark的强大算力，结合Reachy Mini协作机器人，来打造你自己的“办公室R2D2”，你可以和它对话，协同工作。

接下来的内容，将以导师的口吻，带领大家一步步地实战演练，复制这项令人惊叹的体验，就算在家也能搭建起来。

咱们就深入挖掘，一起动手！

准备工作：咱们需要哪些“家伙什儿”？

如果你想立马动手“烹饪”，示例代码已经准备好了。咱们需要用到以下这些核心组件：

• 推理模型： 演示中用到的是NVIDIA Nemotron 3 Nano。这是智能体“思考”的大脑。
• 视觉模型： 演示中用到的是NVIDIA Nemotron Nano 2 VL。让智能体能够“看清”世界。
• 文本转语音模型： 演示中用到的是ElevenLabs。赋予智能体“说话”的能力。
• Reachy Mini机器人： 或者Reachy Mini的仿真环境。这是智能体的“身体”，让它能进行物理互动。
• Python v3.10+环境，以及uv包管理器。 这是咱们进行开发的“厨房工具”。

当然了，这个“菜谱”不是一成不变的，你可以根据自己的需求灵活调整。将这些模型集成到你的应用程序中，有多种方式可选：

• 本地部署： 直接在你自己的硬件上运行，比如DGX Spark或一台配备足够显存（VRAM）的GPU。请注意，咱们的实现方案需要推理模型大约65GB的磁盘空间，视觉模型大约28GB。这对于追求自主可控、数据安全的朋友来说，是很好的选择。
• 云端部署： 通过云服务商提供的GPU资源部署模型，比如NVIDIA Brev或外媒的Hugging Face Inference Endpoints。这种方式灵活便捷，适合资源有限但追求效率的朋友。
• 无服务器模型端点： 直接向NVIDIA或外媒的Hugging Face推理提供商发送请求。这种方式无需管理服务器，按需付费，非常适合快速测试和小型应用。

赋予Reachy智能生命力：让你的智能体活起来

咱们都知道，把一个AI智能体从简单的聊天界面变成能够自然互动的实体，会让对话感觉更加真实。当一个AI智能体可以通过摄像头“看”到你，大声“说”出回应，甚至能执行一些物理动作时，这种体验就会变得更加引人入胜。而这，正是Reachy Mini所能带来的奇妙之处。

Reachy Mini的设计初衷就是高度可定制化。它拥有丰富的传感器、执行器和API接口，这意味着你可以非常方便地将其集成到你现有的智能体体系中，无论是通过仿真环境还是直接从Python代码控制真实的硬件。

咱们这次的教程，重点在于如何将现有的“积木”组件巧妙地组合起来，而不是去重新发明轮子。我们将开放的推理模型和视觉模型、一套智能体编排框架，以及用于执行动作的工具处理器结合在一起。每个组件都是松耦合的，这样你就可以轻松地替换模型、改变路由逻辑，或者添加新的行为，而无需改动核心代码，这对于咱们跨境行业快速迭代的节奏来说，非常重要。

与那些封闭式的个人助理不同，这套方案完全是开放的。你掌控着模型、提示词、工具，以及机器人的所有动作。Reachy Mini在这里，仅仅是你的智能体的一个物理“终端”，让感知、推理和行动在这里汇聚，真正实现了咱们对AI应用的自主掌控。

搭建AI智能体核心框架：构建你的智能体

在这个实战案例中，咱们将使用NVIDIA NeMo Agent Toolkit。这是一个灵活、轻量级、与框架无关的开源库，它能把智能体的所有组件无缝连接起来。它与LangChain、LangGraph、CrewAI等其他智能体框架都能很好地协同工作，负责处理模型间的交互、路由输入和输出，让你能轻松尝试不同的配置或添加新功能，而无需重写核心逻辑。

这个工具包还提供了内置的性能分析和优化功能，能够帮你追踪令牌使用效率和工具及智能体之间的延迟，发现瓶颈，并自动调整超参数，在最大化准确性的同时降低成本和延迟，这对于咱们追求降本增效的跨境人来说，无疑是个福音。

第一步：准备就绪，获取模型与服务

首先，你需要克隆包含所有代码的仓库，这样你就能跟着教程一步步操作了：

git clone git@github.com/brevdev/reachy-personal-assistant
cd reachy-personal-assistant

要访问由NVIDIA Nemotron模型提供支持的智能层，你可以选择使用NVIDIA NIM或vLLM进行本地部署，也可以通过build.nvidia.com上提供的远程端点进行连接。接下来的说明假设你通过端点访问Nemotron模型。

在主目录下创建一个名为.env的文件，并填入你的API密钥。如果你选择本地部署，则无需指定API密钥，可以跳过此步骤。

NVIDIA\_API\_KEY=your\_nvidia\_api\_key\_here
ELEVENLABS\_API\_KEY=your\_elevenlabs\_api\_key\_here

第二步：构建基础聊天交互界面

咱们先通过NeMo Agent Toolkit的API服务器运行一个基本的LLM聊天工作流。NeMo Agent Toolkit支持通过nat serve命令和配置文件来运行工作流。这里传入的配置文件包含了智能体所有必要的设置信息，包括用于聊天、图像理解的模型，以及智能体使用的路由模型。NeMo Agent Toolkit的UI界面可以通过HTTP/WebSocket连接，这样你就可以像使用标准的聊天产品一样与你的工作流进行对话。

在这个实现中，NeMo Agent Toolkit服务器将在8001端口启动（你的机器人和UI都可以调用它）：

cd nat
uv venv
uv sync
uv run --env-file ../.env nat serve --config\_file src/ces\_tutorial/config.yml --port 8001

接下来，请通过另一个独立的终端，发送一个纯文本提示，以验证所有设置是否正确：

curl -s http://localhost:8001/v1/chat/completions \\
-H "Content-Type: application/json" \\
-d '{"model": "test", "messages": [{"role": "user", "content": "What is the capital of France?"}]}'

审查智能体的配置，你会发现它定义的 capabilities 远不止简单的聊天补全功能。接下来的步骤将深入讲解这些细节。

第三步：引入NeMo Agent Toolkit的ReAct智能体，赋能工具调用

工具调用是AI智能体的核心能力之一。NeMo Agent Toolkit内置了一个ReAct智能体，它能够在工具调用之间进行推理，并且在回答问题之前可以使用多个工具。咱们可以将“动作请求”路由到一个允许调用工具的ReAct智能体（比如，触发机器人行为或获取当前机器人状态的工具）。

这里有几点实战经验值得注意：

• 保持工具模式精简： 确保工具的名称、描述和参数清晰明了，因为这是智能体决定调用哪个工具的关键。
• 设置最大步数限制： 为智能体设置一个硬性上限（max_tool_calls），防止它进入无限循环，耗费资源。
• 物理机器人安全： 如果使用实体机器人，强烈建议采用“执行前确认”的模式，在进行任何物理动作前进行确认，以确保移动安全，这也是对咱们生命财产的负责。

咱们来看看配置文件的这一部分，它定义了工具（比如维基百科搜索）并指定了用于管理它们的ReAct智能体模式。

functions:
 wikipedia\_search:
  \_type: wiki\_search
  max\_results: 2
 ..
 react\_agent:
  \_type: react\_agent
  llm\_name: agent\_llm
  verbose: true
  parse\_agent\_response\_max\_retries: 3
  tool\_names: [wikipedia\_search]
​​workflow:
 \_type: ces\_tutorial\_router\_agent
 agent: react\_agent

第四步：添加智能路由，精准分发查询任务

这里面的核心思想就是：不要指望一个模型包打天下。相反，咱们要根据用户意图进行智能路由，把任务分配给最合适的模型：

• 文本查询： 可以交给一个快速的文本模型处理。
• 视觉查询： 必须通过一个VLM（视觉语言模型）来运行。
• 动作/工具请求： 路由到ReAct智能体和相应的工具。

实现路由有几种方法（启发式规则、轻量级分类器或专用的路由服务）。如果你想了解这个思路的“生产级”版本，NVIDIA LLM Router开发者示例是一个完整的参考实现，其中包含了评估和监控模式。

一个基本的路由策略可以这样设计：

• 如果用户询问关于环境的问题，那么将请求连同摄像头（或Reachy）捕获的图像发送给VLM。
• 如果用户提出的问题需要实时信息，则将输入发送给ReAct智能体，通过工具调用执行网络搜索。
• 如果用户提出的是简单问题，则将请求发送给一个针对闲聊优化的小型、快速模型。

这些配置部分定义了路由拓扑结构并指定了路由模型。

functions:
 ..
 router:
  \_type: router
  route\_config:
  - name: other
  description: Any question that requires careful thought, outside information, image understanding, or tool calling to take actions.
  - name: chit\_chat
  description: Any simple chit chat, small talk, or casual conversation.
  - name: image\_understanding
  description: A question that requires the assistant to see the user eg a question about their appearance, environment, scene or surroundings. Examples what am I holding, what am I wearing, what do I look like, what is in my surroundings, what does it say on the whiteboard. Questions about attire eg what color is my shirt/hat/jacket/etc
  llm\_name: routing\_llm
llms:
 ..
 routing\_llm:
  \_type: nim
  model\_name: microsoft/phi-3-mini-128k-instruct
  temperature: 0.0

温馨提示： 如果你想降低延迟/成本或在离线状态下运行，你可以自行托管其中一个路由模型（通常是“快速文本”模型），并将VLM保持远程。一种常见的方法是通过NVIDIA NIM或vLLM提供服务，并将NeMo Agent Toolkit指向一个兼容OpenAI的端点。这种混合部署方式可以更好地平衡性能与成本。

第五步：Pipecat驱动，实现实时语音与视觉交互

现在，咱们进入实时交互环节。Pipecat是一个专为低延迟语音/多模态智能体设计的框架：它能编排音频/视频流、AI服务和传输，让你能够构建自然的对话体验。

在这个代码仓库中，机器人服务主要负责以下工作：

• 捕获视觉信息： 通过机器人摄像头获取实时画面。
• 语音识别 + 文本转语音： 实现智能体与用户的语音交互。
• 协调机器人运动和表达行为： 让机器人不仅能看能说，还能动起来，做出表情或姿态。

你可以在reachy-personal-assistant/bot文件夹中找到所有的Pipecat机器人代码。

第六步：连接Reachy，无论是实体还是模拟

Reachy Mini暴露了一个守护进程（daemon），你系统的其他部分都将连接到这个进程。默认情况下，该代码仓库会在仿真环境（--sim）中运行这个守护进程。如果你拥有真实的Reachy机器人，只需移除这个--sim标志，同样的代码就能控制你的实体机器人了。

实战演练：启动你的智能伙伴

要运行整个系统，你需要打开三个独立的终端窗口：

终端 1: Reachy守护进程

cd bot
# macOS: uv run mjpython -m reachy\_mini.daemon.app.main --sim --no-localhost-only
# Linux: uv run -m reachy\_mini.daemon.app.main --sim --no-localhost-only

如果你使用的是实体Reachy机器人，请记得从命令中省略--sim标志。

终端 2: 机器人服务

cd bot
uv venv
uv sync
uv run --env-file ../.env python main.py

终端 3: NeMo Agent Toolkit服务

如果NeMo Agent Toolkit服务尚未从步骤1开始运行，请立即在终端3中启动它。

cd nat
uv venv
uv sync
uv run --env-file ../.env nat serve --config\_file src/ces\_tutorial/config.yml --port 8001

所有终端都设置完毕后，你需要关注两个主要窗口：

• Reachy Sim： 当你在终端1启动模拟器守护进程时，这个窗口会自动出现。如果你运行的是Reachy Mini仿真环境而不是实体设备，这一点尤其适用。
• Pipecat Playground： 这是一个客户端UI界面，你可以在这里连接到智能体，启用麦克风和摄像头输入，并查看实时转录文本。

在终端2中，打开机器人服务暴露的URL：http://localhost:7860/。在浏览器中点击“CONNECT”。可能需要几秒钟初始化，之后系统会提示你授予麦克风（可选摄像头）访问权限。

一旦两个窗口都启动并运行：

• “Client”和“Agent STATUS”指示器应显示“READY”。
• 机器人会用一句欢迎语问候你：“Hello, how may I assist you today?”（你好，今天我能为你提供什么帮助？）

到此，你就可以开始与你的智能体互动了！

小试牛刀：这样和你的智能体互动

这里有一些简单的提示词，可以帮助你测试你的个人助理。你可以从这些开始尝试，然后发挥创意，添加你自己的提示词，看看智能体会如何回应！

• 纯文本提示（会路由到快速文本模型）
  • “用一句话解释你能做什么。”
  • “总结一下我刚才说的最后一句话。”
• 视觉提示（会路由到VLM视觉语言模型）
  • “我拿着什么对着摄像头？”
  • “阅读这页上的文字并总结它。”

未来展望与进阶方向

咱们搭建的这套系统，不再是一个“黑箱”式的助理，而是为构建一个私密、可定制的智能系统奠定了基础。你可以完全掌控智能体的“大脑”和“身体”。你可以检查、扩展并在本地运行它，对数据流、工具权限以及机器人如何感知和行动，都有着完整的可见性，这对于咱们跨境从业者而言，意味着更强的业务安全性和创新空间。

根据你的目标，新媒网跨境建议你可以从以下几个方向进行深入探索：

• 性能优化： 使用LLM Router开发者示例，通过智能地在不同模型之间路由查询，来平衡成本、延迟和质量。同时，你也可以查看如何使用Nemotron开放模型构建一个带有安全防护的语音驱动RAG（检索增强生成）智能体的教程。
• 掌握硬件： 深入研究Reachy Mini SDK和仿真文档，在部署到实际系统之前，设计和测试更高级的机器人行为。此外，还可以探索并贡献社区为Reachy开发的应用程序。

想立即体验吗？你可以在这里一键部署完整环境，即刻运行起来！

风险前瞻与时效提醒

在咱们拥抱AI智能体带来的便利和效率时，作为一名跨境实战专家，我也要给大家提个醒，有几个方面需要咱们特别关注：

风险与合规性

1. 数据隐私与安全： 尽管本地部署提供了更高的控制权，但仍需确保处理的数据符合咱们国家以及目标市场的数据保护法规（如欧盟的GDPR、美国的CCPA等）。特别是在涉及用户数据、商业机密时，必须严格遵守数据最小化原则，并采取 robust 的安全措施。
2. 伦理与偏见： AI模型可能存在固有的偏见，这可能导致不公平或不准确的输出。在使用时，需要对模型的输出进行审慎评估，特别是在决策支持、客户服务等关键场景，避免引发争议或损害企业形象。
3. 物理安全（针对实体机器人）： 如果使用Reachy Mini实体机器人，务必将其部署在安全的环境中，并设置适当的安全协议。例如，确保在有人类活动区域操作时，机器人能感知并避开障碍物，避免意外伤害。前面提到的“执行前确认”模式就是很好的实践。
4. 知识产权与版权： 模型生成的内容可能存在版权问题，尤其是在用于商业发布或内容创作时。务必核查模型的使用条款，并对生成内容的原创性进行验证。

教程时效性说明

AI技术的发展速度，咱们跨境人都深有体会，简直是日新月异。本教程基于2026年CES发布的技术和模型版本编写，但请务必注意：

• 模型更新迭代快： NVIDIA的Nemotron系列模型，以及其他相关的AI服务，都会不断更新和优化。新的版本可能会带来性能提升、功能增加，但也可能伴随着API接口或配置方式的变化。
• 依赖库与框架： Python生态系统中的各种库和框架（如uv、Pipecat等）也会持续更新。随着时间的推移，本教程中的某些命令或代码片段可能需要根据最新版本的官方文档进行调整。
• 建议： 在实际部署和操作时，请始终参考NVIDIA及相关开源项目的最新官方文档。那里会提供最准确、最及时的信息和最佳实践。保持学习和更新是咱们在AI时代立足的关键。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/nemo-agent-ai-agent-build-25min-get-your-private-ai.html