AWS部署AI蓝图实操！30分钟极速搞定智能报告生成

各位跨境实战精英、技术大拿们，大家好！

当下，生成式AI技术正飞速发展，如何将其转化为企业实实在在的生产力，特别是构建准确、可靠、又能深度结合自身数据的智能代理，成了大家关注的焦点。今天，我就带大家深入了解NVIDIA AI-Q深度研究助手和企业级RAG（检索增强生成）蓝图。它们巧妙结合了RAG技术与NVIDIA Nemotron推理AI模型，能帮你自动理解海量文档、高效提取关键洞察，并从庞杂数据中生成高质量的分析报告。当然，要让这些利器跑起来，一套安全、可扩展、同时兼顾性能与成本效益的AI基础设施必不可少。

新媒网跨境获悉，本文将手把手教大家，如何在亚马逊云科技（AWS）上部署这些蓝图。我们将用到Amazon EKS（弹性Kubernetes服务）来编排容器，借助Amazon OpenSearch Serverless向量数据库高效存储和检索数据，用Amazon S3（简单存储服务）来存放海量文件，更有Karpenter这位“GPU资源管家”帮你智能地管理GPU资源，实现成本与性能的最优化。

蓝图的核心技术：知其然，更要知其所以然

NVIDIA AI-Q研究助手其实是基于NVIDIA企业级RAG蓝图进行的一次重要升级。可以说，企业RAG蓝图是整个系统的“地基”，而AI-Q则在其上搭建了更复杂的“智能楼宇”。这两个蓝图都由一系列NVIDIA NIM微服务构成，这些都是经过优化的推理容器，专为在GPU上实现AI模型的高吞吐、低延迟运行而设计。咱们可以把这些组件按功能划分为两大类：

1. RAG核心组件——打好知识基础

这些模型构成了企业RAG蓝图的基石，也是AI-Q助手的必要支撑：

大型语言模型（LLM）NVIDIA NIM：Llama-3.3-Nemotron-Super-49B-v1.5：这可是整个RAG流水线的大脑。它负责拆解问题、进行深度分析，并根据检索到的信息，为你生成精准的答案。
NeMo Retriever 模型：这是一套基于NVIDIA NIM构建的模型集合，堪称“数据宝藏挖掘机”。它能提供先进的多模态数据摄取和检索能力，无论是文字、表格，甚至是图片中的图形元素，都能从中提取并利用。

（小提示：RAG蓝图还提供了其他一些可选模型，但在这个特定的解决方案中并没有全部部署。如果大家感兴趣，可以去RAG蓝图的GitHub仓库了解更多。）

2. AI-Q研究助手专属组件——升级你的智能研究能力

AI-Q蓝图在RAG基础之上，又加持了以下组件，使其具备了更高级的智能代理工作流和自动报告生成能力：

LLM NIM：Llama-3.3-70B-Instruct：这是一个可选的、更庞大的模型，专为AI-Q设计，用于生成那种全面、深入的专业研究报告。
网页搜索集成：AI-Q蓝图集成了Tavily API，这让它的研究不再局限于内部资料。通过实时网页搜索，它能获取到最新的信息，确保报告的时效性和广度。

AWS云上实践：架构与关键服务解析

这套蓝图在AI-on-EKS上即可轻松获取，它在亚马逊云科技（AWS）上为您提供了一个完整的部署环境，所有必要的基础设施和安全组件都能实现自动化配置。

架构总览：AI-Q的智能工作流

这套解决方案将所有NVIDIA NIM微服务及其他组件作为“容器（Pod）”部署在Kubernetes集群上。系统会根据不同工作负载对GPU的需求，智能地、动态地调配出最合适的GPU实例（比如G5、P4、P5系列），从而在性能和成本之间找到最佳平衡点。
Diagram of AI-Q Deep Research Assistant workflow.

图1. AWS上的AI-Q深度研究代理蓝图

如图1所示，AI-Q蓝图在RAG基础之上，增加了一个“代理（Agent）”层。这个代理能够编排更复杂的工作流程：

规划（Plan）：Llama Nemotron推理代理会先“思考”，将一个复杂的研究问题进行拆解。它会智能判断，是该向RAG知识库查询内部资料，还是通过Tavily API进行实时网页搜索。
提炼（Refine）：它会从各种来源收集信息，然后运用Llama Nemotron模型对这些数据进行“提炼”和优化，去伪存真。
总结（Reflect）：最后，所有经过合成的信息都会传递给“报告生成”模型（Llama 3.3 70B Instruct），由它来生成一份结构化、全面且带引用的专业报告。

NVIDIA企业级RAG蓝图架构：知识的提取与检索

Diagram of Enterprise RAG Blueprint on AWS workflow.

图2. AWS上的企业级RAG蓝图

从图2我们可以看到，整个RAG解决方案包含两条并行但又紧密协作的流水线：

提取流水线：咱们企业内部的各种文件（比如PDF、报告等）会先存放到Amazon S3这个“数据湖”里。然后，NeMo Retriever的提取和嵌入模型会对其进行处理，从中抽取出文本、表格等关键数据，并将其转化为“向量嵌入”这种数字化表示，最后存储到Amazon OpenSearch Serverless向量数据库中，方便后续检索。
检索流水线：当用户发起查询时，系统会先对查询进行处理，接着利用NeMo Retriever的嵌入和重排序模型，配合OpenSearch从向量数据库中检索出最相关的“上下文”信息。这些上下文随后会被传递给NVIDIA Llama Nemotron Super 49B模型，由它生成最终的、精准且“上下文感知”的答案。

AWS关键服务：搭建AI基础设施的利器

这套解决方案借助以下核心AWS服务，为你搭建了一个完整且安全的云端环境：

Amazon EKS：它是托管式的Kubernetes服务，就像一位“容器编排大师”，负责运行、扩展和管理所有容器化的NVIDIA NIM微服务。
Amazon S3：S3扮演着“海量数据湖”的角色，是我们企业文件的主要存储地。RAG流水线将从这里摄取、处理并最终让这些文件变得可搜索。
Amazon OpenSearch Serverless：这个全托管、无服务器的向量数据库，专门用来存储那些经过处理并转化为数字表示（嵌入）的文档。它是实现高效、精准知识检索的关键。
Karpenter：一个运行在Kubernetes集群上的节点自动伸缩器。它能智能监控AI容器（Pod）的资源需求，然后动态地为你调配最优的GPU节点（如G5、P4、P5家族），让你的GPU资源物尽其用，有效控制成本。
EKS Pod Identity：它让运行在EKS上的容器能够安全地访问其他AWS服务，比如Amazon OpenSearch Serverless集合，而无需你手动管理静态的身份凭证，大大提升了安全性。

实战演练：手把手部署你的AI助手

这套解决方案采用了一系列自动化脚本，能帮你轻松部署整个技术栈，从AWS基础设施到具体的AI蓝图应用，一气呵成。

实战之前，有几点需要提前和大家强调：

划重点：成本与配额！
本次部署会用到GPU实例（例如G5、P4或P5系列），这些资源可能会产生显著的成本。务必提前检查你的AWS账户中是否有足够的这些实例的服务配额，并仔细阅读相关的成本考量说明。新媒网跨境提示，资源管理也是实战能力的一部分。

在开始之前，请确保你已经安装了以下工具：

AWS CLI (命令行工具)
kubectl (Kubernetes命令行工具)
helm (Kubernetes包管理器)
terraform (基础设施即代码工具)
git (版本控制工具)

你还需要准备以下API密钥：

NVIDIA NGC：这是获取NIM容器和模型的通行证。你可以通过NVIDIA开发者计划或NVIDIA AI Enterprise进行注册。
Tavily API：这是可选的，但如果想让AI-Q研究助手具备全面的网页搜索能力，就必须要有它。它是获取实时网络信息的钥匙。

第一步：确保你的AWS CLI已经登录

在继续之前，请确保你的环境（终端或AWS CloudShell）已经通过你的AWS账户进行了身份验证。下面的部署将使用你默认的AWS CLI凭证。你可以通过运行以下命令来配置：

aws configure

第二步：搭建底层基建——基础设施部署

首先，克隆代码仓库并进入基础设施目录：

# 克隆仓库
git clone https://github.com/awslabs/ai-on-eks.git
cd ai-on-eks/infra/nvidia-deep-research
# 运行安装脚本
./install.sh

这个脚本会使用Terraform自动为你配置完整的云端环境，包括VPC（虚拟私有云）、EKS集群、OpenSearch Serverless集合以及Karpenter用于GPU实例（G5、P4、P5等）的节点池。这个过程通常需要15-20分钟，大家耐心等待。

第三步：环境配置与密钥录入

一旦基础设施准备就绪，运行设置脚本。它会帮你配置kubectl来访问你的新集群，并会提示你输入NVIDIA NGC和Tavily API密钥。

./deploy.sh setup

第四步：构建专属镜像——打通OpenSearch集成

这一步是为了构建自定义的Docker镜像，以便将RAG蓝图与OpenSearch Serverless向量数据库进行深度集成。

./deploy.sh build

第五步：应用部署——根据需求选择

现在，你有两种部署方案可供选择。新媒网跨境获悉，这一步是实战落地的关键：

方案一：只部署企业级RAG：如果你只需要文档问答、知识库搜索以及自定义RAG应用，选择这个即可。
```
./deploy.sh rag
```
它会部署RAG服务器、多模态摄取流水线以及Llama Nemotron Super 49B v1.5推理NIM。
方案二：部署完整的AI-Q深度研究助手：如果你想拥有方案一的所有功能，再加上AI-Q的专属组件，包括用于报告生成的Llama 3.3 70B Instruct NIM和网页搜索后端，那就选它。
```
./deploy.sh all
```
这个环节需要25-30分钟左右，主要是Karpenter在忙着为你调配GPU节点（比如g5.48xlarge）来托管NIM微服务，以及这些微服务的启动时间。

成果验收：访问你的智能助手

部署完成，现在是验收成果的时刻！服务会通过kubectl端口转发（port-forward）安全地暴露出来。仓库中包含了帮你管理这些操作的辅助脚本。首先，进入蓝图目录：

cd ../../blueprints/inference/nvidia-deep-research

要访问企业级RAG的用户界面（UI）：

./app.sh port start rag

现在你可以在浏览器中打开 http://localhost:3001，开始上传文档并进行提问了。

要访问AI-Q研究助手的用户界面（如果你部署了它）：

./app.sh port start aira

在浏览器中打开 http://localhost:3000，即可生成你的深度研究报告。

实时监控：让系统运行状况一目了然

这个解决方案还内置了一套强大的可观测性栈。它集成了Prometheus和Grafana来监控RAG的各项指标，Zipkin用于RAG流水线的分布式追踪，Phoenix则专注于追踪AI-Q助手的复杂代理工作流，更有NVIDIA DCGM为你提供全面的GPU监控。你可以使用相同的端口转发脚本来访问这些监控面板。

启动可观测性端口转发：

./app.sh port start observability

在你的浏览器中访问以下监控界面：

Grafana：http://localhost:8080 (查看指标和GPU仪表盘)
Zipkin：http://localhost:9411 (查看RAG的分布式追踪)
Phoenix：http://localhost:6006 (追踪AI-Q的代理工作流)

重要提醒：务必清理，避免高额账单！

GPU实例会产生高昂的费用，所以当你完成实验或不再需要时，务必及时清理资源，这是非常关键的。

1. 卸载应用程序

如果你只想移除RAG和AI-Q应用（这会让Karpenter终止昂贵的GPU节点），但想保留EKS集群和其他基础设施，可以执行以下操作：

# 从 blueprints/inference/nvidia-deep-research 目录执行
./app.sh cleanup

这个脚本会停止端口转发，并卸载RAG和AI-Q的Helm版本。

2. 彻底清理基础设施

如果你想永久删除整个EKS集群、OpenSearch集合、VPC以及所有其他相关的AWS资源：

# 从 infra/nvidia-deep-research 目录执行
./cleanup.sh

这会运行 terraform destroy 命令，彻底销毁 install.sh 脚本创建的所有资源。

结语

NVIDIA AI-Q深度研究助手和企业级RAG蓝图，是一套基于安全、可扩展的AWS AI基础架构构建的、可定制的参考范例。它们充分利用了AWS的关键服务，比如用于容器编排的Amazon EKS、实现成本效益型GPU自动伸缩的Karpenter、作为托管式安全向量数据库的Amazon OpenSearch Serverless，以及用于对象存储的Amazon S3。

这些集成方案让大家能够部署可扩展的研究助手和生成式AI应用，能够从海量的企业数据中处理并提炼洞察，同时最大化性能并优化成本。

别犹豫了，今天就在Amazon EKS上部署NVIDIA企业级RAG或AI-Q深度研究蓝图吧！开始将你的企业数据转化为安全、可操作的智慧，抓住跨境出海的最新机遇！

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/aws-deploy-ai-blueprint-30min-smart-report-gen.html