TAO+DS视觉检测部署实操：30分钟搞定精度提升4.7%！

各位跨境实战精英和新锐开发者们，大家好！

今天，咱们来聊聊如何用NVIDIA TAO 6和DeepStream 8这两把“利剑”，打造一套实时的视觉检测流水线，帮我们的产品把好质量关，让生产效率再上一个台阶。

大家伙都知道，想要搭建一套稳健可靠的视觉检测系统，专门用来抓产品缺陷、做质量把控，这可不是件容易事。在实际生产中，无论是咱们的制造商伙伴，还是AI开发者，常常会遇到不少棘手问题：比如，通用的AI模型效果是好，但怎么才能让它更懂我们自己行业的“门道”？再比如，边缘设备的算力有限，模型太大会不会跑不动？还有，怎么才能把模型高效部署到生产线上，实现实时高速推理？

别急，NVIDIA Metropolis平台就是为了解决这些痛点而生的！它就像一个强大的视觉AI应用开发工具箱，提供了从模型训练、优化到部署的全套解决方案，帮助我们打通视觉检测的各个环节：

• 通过精细调优（fine-tuning），把通用大模型“量身定制”成行业专属模型。
• 对模型进行优化，确保它能在边缘设备上跑得又快又稳。
• 将模型部署到实际生产流水线中，实现真正的价值。

NVIDIA Metropolis平台，集成了NVIDIA TAO 6和NVIDIA DeepStream 8。TAO 6专门负责视觉AI基础模型的训练和优化，而DeepStream 8则是一个端到端的流媒体分析工具包。新媒网跨境获悉，TAO 6和DeepStream 8现在都已经可以下载体验了。想了解更多最新功能，大家可以去NVIDIA TAO和NVIDIA DeepStream的官方文档里找找“干货”。

接下来，我会手把手带大家走一遍，如何利用NVIDIA TAO和DeepStream，搭建一套端到端的实时视觉检测流水线。主要步骤包括：

• 运用TAO的自监督微调功能，充分挖掘行业内那些“默默无闻”的无标签数据。
• 通过TAO的知识蒸馏技术，优化大模型，提高推理速度和效率。
• 利用DeepStream推理构建器（DeepStream Inference Builder）这个低代码工具，轻松部署模型。

NVIDIA TAO：如何利用视觉基础模型，高效开发定制化AI模型

NVIDIA TAO框架，为咱们量身定制，它能支持视觉基础模型从训练、适应到优化的全流程，最终让这些大模型能完美适应我们特定行业的应用场景。它提供了一整套精细调优的微服务，帮助我们定制视觉基础模型，实现高精度和高性能。

图1. 运用NVIDIA TAO，创建高精度、定制化、企业级的AI模型，为您的视觉AI应用提供强大动力

什么是视觉基础模型（VFMs）？你可以把它理解成“看过世间万物”的AI大模型，它们在海量多样化的数据集上学习，因此能捕捉到非常通用且强大的视觉特征。这种通用性，让它们成为各种AI感知任务的“百搭”骨干网络，比如图像分类、目标检测和语义分割等。

TAO平台就提供了这样一批强大的基础模型骨干（backbones）和任务头（task heads），让我们可以针对工业视觉检测等核心业务需求进行精细调优。在TAO 6版本中，C-RADIOv2（开箱即用准确度最高）和NV-DINOv2是两个“明星级”的基础模型骨干。当然，TAO也支持第三方模型，只要它们的视觉骨干和任务头架构与TAO兼容就行。

图2. 借助NVIDIA TAO精细调优框架、基础模型骨干和任务头，大规模开展定制化视觉模型开发

为了提升模型精度，TAO支持多种模型定制技术，比如监督式精细调优（SFT）和自监督学习（SSL）。SFT大家都熟悉，需要收集并标注大量高质量数据集，这对于咱们特定的计算机视觉任务来说，往往是个费时费力又烧钱的活儿。

但是，NVIDIA TAO 6赋予了我们一项“新绝活”——自监督学习！它能充分利用海量的无标签图像，大大加速模型定制过程。尤其是在标签数据稀缺或成本高昂时，这项技术简直是救星。

这种方法，咱们也称之为领域适应（domain adaption），它能让你利用无标签数据，构建一个强大的基础模型骨干，比如NV-DINOv2。然后，再结合一个任务头，用少量的标注数据集，就能针对各种下游检测任务进行精细调优。

在实际生产场景中，这个工作流程意味着：模型可以先从大量无标签图片中学习缺陷的细微特征，然后用少量的有标签数据进一步“磨砺”决策能力。这样，即使是在定制化的真实世界数据集上，也能提供顶尖的性能表现。

图3. 基础模型适应特定下游用例的端到端工作流程

基础模型微调：大幅提升PCB缺陷检测精度

咱们用一个例子来说明。我们运用TAO的基础模型适应性工作流，使用大量的无标签印刷电路板（PCB）图像，对视觉基础模型进行微调，来检测PCB缺陷。我们从NV-DINOv2这个通用模型开始，它可是用7亿张通用图像训练出来的“老江湖”。然后，我们又用大约70万张无标签的PCB图像，通过自监督学习（SSL）对其进行了定制，让它从“泛泛而谈”变得对PCB领域“术业有专攻”。

完成领域适应后，我们又利用一个已标注的PCB数据集，通过线性探测（linear probing）来优化特定任务的头部（task-specific head），提升精度；并通过全面微调（full fine-tuning）进一步调整骨干网络和分类头部。这个数据集包含了大约600个训练样本和400个测试样本，将图像分为“正常”（OK）或“缺陷”（Defect），其中缺陷类型包括缺失、移位、倒置、焊接不良和异物等。

从特征图（Figures 4和5）上我们可以清晰地看到，即使在下游精细调优之前，经过适应性调整的NV-DINOv2也能锐利地区分组件和前景背景。它甚至能出色地将集成电路（IC）引脚等复杂部件从背景中分离出来——这对于一个通用模型来说，是难以想象的任务。

图4. 正常（OK）类别图像的特征图对比：领域适应后的NV-DINOv2（左）与通用NV-DINOv2（右）

图5. 缺陷（Defect）类别图像的特征图对比：领域适应后的NV-DINOv2（左）与通用NV-DINOv2（右）

最终，这一系列操作带来了显著的分类精度提升，从93.8%直接跃升至98.5%，足足提高了4.7%！这在实际生产中，意味着更高的产品良率和更低的质量成本。

图6. 领域适应后的NV-DINOv2与通用NV-DINOv2的精度对比

领域适应后的NV-DINOv2还展现出强大的视觉理解能力，能够从相同领域中提取出高度相关的图像特征。这表明，在下游监督式精细调优时，即使使用更少的标注数据，也能达到相似甚至更高的精度。在某些实际场景中，要收集像70万张这样的无标签图像可能仍然是个挑战。不过，即使只有少量数据，比如10万张，你仍然可以从NV-DINOv2的领域适应中受益。

图7展示了只用10万张图像适应NV-DINOv2的实验结果，它同样优于通用NV-DINOv2模型。

图7. 不同NV-DINOv2模型分类精度对比

这个例子清楚地说明了，利用NVIDIA TAO和NV-DINOv2，通过对无标签领域数据进行自监督学习，可以实现稳健、高精度的PCB缺陷检测，同时大大减少对大量标注样本的依赖。

优化视觉基础模型，提高推理吞吐量

模型优化，是深度学习模型部署前非常关键的一步。现在很多生成式AI和视觉基础模型都有上亿个参数，它们对算力需求极大，对于我们工业视觉检测或实时交通监控系统等实时应用中使用的边缘设备来说，往往显得过于庞大。

NVIDIA TAO在这里又展示了它的“神操作”——知识蒸馏（knowledge distillation）。它能从那些庞大且高精度的大模型中“汲取”知识，然后优化成更小巧的模型。知识蒸馏就像一位经验丰富的大师（老师模型），把自己的精湛技艺传授给一个聪明好学的弟子（学生模型），而且往往还能在不损失精度的前提下，让弟子变得更小、更快。这个过程中，学生模型不仅模仿老师模型的最终预测结果，还会学习其内部特征表示和决策边界，从而让模型在资源受限的硬件上也能实用化部署，实现可扩展的模型优化。

NVIDIA TAO在知识蒸馏方面做得更深入，它强大地支持骨干蒸馏、logits蒸馏和空间/特征蒸馏等多种形式。TAO的一个突出特点是其针对目标检测设计的单阶段蒸馏方法。通过这种简化流程，一个通常更小、更快的学生模型可以在一个统一的训练阶段，直接从老师模型那里学习骨干表示和特定任务的预测。这能大幅降低推理延迟，缩小模型体积，同时又不牺牲精度。

实战演练：对实时PCB缺陷检测模型进行单阶段蒸馏

为了评估TAO知识蒸馏的有效性，我们再次用PCB缺陷检测数据集进行了测试。该数据集包含9602张训练图像和1066张测试图像，涵盖了六种具有挑战性的缺陷类型：缺孔、鼠咬、开路、短路、毛刺和杂铜。我们使用了两种不同的“老师模型”候选者来评估蒸馏效果。实验中，骨干网络都用ImageNet-1K预训练权重初始化，结果则以目标检测的标准COCO平均精度（mAP）来衡量。

图8. 使用NVIDIA TAO将知识从一个更大的老师模型蒸馏到一个更小的学生模型

在第一组实验中，我们使用了ResNet系列的骨干网络作为老师-学生组合，蒸馏后，学生模型的精度不仅与老师模型相当，甚至还能超越老师模型的精度。基线实验作为RT-DETR模型在TAO中的训练动作来运行。下面的代码片段展示了一个最小化的实验配置（spec）文件，大家可以用来跑一个训练实验：

model:
  backbone: resnet\_50
  train\_backbone: true
  num\_queries: 300
  num\_classes: 7
train:
  num\_gpus: 1
  epochs: 72
  batch\_size: 4
optim:
  lr: 1e-4
  lr\_backbone: 1.0e-05
dataset:
  train\_data\_sources:
    - image\_dir: /path/to/dataset/images/train
      json\_file: /path/to/dataset/annotations/train.json
  val\_data\_sources:
    image\_dir: /path/to/dataset/images/val
    json\_file: /path/to/dataset/annotations/val.json
  test\_data\_sources:
    image\_dir: /path/to/dataset/images/test
    json\_file: /path/to/dataset/annotations/test.json
  batch\_size: 4
  remap\_coco\_categories: false
augmentation:
  multiscales: [640]
  train\_spatial\_size: [640, 640]
  eval\_spatial\_size: [640, 640]

要运行训练，请使用以下命令：

tao model rtdetr train -e /path/to/experiment/spec.yaml results\_dir=/path/to/results/dir model.backbone=backbone\_name model.pretrained\_backbone\_path=/path/to/the/pretrained/model.pth

你可以通过修改model.backbone参数来更换骨干网络名称，以及通过修改model.pretrained_backbone_path来指定骨干网络预训练检查点文件的路径。

蒸馏实验作为RT-DETR模型在TAO中的distill动作来运行。要配置蒸馏实验，你可以在原始的训练实验配置（spec）文件中添加以下配置元素：

distill:
  teacher:
    backbone: resnet\_50
    pretrained\_teacher\_model\_path: /path/to/the/teacher/checkpoint.pth

使用以下示例命令运行蒸馏：

tao model rtdetr distill -e /path/to/experiment/spec/yaml results\_dir=/path/to/results/dir model.backbone=backbone\_namemodel.pretrained\_backbone\_path=/path/to/pretrained/backbone/checkpoint.pth distill.teacher.backbone=teacher\_backbone\_name distill.pretrained\_teacher\_model\_path=/path/to/the/teacher/model.pth

图9. ResNet50老师模型蒸馏到更轻量级的ResNet18学生模型，实现了5%的精度提升

在边缘设备上部署模型时，推理加速和内存限制都是非常重要的考量。TAO不仅支持在同一骨干网络系列内进行检测特征蒸馏，还能跨骨干网络系列进行蒸馏！这意味着更大的灵活性和优化潜力。

图10. ConvNeXt老师模型蒸馏到更轻量级的ResNet34模型，实现了3%的精度提升

在这个例子中，我们使用基于ConvNeXt的RT-DETR模型作为老师模型，将其蒸馏到一个更轻量级的基于ResNet34的模型。通过单阶段蒸馏，TAO将精度提高了3%，同时模型大小缩小了81%，从而实现了更高的吞吐量和更低的推理延迟。这对于我们那些对成本和效率敏感的生产环境来说，简直是福音！

DeepStream 8推理构建器：如何打包和部署模型

模型训练优化好了，下一步就是把它“请”到我们的生产线上工作，变成一个能随时响应的推理微服务！全新推出的NVIDIA DeepStream 8推理构建器（Inference Builder），就是一个低代码的“神器”，它能把你的模型想法，迅速转化成可独立运行的应用，或者可部署的微服务。

使用推理构建器，你只需要提供一个YAML配置文件、一个Dockerfile，以及一个可选的OpenAPI定义文件。接着，推理构建器就会自动生成Python代码，把数据加载、GPU加速预处理、推理和后处理等各个环节无缝连接起来，并且可以直接暴露REST接口，方便微服务部署。

它的设计宗旨就是自动化生成推理服务代码、API层和部署所需的各种文件。这样一来，咱们就不用手动编写那些服务器、请求处理和数据流动的“样板代码”了，只需要一个简单的配置，推理构建器就能帮你搞定所有复杂的事情。

接下来，咱们一步步看看它是怎么工作的：

1. 定义配置：
   • 首先，创建一个config.yaml文件，里面详细说明你的模型和推理管线。
   • 如果你希望明确定义API的模式，还可以选择性地加入openapi.yaml文件。
2. 执行DeepStream推理构建器：
   • 把你的配置提交给推理构建器。
   • 这个工具会利用内置的推理模板、服务器模板和各种实用工具（比如编解码器），自动生成项目代码。
   • 最终输出的是一个完整的软件包，包含了推理逻辑、服务器代码和各种辅助工具。
   • 生成一个名为infer.tgz的打包好的推理服务。
3. 检查生成的代码：
   • 解压这个软件包，你会看到一个组织得非常清晰的项目结构，里面有：
     • config/：存放配置。
     • server/：存放服务器逻辑。
     • lib/：存放推理库。
     • 以及资产管理器、编解码器、响应器等实用工具。
4. 构建Docker镜像：
   • 使用提供的Dockerfile，把你的服务容器化。
   • 执行命令docker build -t my-infer-service，构建你的Docker镜像。
5. 用Docker Compose部署：
   • 使用Docker Compose启动服务：docker-compose up。
   • 你的服务将会在容器内加载并运行模型。
6. 为用户提供服务：
   • 现在，你的推理微服务已经正式上线并运行了！
   • 最终用户或应用可以通过暴露的API端点发送请求，直接从你的模型那里获取预测结果。

想要深入了解NVIDIA DeepStream推理构建器，大家可以去GitHub上的NVIDIA-AI-IOT/deepstream_tools项目仓库瞧瞧。

实时视觉检测，应用场景广阔

除了识别PCB缺陷，TAO和DeepStream还能应用到很多其他行业中去，比如在汽车制造和物流仓储领域，它们能帮助我们快速发现异常，提升效率。想了解具体的应用案例，大家可以阅读一下外媒的这篇报道：《用合成数据和NVIDIA TAO，大幅缩短制造AI部署时间》。

立即动手，构建你的实时视觉检测流水线！

有了NVIDIA DeepStream和NVIDIA TAO，咱们的开发者们正在不断拓展视觉AI的可能性，无论是从快速原型设计到大规模部署，都变得更加得心应手。

DeepStream 8.0为开发者配备了强大的工具，比如推理构建器，它能大大简化管线创建流程，并在复杂环境中提升追踪精度。而TAO 6则通过领域适应、自监督微调和知识蒸馏，彻底释放了基础模型的潜力。

这意味着更快的迭代周期、更高效地利用无标签数据，以及能够直接投入生产的推理服务。新媒网跨境认为，掌握这些工具，无疑是提升我们在全球市场竞争力的关键一步，也是咱们AI普惠制造业的生动实践。

还等什么呢？赶紧行动起来吧！

• 下载NVIDIA TAO 6，探索最新功能。有任何疑问，都可以在NVIDIA TAO开发者论坛里提问交流。
• 下载NVIDIA DeepStream 8，体验最新功能。同样，有问题可以去NVIDIA DeepStream开发者论坛里找答案。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/tao-ds-ai-vision-deploy-4-7-accuracy-gain.html