瑞萨与NVIDIA TAO携手，赋能Vision AI智能开发与高效应用-感算商城

边缘 AI 不再是未来的技术，它已经成为支撑当今智能设备的关键力量，从工业自动化到面向消费者的 IoT 应用，应用范围广泛。然而，在边缘侧构建AI应用仍面临诸多挑战，包括 AI 模型开发的复杂性、硬件规格的限制，以及漫长的开发周期等问题。

瑞萨将强大的 NVIDIA TAO 集成到支持其 MPU（RZ/V2 系列）和 MCU（RA8 系列）的图形化用户界面（GUI）中，使嵌入式开发者能够以“零代码”般的体验，轻松应对以往在开发中遇到的各种障碍，从而大幅简化 Vision AI 的开发流程。无论是刚开始接触 Vision AI 的开发者，还是希望优化边缘部署的专业人员，都可以通过这一 GUI 实现高效且具可扩展性的开发体验。

Renesas AI Model Deployer 设计用于在标准工作站环境中运行，无需依赖云端基础设施，使开发者能够轻松进行原型开发、测试与评估。

此外，针对希望深入开发的工程师，瑞萨还提供了详尽的 Jupyter Notebook，支持在模型的定制、集成与优化方面进行更高级的探索。无论是希望快速启动项目的开发者，还是想打造专属解决方案的专业人员，这一工具都能灵活满足不同需求。

图 1. Renesas integration ecosystem of NVIDIA TAO

“NVIDIA TAO 提供了先进的 AI 模型和微调工作流程，极大地拓展了边缘计算中计算机视觉的应用潜力。通过与瑞萨的 MPU 和 MCU 的无缝集成，开发者可以更轻松地在更多设备上开发和部署定制化的 AI 解决方案。”—— Deepu Talla, Vice President of Robotics and Edge Computing at NVIDIA 表示。

“我们非常高兴能与 NVIDIA 展开合作，共同拓展 Vision AI 驱动的未来市场。瑞萨已经建立了完善的体系，能够为边缘应用提供先进的解决方案，满足不断增长的需求。” —— Mohammed Dogar, Vice President, Embedded Processing Marketing & Core Technology Division at Renesas 表示。“通过将 NVIDIA TAO 集成到我们的图形用户界面（GUI）中，无论是初学者还是经验丰富的开发者，都可以借助直观的 UI 开发环境，轻松定制并部署最先进的 Vision AI 模型。

什么是 NVIDIA TAO？为什么它如此重要？

TAO（Train、Adapt、Optimize 的缩写）是 NVIDIA 提供的低代码 AI 开发平台，能够显著简化面向 Vision AI 的深度学习模型构建流程。TAO 构建于 TensorFlow 和 PyTorch 之上，大幅度抽象化了训练最新神经网络时的复杂性。

开发者无需从零开始构建模型。TAO 提供了超过 100 种预训练模型，涵盖目标检测、图像分类、语义分割等任务，可直接选择并加以应用。

此外，还支持以下关键的 AI 开发功能：

迁移学习：使用自己的数据集对大型预训练模型进行微调，大幅减少所需数据量和开发时间。

剪枝（Pruning）：通过移除不必要的权重来减小模型体积，提升推理速度，同时有助于提高模型精度，非常适合部署在边缘设备上。

量化感知训练（QAT）：在训练阶段就考虑 INT8 量化，生成专为边缘设备优化的高效模型。

_	导出为 ONNX 格式：训练好的模型可轻松迁移至其他框架或硬件平台，提升部署灵活性。

最重要的是，TAO 在低代码环境中提供了上述功能，即使没有深入掌握 AI 框架或机器学习理论，也能轻松上手，极具吸引力。

但不可忽视的是，即便是低代码，对于一线的嵌入式开发者来说，仍然存在一些现实挑战，例如框架的搭建、模型格式与硬件的兼容性，以及在缺乏 AI 专业知识的情况下进行模型调优等问题。

Renesas AI Model Deployer

这正是 Renesas AI Model Deployer 发挥真正价值的地方。通过以下功能的增强，Renesas AI Model Deployer 能够智能应对一线开发中的各种挑战：

从项目创建到模型训练、评估及嵌入式部署，全流程引导式工作流

集成式工具链，避免繁琐的环境配置与库版本不兼容问题

面向硬件的优化功能，实现对边缘设备的快速部署支持

换句话说，这款图形化界面（GUI）为用户带来了以下优势：

即使没有 AI 专业知识，嵌入式工程师也能快速上手使用

内置最佳实践的简化流程，大幅缩短从开发到 PoC（概念验证）的时间

在每个开发阶段确保硬件兼容性，提升部署的可靠性

Renesas AI Model Deployer 是专为希望从零开始高效管理 Vision AI 全流程、直至部署的嵌入式开发者而设计的一站式工具。只需运行两个 Shell 脚本，即可完成开发环境的搭建，并可在图形化界面（GUI）上无缝执行以下 AI 开发流程：

项目创建（选择模型、开发板和任务类型）
数据集的划分与分析
模型训练与优化（支持 QAT 和剪枝）
基于 mAP 和 Top-K 精度的可视化评估
基于样本的推理测试
顺利部署至目标硬件

此外，系统还支持实时摄像头推理、USB 视频流以及直观的部署界面，开发者可以在真实环境中即时获取反馈。

借助这一可通过点击操作即可使用前沿 AI 技术的图形化界面，开发者能够更快速、更轻松、且低风险地打造更智能、更高效的边缘产品。

图2. Renesas AI Model Deployer Mapped to TAO Functionality

对于希望挑战更高阶应用或进行个性化定制的开发者来说，借助提供的 Jupyter Notebook，可以实现更加灵活的开发流程。开发者可以自由集成自定义的数据预处理流程，充分利用 TAO Toolkit 的高级功能——例如先进的数据增强策略、超参数调优，甚至引入自有模型（BYOM：Bring Your Own Model）。

这些 Notebook 能将 GUI 构建的基础开发环境，进一步扩展为可应对真实应用场景的、完全可定制的工具包。

我们来看看几个实际的例子吧

Renesas AI Model Deployer 提供多个实用的集成示例，充分展示了其作为一个灵活且具备高度可扩展性的工具链，能够支持各种设备和 AI 应用场景。这些示例覆盖从 MPU 到 MCU 的模型集成、优化与嵌入过程，帮助开发者更高效地实现 AI 部署。通过这些案例，用户可以更直观地了解如何将 AI 技术应用于实际场景，并推动项目达到可投入生产的水平。

实用实现示例汇总：

基于 RZ/V2H 和 RZ/V2L MPU的目标检测

（使用 DetectNet v2）

- 模型： DetectNet v2 with ResNet-18 backbone

- 数据集： KITTI dataset (cars, pedestrians, cyclists)

- 推理性能： RZ/V2H 上约为 30ms，RZ/V2L 上约为 200ms

- 部署流程： 使用 DRP-AI 量化模型，支持实时摄像头推理与边框显示

基于 RZ/V2 系列 MPU的图像分类

（使用 SegFormer-FAN）

- 模型：SegFormer-FAN（Vision Transformer 混合架构）

- 数据集：猫狗分类（用于验证 MPU 上 ViT 的性能的 PoC

- 部署流程：PyTorch 训练 → 导出为 ONNX → 使用 DRP-AI 进行量化，实现端到端部署