探秘意法半导体机器人灵巧手关键技术及应用新可能

机器人灵巧手是一种模拟人类手部结构和功能的仿生机器人末端执行器，通过多指、多关节的仿人结构，通过肌腱驱动、连杆机构或柔性材料模拟人手的骨骼、肌肉和韧带，通过多模态感知系统、智能控制与AI算法技术，完成抓取、操作、人机交互等复杂任务。它可以突破传统机械夹爪的局限性，实现对不规则物体、柔软材质或微小部件的更精细、更复杂的操控，为蓬勃发展的人工智能和机器人应用带来了更多可能。

在上月举办的慕尼黑上海电子展上，意法半导体带来一款引人关注的基于STM32N6和STM32MP257 PLC的高级手势识别与跟随系统。应电源网邀请，意法半导体自动化技术创新中心应用工程师黄凯杰，就“基于最新AI技术，用于运动识别及实时跟踪的自动化解决方案“进行深入沟通与交流。

该自动化解决方案由三大部分构成：基于STM32N6的手势识别与数据采集的感知部分、基于STM32MP257的数据转换与处理任务的PLC部分以及基于STM32G431实现运动控制与手势跟随的灵巧手部分。STM32N6单片机的内部NPU处理器能够运行复杂的手势识别模型，搭配VD66GY高灵敏度彩色图像传感器，可以准确捕捉并识别21个关键手势点位。PLC控制器演示板STM32MP257能够对识别出来的21个手部关键点位数据进行数据格式转换，并控制由15个伺服电机构成的灵巧机械手，实现实时精确的手势响应。意法半导体面向现场观众，展示了其整合微控制器与先进传感器，实现实时手势识别控制的优秀整合能力。

具体来说，感知部分是由STM32N6完成对手的识别，核心是摄像头，它能够实时捕捉手部视频。而负责处理这些视频的是STM32N6微控制器，它具有MPU级别的人工智能性能和MCU的功耗和成本，集成了意法半导体强大的Neural-ART加速器神经处理单元（NPU），在视觉数据处理方面表现出色，可以确保手势识别的高效与精准。同时，ST也提供了完整的计算机视觉和人工智能生态系统。

成本高昂是目前灵巧手技术普及的一大障碍。STM32N6是高性能STM32 MCU的旗舰产品，也是ST采用MCU+NPU架构的开山之作。它采用Cortex-M55内核，800MHz主频，算力可达到600GOPS，具有3TOPS/W功耗比，是ST迄今为止最强大的MCU，也是ST首个集成神经网络硬件加速单元的STM32 MCU。这种全新架构为微控制器应用领域开辟了新方向——在MCU上实现强大的AI性能。

该灵巧手选择谷歌的MediaPipe Landmark手势识别模型，其核心是掌部检测和手部关键点检测两个模型。其中，掌部检测模型识别到图像中的手部区域，并拆解出手部图像，之后手部关键点检测模型再拆解出的手部图像上进一步提取出21个关键点，通过STM32N6可以对手势识别达到29帧/秒的效果，最后将计算得到的21个关键点的数据通过485总线，发送给STM32MP257的PLC，为后续的工业控制提供精准的输入数据。

计算整合部分是基于STM32MP257的PLC解决方案参考板，PLC将识别到手的数据通过计算得到各个关节的数据，再打包成灵巧手能识别的数据帧，最后由灵巧手完成对手势变化的跟随。STM32MP257集成了当前主流的软PLC平台CODESYS，用户可以直接上手使用。该PLC解决方案的核心是STM32MP257的MPU处理器，意法半导体可以提供绝大多数的外围电路芯片，方便用户进行一站式采购。

“该自动化解决方案中最大的技术亮点是STM32M6的AI处理能力。STM32N6作为视觉识别的信号处理器。与传统GPU方案相比，其性价比更高且功耗更低，尤其适合资源受限型应用场景。PLC作为中央控制单元，实现了模块化架构设计，显著提升了系统集成效率。”黄凯杰总结到：“该设计凸显了四大核心优势。首先是灵活扩展，模块化组件支持无缝升级与维护，无需停机即可完成系统迭代；其次是高可靠性与安全性，PLC的自主操作系统（CODESYS）相较板卡级控制系统，具有更强的抗干扰能力和数据保护机制；接下来是长期成本可控，它可以减少对专用硬件（如GPU）的依赖，有效规避供应商锁定风险，降低后续升级与维护成本；同时ST保证供货稳定。

在谈及STM32N6与STM32MP257 PLC如何协同工作以确保低延迟时，黄凯杰表示，该方案在人机交互场景下目前可以达到毫秒级别的实时性，用户几乎感受不到太大延迟。而对于实时性通信较高的场合，可以考虑SPI发送摄像头数据，PLC直接连接摄像头，本PLC所使用的MP257内部也有NPU来处理AI模型，使用EtherCAT直接控制伺服电机，PLC也集成了EtherCAT总线协议。但这种方式需要单独来开发，不利于实际落地。不如做成本系统这种模块化方式，更接近于实际使用习惯。

工业场景更注重稳定性与低成本，而ST的灵巧手方案可以通过关键功能平衡性能和成本。在技术实现优势方面，尽管手势识别模型在训练阶段需要大量计算资源，但部署后的解决方案仅需运行在STM32N6处理器上。凭借其600GOPS的算力，N6以GPU方案成本的一小部分即可满足性能需求，实现显著的硬件成本节约。在工业级设计理念方面，采用PLC（可编程逻辑控制器）作为控制核心的设计，刻意与真实工业自动化架构保持一致。这确保了与现有工业工作流程的无缝衔接——只需对现有设施配置进行微小改造即可部署系统。

值得一提的是，即使工人佩戴手套或在环境光线复杂时，这套系统也可以准确识别手势。黄凯杰表示，当前基于视觉的解决方案采用光学摄像头，但ST的系统可无缝集成VL53L8CX矩阵飞行时间（ToF）传感器，适用于光线复杂或完全黑暗的环境。这种基于ToF的技术方案不依赖环境光照条件，同时保持稳健的手势识别能力。针对需佩戴手套的用户场景（如工业环境），可通过在训练数据集中增加包含手套的样本进一步优化识别性能。该方案在有毒处理环境（如化工厂）中还具有特殊应用价值，可实现远程设备调节、自动化物料搬运、非接触式操作控制，显著提升工作场所安全性。同时它的视觉优势可以使操作人员在不具有专业知识背景下就可以完成对机械的操作，交互方式更简单。

那么STM32的AI技术未来还有可能会拓展到哪些领域？黄凯杰表示，目前有针对振动传感器在工业上的预测性维护案例，ToF的手势识别案例，人体追踪的案例，如果未来有需要ST也会融合这些方案做成多模态模型。在软件方面，意法半导体也会丰富扩展行业垂直模型库（如机械臂抓取、焊缝检测）。具有NPU的MCU STM32N6将把一些难以落地的人工智能方案以非常具有性价比的方式实现，实现低成本智能检测、智能分析等功能，同时它还具有低功耗的特点，可以集成到远端传感器中，真正实现边缘计算，让人工智能更广泛使用。基于ST提供的开发工具以及生态，用户可以将模型快速部署到N6中，省去开发者时间。另外基于STM32MP275的中高端PLC方案也可以满足工业上复杂的控制需求。结合二者在工业上的应用会很有前景。

除此之外，STM32的AI技术将推动工厂人机协作迈向“直觉化交互”，通过手势、眼动甚至肌电信号替代传统物理控制器，使工人能更安全、自然地指挥机器人协同作业（如手势引导AGV搬运重型部件）；该技术还可拓展至农业自动化（果实分拣）、智能仓储（无人叉车调度）、消费电子（AR手势交互）及医疗康复（假肢精准控制）等领域，其低功耗、高性价比特性正加速AI在边缘计算场景的普惠化落地。如果有需要，或许会有双手、语音、多传感器融合的升级，语音和振动传感器已经在意法半导体其他芯片上有了相应的成熟案例。借助于ST的生态和开发工具NANOEDGE AI以及STM32CUBEAI等，可以很容易实现相关方案。

工业4.0是工厂自动化的下一个发展阶段。未来，随着人工智能、传感器技术、材料科学等多学科的持续进步，灵巧手将朝着更高的智能化、拟人化发展，有望具备更强大的感知和学习能力，更加自然、灵活地与人类和环境进行交互。意法半导体在工厂自动化和工业应用产品的设计和制造方面拥有30多年的经验，能够利用旗下的优秀解决方案帮助开发人员应对各种设计挑战，通过不断的技术创新与产品优化，推动灵巧手技术发展与相关应用普及，赋能新型工业高质量发展。