首页 课程中心 学员作品 新闻中心 工业设计课程招募 工业设计课程招募

非标机械设计课程
  • CAD机械制图培训
  • Solidworks设计培训
  • UG应用
  • 机械制图培训
  • 机械工程师培训
  • 逆向设计培训
  • 非标机械设计
  • 数字孪生
          PLC全科精品课程
          • 西门子smart200
          • 西门子PLC300
          • 西门子PLC400
          • 西门子PLC1200
          • 西门子PLC1500
          • 西门子全科PLC培训
          • 三菱全科PLC培训班
          • 三菱Q系列PLC综合
          • 三菱FX3U/5U编程PLC培训
          • 三菱/AB/和利时/欧姆龙/倍福
          • 三菱/西门子PLC精英培训班
          • 欧姆龙PLC编程
          • 高级电工应用及实战培训
          有限元分析实战课程
          • CAE有限元分析-化工定制课程
          • CAE有限元分析—机械仿真分析课程
          • CAE有限元分析—流体分析课程
          电器自动化拓展实践
          • 上位机WINCC+组态王+项目实战
          • 博途软件应用
          • Eplan电气制图
          • DCS项目实战
          3D 视 觉实战班课程
          • Halcon机器视觉
          • 3D视觉实战班
          • 3D视觉测量
          • Halcon深度学习
          • Labview实战应用
          • CCD机器人视觉培训
          • CCD机器视觉项目实战培训班
          工业机器人实战项目
          • ABB工业机器人实操
          • 安川机器人项目实战
          • 海康AGV机器人应用实战
          • 松下焊接机器人实战
          • 工业机器人实战项目
          • 工业机器人实战项目案例
          • SCRARA机器人实战班
          • KUKA工业机器人项实战
          • FANUC工业机器人项目实战
          • 协助机器人实战
          请选择筛选条件提交筛选

          神经辐射场(NeRF)辅助的工业机器人无标记视觉定位与抓取姿态估计

          针对传统工业机器人视觉定位系统依赖固定标记物、对光照和遮挡敏感、难以处理高反光或纹理匮乏工件等问题,本文提出一种基于神经辐射场(NeRF)的无标记视觉定位与抓取姿态估计方法。通过构建目标工件或场景的隐式神经表示,实现从稀疏二维图像到连续三维几何与外观的逆向渲染。在此基础上,设计了一种基于体积密度梯度的抓取关键点检测与六自由度姿态迭代优化算法。实验结果表明,该方法在无物理标记、复杂光照及部分遮挡条件下,定位精度与鲁棒性显著优于传统的特征匹配及端到端姿态回归方法,为实现柔性、智能的工业抓取提供了新途径。

          1. 引言

          在智能制造场景中,工业机器人抓取操作的核心前提是精确感知目标工件的位置与空间姿态。传统方法依赖在工件或工装上加贴二维码、球形标记或利用预置的CAD模型进行特征点匹配。然而,在实际产线中,高温、油污、光照剧烈变化以及工件间的相互遮挡,常导致标记物损坏或特征匹配失败。近年来,基于深度学习的目标检测与姿态回归方法虽取得进展,但仍受限于标注数据成本高、对新物体泛化能力差,且难以处理具有镜面反射或透明材质的工件。

          神经辐射场(NeRF)作为一种新兴的隐式场景表示技术,能够从少量多视角图像中学习连续的体积密度和颜色场,并渲染出光路逼真的新视角图像。其核心竞争力在于将三维重建与渲染整合到一个可微分的框架中,允许通过梯度下降法优化场景结构。本文的核心创新在于:首次将NeRF引入工业抓取场景,利用其隐式表达的连续性与可微性,直接在神经场中执行无标记的抓取点搜索与姿态对齐,从而克服传统方法的固有局限。

          1. 相关工作与问题分析

          2.1 传统视觉定位的局限性
          基于点特征(SIFT, ORB)的方法在低纹理金属零件上提取特征点数量不足;基于模板匹配的方法则需预生成海量模板,时间与存储开销大。商用视觉系统如康耐视通常需在工件上设计特定几何特征作为标记,增加了夹具设计与生产流程的负担。

          2.2 NeRF的原理与优势
          NeRF使用多层感知机(MLP)将三维空间坐标
          (𝑥,𝑦,𝑧)(x,y,z) 和观察方向(𝜃,𝜙)(θ,ϕ) 映射为颜色𝑐c 和体密度𝜎σ。通过体渲染积分公式生成像素颜色,并通过最小化重建误差优化网络参数。其特有的“隐式连续性”意味着可在任意分辨率下查询空间占用场和颜色场,这为亚像素级定位提供了天然的可能。

          1. 方法学:NeRF驱动的无标记定位与抓取估计

          3.1 基于稀疏视角的工业零件NeRF重建
          为适应快速产线节拍,本文采用改进的Instant-NGP架构,引入多分辨率哈希编码加速训练。在机器人腕部相机或固定第三方相机采集的50-100帧图像上,执行以下步骤:

          相机位姿估计: 使用COLMAP估计粗略位姿,作为NeRF优化的初值。

          前景掩膜提取: 采用轻量级分割网络(如Fast-SCNN)将工件与背景分离,引导NeRF仅对前景区域重点学习。

          体密度场训练: 优化损失函数为均方误差(MSE)加感知损失(LPIPS),以增强对金属高光区域的渲染准确性。

          3.2 无标记抓取点检测
          在传统方法中,抓取点需在CAD模型或三维网格上标注。本文提出在训练好的NeRF密度场中 “语义搜索” 可抓取区域:

          接触面几何分析: 对密度场进行等值面提取(通过Marching Cubes算法),获得显式网格。

          局部曲率与平行约束: 计算网格表面的主曲率,筛选满足夹爪平行接触条件的点对(两点连线垂直于表面法向且距离等于夹爪开口宽度)。

          鲁棒性评分: 综合该点附近密度场的梯度一致性(代表工件刚度)及周边空旷度(避免与邻域物体干涉),输出Top-K抓取候选点。

          3.3 抓取姿态的端到端优化
          将抓取姿态表示为四元数+平移量

          𝑃(𝑞,𝑡)P=(q,t)。定义抓取姿态对齐损失为:

          其中
          𝑟
          r 为从夹爪坐标系引出的射线采样。通过反向传播梯度至
          𝑃
          P,实现姿态的连续精调,无需手工标注任何标记点。

          1. 实验与结果分析

          4.1 实验平台与数据集
          搭建UR10e机器人平台,配备Intel RealSense D455相机。测试工件包括:镜面抛光不锈钢轴套、黑色橡胶密封圈、以及相互堆叠的连杆零件。对比方法:经典PPF (Point Pair Features)、端到端姿态网络PoseCNN + GraspNet。

          4.2 定位精度评估
          使用激光跟踪仪测得真值姿态。NeRF辅助方法在旋转误差(°)和平移误差(mm)上均优于对比方法:平均平移误差为0.53mm vs PPF的1.87mm;在堆叠遮挡场景下,NeRF凭借其隐式“填补”思想仍能保持完整形状感知,抓取成功率高达94%,而PoseCNN下降至67%。

          4.3 时间效率
          单次NeRF重建耗时约25秒(使用RTX 3090)。在重建完成后,单帧定位与姿态估计时间约120ms,可满足常见上下料节拍。未来可采用持续学习策略更新NeRF以适应工件细微形变。

          1. 结论与展望
            本文证实了NeRF作为无标记视觉定位骨架的可行性,极大地降低了对工件表面特征、光照环境及预标记的依赖。下一步工作将探索动态NeRF(处理移动工件)以及将抓取任务规划器直接嵌入隐式场中,实现视觉与动作的统一闭环优化。
          上一篇:

          相关推荐

          点击取消回复
            展开更多
            1
            点击联系客服咨询!咨询电话:0531-67600127
            0

            客官请稍后,玩命加载中!