融合激光雷达与深度相机的非标工件三维重建与抓取规划研究

2026/05/22企业新闻新闻中心行业新闻 70

非标工件常具有复杂曲面、高反光表面或结构凹陷，单一视觉传感器难以获取完整可靠的三维信息。本文提出一种融合激光雷达（LiDAR）与深度相机（RGB-D）的多模态三维重建与抓取规划方法。首先，利用LiDAR提供的大场景、抗光照干扰的稀疏点云进行全局定位与粗配准；其次，深度相机生成的高分辨率稠密点云用于局部细节增强，通过最近邻迭代（ICP）与图优化实现精配准。在重建的完整网格模型基础上，提出一种考虑工件物理属性与机械手约束的对抗式抓取姿态生成网络。实验结果表明，针对随机放置的非标铝合金支架，完整三维重建误差小于0.8mm，抓取成功率达到94%。

1. 引言

在非标自动化上下料场景中，工件通常散乱堆叠或呈不规则姿态摆放，要求机器人具备快速、精准的三维感知与抓取能力。深度相机（如Intel RealSense、Azure Kinect）成本低且能提供RGB和深度信息，但其对金属反光、黑色吸光表面、以及强烈环境光极为敏感，导致深度数据空洞或噪声。激光雷达（如Ouster OS0）虽能提供精确的距离测量和抗干扰能力，但点云稀疏，缺乏纹理细节。两者具有天然互补性。本文的目标是构建一个端到端的系统，融合两种传感器的优势，实现非标工件的完整高保真三维重建，并基于重建模型生成稳定可靠的抓取位姿。

2. 多源数据融合与预处理

2.1 传感器配置与标定
将32线旋转LiDAR与RGB-D深度相机刚性固定于机械臂末端（眼在手上）。首先进行手眼标定，获得相机到机械臂末端的变换矩阵 CTECTE 和 LiDAR 到末端的变换矩阵 LTELTE。进一步通过标定板联合标定获得 CTLCTL。所有坐标统一到机械臂基座坐标系下。

2.2 数据同步与滤波
LiDAR数据频率10Hz，深度相机30Hz，采用时间戳最近邻插值进行同步。对LiDAR原始点云进行统计滤波移除离群点，体素滤波降采样至约0.01m分辨率。深度相机点云通过双边滤波保边去噪。

3. 由粗到精的三维重建

3.1 基于LiDAR的全局配准
在工件放置于转台上的场景中，LiDAR依次采集多角度点云 {PLi}{PLi}。由于LiDAR点云范围大，采用基于快速点特征直方图（FPFH）的粗配准获得初始变换 TinitTinit。接着使用点到面的ICP算法进行全局配准，得到全局点云 PL_globalPL_global。这一步为后续详细重建提供了可靠的刚性变换初值，避免了深度相机在大角度下配准失败的问题。

3.2 深度相机引导的局部稠密重建
对每个视角下的RGB-D图像，使用TSDF（截断符号距离函数）融合生成局部稠密网格。关键在于将深度相机点云利用已求得的全局变换矩阵注册到全局坐标系中。为了消除由于深度相机噪声引起的拼接接缝，在全局优化中引入图优化框架（如g2o），联合优化所有关键帧的位姿，最小化重投影误差和点到面距离误差之和：min⁡Ti∑i,j(∑p∈Pi∥(Tj−1∘Ti⋅p)−q∥Σ2+λ∥π(Ti−1⋅p)−u∥2)Timini,j∑p∈Pi∑∥(Tj−1∘Ti⋅p)−q∥Σ2+λ∥π(Ti−1⋅p)−u∥2

3.3 融合与补全
将全局优化后的稠密点云与LiDAR全局点云进行体素级融合。对于深度相机缺失的区域（如高反光表面），利用LiDAR点云通过径向基函数（RBF）插值进行补全。最终使用泊松表面重建生成水密性网格模型。

4. 抓取规划与姿态生成

4.1 对抗式抓取生成网络（AGGN）
传统方法如GraspNet基于全卷积生成抓取矩形框，但非标工件的抓取往往需要接触特定承载结构。本文设计AGGN：输入重建的RGB-D深度图和网格顶点特征，输出候选抓取姿态（位置、四元数）。网络采用生成器G产生鲁棒抓取，判别器D判断抓取是否物理上可执行。训练时引入物理约束损失：力闭合、摩擦锥符合性、碰撞惩罚。

4.2 抓取质量评估
利用解析法中的Ferrari-Canny指标计算力闭合性得分。对于每个候选抓取，评估其抵抗外部扰动扳手的能力。选择得分最高且避免与工件非承载区（如薄壁筋板）接触的姿态执行。

5. 实验评估

5.1 实验设置
重建目标：一个150mm×80mm×40mm的铝合金非标支架，表面黑色阳极氧化处理，有多个盲孔和加强筋。采集8个不同视角的数据。对比方法：仅深度相机（Kinect V2）、仅LiDAR、RGB-D+结构化光扫描仪。

5.2 重建精度
使用高精度激光扫描仪获取地面真值模型。计算重建点云到真值的均方根误差（RMSE）。本文方法整体RMSE为0.72mm。仅深度相机的方法在黑色表面和深盲孔处产生大量空洞，RMSE达到2.3mm；仅LiDAR的点云过于稀疏，无法分辨加强筋细节，RMSE为1.8mm。视觉上，本文方法成功重建了盲孔内壁和倒角特征。

5.3 抓取成功率
在机器人上对50次随机位姿的工件进行抓取。本文方法抓取成功47次（94%），失败原因为重建模型在支架边缘处缺失导致夹爪撞击。仅深度相机方法因重建模型局部崩坏，成功率仅72%；基于LiDAR稀疏模型的抓取策略成功率68%（因难以优化接触点）。