非标装配任务具有工件几何多变、接触状态复杂及环境扰动显著等特点，对工业机器人的技能泛化能力提出了严峻挑战。传统基于示教编程或强化学习的方法在应对非结构化的装配扰动时，往往存在策略过拟合、样本效率低以及泛化边界模糊等问题。本文提出一种基于扩散策略的工业机器人非标装配技能学习框架，将装配技能的建模视为一个去噪扩散生成过程，通过学习从随机噪声到最优动作轨迹的条件分布，实现高鲁棒性的策略表示。在此基础上，引入扰动自适应机制，利用扩散模型的隐式能量导向特性，在在线执行阶段根据实时力觉与位觉反馈动态调整动作生成路径，从而在未见过的装配场景中实现自适应泛化。针对典型轴孔装配与异形件卡扣装配两类非标任务，构建了仿真与实物实验平台，验证了所提方法在装配成功率、扰动响应速度及泛化能力上显著优于基于行为克隆和传统扩散策略的基准方法。实验结果表明，扩散策略能够自然编码多模态动作分布，而扰动自适应机制进一步将未见工况下的平均成功率提升了22.6%。本文工作为非标装配技能的高效学习与鲁棒泛化提供了新的生成式范式。
1 引言
工业机器人正在从大批量标准化生产场景向小批量、多品种的非标装配领域延伸。非标装配的核心困难在于：工件几何形状不规则、配合公差松紧不一、初始位姿存在随机偏差，且装配过程中往往伴随未知的外部扰动。传统的示教—再现方式完全无法适应这种变化，而基于力控或视觉伺服的传统自适应方法又需要精确的接触模型与传感模型，建模成本高昂。
近年来，模仿学习与强化学习在机器人装配技能获取上取得了显著进展。行为克隆直接从专家示教数据中学习端到端的策略，但容易陷入协变量偏移；深度强化学习可以通过与环境交互探索最优策略，但其样本效率在真实装配任务中往往难以接受。更根本的问题在于，上述方法大多是确定性策略或单一模态高斯策略，无法有效处理装配任务中固有的多模态性——例如，同一个装配目标可以有多种不同的力控轨迹达到，且不同轨迹对扰动的容忍度不同。
扩散概率模型在生成式任务中展现出了强大的多模态分布拟合能力。将扩散模型引入机器人策略学习，即扩散策略，已经被证明能够有效建模高维动作分布，并在多个操控任务中优于传统模仿学习方法。然而，现有扩散策略主要针对固定工况下的技能复现，对于非标装配中常见的扰动（如工件位姿突变、摩擦力不确定性、外部接触力波动），缺乏在线自适应调整机制。
本文针对上述问题，提出一种融合扰动自适应机制的扩散策略学习方法。主要贡献如下：
2 相关理论与问题建模
2.1 非标装配技能学习的问题描述
考虑一个工业机器人装配任务，系统状态由机器人关节角 qq 、末端位姿 xx 、末端六维力/力矩 ff 以及视觉观测 oo 组成。记状态空间为 SS，动作空间为 AA（通常为关节速度或末端速度）。装配任务的目标是在有限时间步 TT 内完成工件 AA 与工件 BB 的配合。设成功装配所需的力、位姿条件构成一个终止条件集合 CC。
非标装配的难点在于：每次装配时工件的来料位姿、几何公差甚至局部刚度都可能在小范围内随机变化，这可以建模为任务环境参数 ξ∼p(ξ)ξ ∼p (ξ ) 的未知漂移。技能学习的目标是学习一个策略 π(at∣st,ξ)π (a t ∣s t ,ξ )，使得在任意未见过 ξ′ξ ′ 上均能以高概率成功装配。
2.2 扩散概率模型基础
扩散模型通过定义一个前向过程逐渐将数据分布 x0∼q(x0)x 0∼q (x 0) 转化为标准高斯噪声，并学习一个反向过程逐步去噪还原数据。在连续时间公式中，前向随机微分方程可写作：dx=−12β(t)x dt+β(t) dwd x =−21β (t )x d t +β (t )d w
其中 β(t)β (t ) 为噪声调度，ww 为维纳过程。反向过程由得分函数 ∇xlogpt(x)∇x logp t (x ) 驱动，通常用一个神经网络 ϵθ(x,t)ϵ θ (x ,t ) 近似噪声。
在策略学习中，我们将动作序列 a0:Ha 0:H 视为生成目标，将当前观测 sts t 以及可能的任务描述作为条件 cc ，训练一个条件扩散模型 p(a0:H∣c)p (a 0:H ∣c )。采样时从纯噪声开始，迭代去噪生成一条动作轨迹，每一步动作依次执行。
2.3 扰动自适应泛化的需求
扰动自适应泛化要求策略不仅在训练分布 p(ξtrain)p (ξ train) 上有效，而且在分布外但物理可行的扰动下仍能维持高成功率。传统扩散策略在逆扩散过程中采用固定的采样路径，对条件 cc 的任何变化都只能通过重新采样生成全新轨迹来响应，这在需要快速在线调整时不够灵活。理想的自适应机制应当能够在已有采样路径上施加局部校正，避免完全重启生成过程。
3 方法设计
3.1 条件扩散策略网络架构
本文提出的条件扩散策略包含三个模块：
编码器 ：将当前状态 sts t （包括力觉、位姿、视觉特征）编码为条件嵌入 hth t 。扩散去噪网络 ：一个基于Transformer或U-Net的噪声预测网络 ϵθ(a0:Hk,ht,k)ϵ θ (a 0:H k ,h t ,k )，其中 kk 为去噪步索引，输入为受噪声污染的动作序列，输出预测的噪声成分。扰动自适应模块 ：在线执行时，根据力反馈计算一个校正梯度 ΔaΔa ，将其注入反向扩散迭代中。
训练数据采集：通过远程操作或手工装配收集 NN 条成功轨迹，每条轨迹包含状态序列与动作序列，同时记录每条轨迹对应的环境参数 ξξ （如初始位姿偏差、摩擦力水平）。数据增强采用随机时间扭曲与力信号加噪。
训练损失函数为标准去噪得分匹配：L=Ea0:H,ϵ,k[∥ϵθ(a0:H+σkϵ,h,k)−ϵ∥2]L=Ea 0:H ,ϵ ,k [∥ϵ θ (a 0:H +σ k ϵ ,h ,k )−ϵ ∥2]
其中 ϵ∼N(0,I)ϵ ∼N(0,I )，σkσ k 为预设噪声尺度。
3.2 在线扰动自适应机制
核心思路：扩散模型的反向过程对应于沿着概率密度对数梯度上升的采样。对于条件分布 p(a0:H∣c)p (a 0:H ∣c )，其对数密度梯度可以分解为：∇alogp(a∣c)=∇alogp(a)+∇alogp(c∣a)∇a logp (a ∣c )=∇a logp (a )+∇a logp (c ∣a )
其中第一项是先验（无条件下）的得分，由 ϵθϵ θ 近似；第二项为似然项，反映了动作序列满足当前观测条件下的程度。在装配任务中，我们可以利用力反馈构建一个在线代价函数 J(a,scurr)J (a ,s curr)，例如末端接触力超过阈值时产生高代价。然后利用梯度近似 ∇alogp(c∣a)≈−λ∇aJ(a,scurr)∇a logp (c ∣a )≈−λ ∇a J (a ,s curr)，其中 λλ 为适应率。
在实际实现中，每一步扩散采样（假设总去噪步数为 KK ）得到当前预估的干净动作序列 a^0:Ha ^0:H ，取第一步动作 a0a 0 执行，并观测执行后的新状态 st+1s t +1 和力反馈 ft+1f t +1。计算即时代价：J=∥ft+1−fdes∥2+α⋅1collisionJ =∥f t +1−f des∥2+α ⋅1 collision
然后计算相对于当前去噪中间变量 a0:Hka 0:H k 的梯度，并更新该中间变量：a0:Hk←a0:Hk−η∇aJa 0:H k ←a 0:H k −η ∇a J
之后再继续执行逆向扩散的下一步。这种“采样-修正-继续采样”的流程使得策略能够在不重新生成整条轨迹的情况下，对突发扰动进行在线调整。
3.3 算法流程
训练阶段 ：
采集成功装配轨迹集 D={(st(i),at(i))}D={(s t (i ),a t (i ))}，同时记录环境参数 ξ(i)ξ (i )。
将轨迹切分为动作序列块（长度 HH ），并提取条件嵌入。
训练扩散网络 ϵθϵ θ 最小化去噪损失。
可选地，训练一个小的扰动响应网络用于预测代价梯度。
在线执行阶段 （单次装配）：
初始化随机噪声 a0:HK∼N(0,I)a 0:H K ∼N(0,I )。
For k=Kk =K down to 11：
用 ϵθϵ θ 预测噪声，得到上一级去噪量 a0:Hk−1a 0:H k −1。
执行 a0:Hk−1a 0:H k −1 中的第一步动作，获取力反馈。
计算代价 JJ 及梯度，更新 a0:Hk−1←a0:Hk−1−η∇aJa 0:H k −1←a 0:H k −1−η ∇a J 。
按最终 a0:H0a 0:H 0 执行动作序列。
4 实验设计与结果分析
4.1 实验平台与非标任务
搭建了一个基于UR10e机器人的装配实验台，配备末端六维力传感器和两个工业相机。设置两个非标装配任务：
任务A：带角向偏移的轴孔装配 。轴径30mm，孔径30.2mm，间隙0.2mm。初始孔位随机偏移±5mm，孔轴线倾斜角±2°。同时模拟气流扰动导致摩擦力随机变化±30%。任务B：异形塑料卡扣装配 。卡扣具有倒钩结构，需要先弹性变形后卡入。由于材料批次不同，弹性系数在训练集与测试集中有20%的漂移。
对比方法：行为克隆（MLP策略）、标准扩散策略（无自适应）、强化学习（SAC，稀疏奖励）。
4.2 评价指标与设置
主要指标：装配成功率（100次试验）、平均装配周期、最大接触力峰值。泛化测试：采用未见过的初始位姿偏差（训练集偏差范围的1.5倍）和材料刚度漂移。
4.3 结果分析
成功率对比 ：
方法 任务A(分布内) 任务A(分布外) 任务B(分布内) 任务B(分布外) 行为克隆 72% 41% 68% 35% 标准扩散 89% 63% 86% 58% 强化学习(SAC) 78% 52% 74% 46% 本文方法 94% 83% 92% 79%
本文方法在分布外泛化上的优势尤其明显，相比标准扩散策略成功率提升20~21个百分点。分析认为，扰动自适应模块在检测到接触力异常升高时能够快速调整后续动作，避免了卡死或划伤。
接触力峰值 ：本文方法的平均接触力峰值相比标准扩散策略降低了36%，相比行为克隆降低了54%。这表明自适应修正有效避免了刚性对抗。
实时性 ：在标准GPU上，每次扰动自适应梯度计算增加约8ms延迟，仍满足机器人控制周期（20ms）的要求。
4.4 消融实验
移除扰动自适应模块后，本文方法退化为标准扩散策略，其成功率在分布外任务上降至61%，证明自适应机制是关键增益。另外，改变去噪步长从100步减少到20步，成功率轻微下降（约3%），但实时性提升明显，说明本文方法对步数具有鲁棒性。
5 结论与展望
本文提出的基于扩散策略的非标装配技能学习方法，通过条件扩散模型捕捉装配动作的多模态分布，并引入在线扰动自适应机制，利用力反馈梯度引导采样路径，显著提升了在未见过扰动工况下的泛化成功率。实验验证了该方法在轴孔装配和卡扣装配任务上的优越性。未来工作将从以下方向深入：一是将扩散策略与基于模型的预测控制相结合，实现长时程高精度装配；二是拓展到多机器人协同装配场景，研究分布式扩散策略；三是探索在训练数据有限的情况下的扩散模型微调方法，以降低数据采集成本。
中研高科教育
