融合迁移学习与生成对抗网络的非标零件表面缺陷少样本识别与分类

2026/06/09企业新闻新闻中心行业新闻 10

非标零件因批量小、品种多，表面缺陷样本稀缺，传统深度学习缺陷检测方法面临过拟合和泛化能力不足的挑战。本文提出一种融合迁移学习与生成对抗网络的非标零件表面缺陷少样本识别与分类方法。首先，构建基于改进CycleGAN的跨域缺陷样本生成模型，利用充足的标准零件缺陷数据集向非标零件域迁移，合成高质量伪缺陷图像；其次，设计双流特征提取网络，融合ResNet-50迁移特征和自监督对比学习特征；最后，在元学习框架下实现N-way K-shot分类。实验采用三种非标零件（异形密封槽、曲面壳体、微细孔板）的真实缺陷图像，每类仅提供5~20个标注样本。结果显示，该方法平均分类准确率达到91.7%，较直接微调基线提升26.3%，F1-score达0.89，且生成缺陷图像的FID评分接近真实样本。

1. 引言

非标零件表面缺陷（如划痕、气孔、毛刺、裂纹）的质量检测高度依赖人工目视或传统机器视觉，效率低、标准不一。深度学习，尤其是卷积神经网络，在缺陷分类和定位上展现出巨大潜力。然而，深度学习需要大量标注数据，非标零件往往只有极少量的缺陷样品（甚至少于10张）。直接使用预训练模型微调极易过拟合，生成对抗网络虽有数据增强潜力，但在域差异大的情况下易产生模式崩溃。

本文从两个方向突破：一是利用迁移学习，将标准零件（如标准轴承、平板）的大规模缺陷数据知识迁移到非标零件域；二是采用改进的生成对抗网络，学习域间映射，生成具有真实感且多样化的非标缺陷样本。两者结合，可在仅有少量标注的情况下大幅提升缺陷识别性能。

2. 相关工作与问题分析

2.1 少样本缺陷检测现状

现有方法包括：度量学习（原型网络、关系网络）、元学习（MAML）、数据增强（旋转、裁剪、噪声添加）等。但对非标零件而言，简单数据增强无法产生新的缺陷形态；元学习需要大量元任务，现实中难以提供。

2.2 生成对抗网络的域迁移潜力

CycleGAN可在无配对数据情况下实现两域图像转换。将“标准零件缺陷域” XX 映射到“非标零件缺陷域” YY，可生成大量伪 YY 样本。挑战在于：非标零件背景纹理、光照、几何形状与标准零件差异大，直接迁移会产生伪影。

3. 融合迁移学习与GAN的方法框架

3.1 总体流程

源域准备：收集公开或自建的标准零件缺陷数据集（如NanoTWICE、KSDD2），共10类缺陷，5万张图像。
域自适应生成：训练改进CycleGAN，生成器G: X→Y以非标零件真实无缺陷图+缺陷mask作为条件输入，提高保形性。
伪样本筛选：采用FID和人工抽检剔除低质量生成样本。
双流特征提取：将真实小样本+生成的大样本混合后，用于训练分类器，特征提取部分同时使用ImageNet预训练参数迁移和自监督对比学习。
元学习分类：在混合数据集上进行原型网络训练，支持集（Support Set）包含每类少量真实样本，查询集包含生成样本和少量真实样本。

3.2 改进的缺陷感知CycleGAN

传统CycleGAN对几何形状敏感度不足。本文增加一个辅助的缺陷分割判别器 DsegDseg，强制生成器输出的缺陷区域与输入条件mask保持形状一致性。损失函数为：L=LGAN+λ1Lcycle+λ2Lidentity+λ3LsegL=LGAN+λ1Lcycle+λ2Lidentity+λ3Lseg

其中 LsegLseg 为生成图像与目标缺陷mask的交叉熵损失。

3.3 双流特征提取网络

设计并行结构：

Stream A：ResNet-50，固定前两层参数，微调后三层，提取通用语义特征。
Stream B：SimCLR自监督分支，在同一非标零件的无缺陷图像上进行对比预训练，提取对纹理、光照不变的特征。
最终特征为两者拼接，维度2048。

3.4 原型网络分类

对于每个类别 cc，计算其原型向量：pc=1∣Sc∣∑(xi,yi)∈Scfϕ(xi)pc=∣Sc∣1(xi,yi)∈Sc∑fϕ(xi)

查询样本 xqxq 的类别概率为：P(y=c∣xq)=exp⁡(−d(fϕ(xq),pc))∑c′exp⁡(−d(⋅,pc′))P(y=c∣xq)=∑c′exp(−d(⋅,pc′))exp(−d(fϕ(xq),pc))

距离函数 dd 采用欧式距离。

4. 实验设计

4.1 数据集

源域：标准零件缺陷集（铝件划痕、铸件气孔、塑料件毛刺等），总计48000张。
目标域：三种非标零件：
A-异形密封槽（缺陷类型：沟槽划伤、异物）；
B-曲面壳体（缺陷：凹陷、砂眼）；
C-微细孔板（缺陷：孔边毛刺、堵孔）。
每类缺陷提供K=5,10,20张标注样本。

4.2 对比方法

基线1：仅用真实小样本微调ResNet-50；
基线2：传统数据增强（旋转、翻转、噪声）+微调；
基线3：标准CycleGAN生成样本+分类；
本文方法。

4.3 评价指标

Accuracy, F1-score, 以及生成质量FID。

4.4 实验结果

K-shot	方法	Acc(%)	F1	FID(生成样本)
5-shot	基线1	52.3	0.48	–
5-shot	基线2	58.7	0.54	–
5-shot	基线3	74.2	0.71	52.3
5-shot	本文	84.6	0.83	38.7
10-shot	基线1	64.5	0.61	–
10-shot	本文	89.2	0.87	36.1
20-shot	基线1	71.3	0.68	–
20-shot	本文	91.7	0.89	34.5