论文部分内容阅读
在工业生产领域,运用光学图像实现工件表面的缺陷检测已经较为普遍。本课题研究对象为手机屏幕,某手机维修厂家需要对手机屏幕的表面缺陷进行自动化检测,然而传统的图像处理方法难以适应手机这样复杂多样的表面情况。因此本课题尝试探索一种基于深度学习的检测复杂表面缺陷的方法,希望对其它工件的检测也产生一些启发。本文基于此需求与目标,主要工作如下:分析了课题的具体任务需求并制定了系统的总体设计方案,本课题采用光学图像进行研究,一个完整的缺陷检测系统包括图像采集模块,图像预处理模块以及缺陷检测模块,这三个模块最终组合在一个界面平台中,本文对这四个部分展开了论述,重点围绕缺陷检测部分。本文选择了合适的光源与摄像头,搭建了图像的采集系统。图像处理部分选择了基于边缘的分割算法提取感兴趣区域(Region Of Interest,ROI);选用了直方图均衡化的算法进行图像增强。缺陷检测部分选用了语义分割网络,课题先采用了经典的U-Net网络进行实验。本文重点研究了小目标分割问题,即缺陷部分占比过小而分割困难的问题,制定了特别的损失函数方案,采用了focal-loss与tversky-loss的组合,定制了特别的初始化方式,选择了合适的正则化方法、优化器以及评估标准等;搭建了神经网络训练平台,网络训练之后实现了一定的效果,交并比(Intersection over Union,IOU)达到0.669,大部分明显缺陷得到了有效的检测,但没能检测出部分不明显缺陷,同时存在比较严重的误检测现象。经过分析以上结果,提出先分类后分割的思路,即图像先经分类网络判别是否有缺陷,然后再对判别为有缺陷的图像进行分割。在分类网络中加入了分割网络,分类成功率较经典的分类网络有很大的提升;在U-Net网络中加入Attention机制,搭建了Attention U-Net,以更好地解决小目标分割问题;将以上两种网络进行了结合,设计了复合网络。本课题还设计了若干组对照实验,根据对照实验的指标结果得知,在有缺陷的数据集上,Attention U-Net的结果优于U-Net,论证了Attention机制确实能够有效地提升小目标分割问题中的分割准确率;分类网络+Attention U-Net方案与复合网络方案的效果优于U-Net网络,论证了先分类后分割思路的正确性。分类网络+Attention U-Net方案结果的IOU达到0.892,复合网络达到0.768,皆超过了预期的0.75的目标。最后,使用界面开发工具Tkinter完成了界面平台的搭建,将结果可视化进行了检测效果验证,在与之前U-Net的结果进行对比之后,得出分类网络+Attention U-Net方案的检测效果较经典的U-Net网络确实有所提升的结论;在不同硬件条件下对系统的检测速度进行了测试,结果表明系统能够满足实际要求。