论文部分内容阅读
近年来,随着工业视觉技术在发光二极管(Light-Emitting Diode,LED)、液晶显示器(Liquid Crystal Display,LCD)等新型显示器件行业的应用越来越广泛,传统的采用人工方式完成的质量检测、验证等工作正在逐渐被新兴的自动光学检测(Automatic Optic Inspection,AOI)的方式所替代,这一新兴技术也为传统制造行业带来了新的挑战。为了能更好地适应现代制造行业生产潮流,提高产品的竞争力,对产品生产过程中的质量问题进行自动检测和分析就尤其重要。Mura,作为一种对比度低、形状不规则的显示缺陷,一直是液晶屏缺陷检测行业公认的重点和难点,Mura缺陷的识别和分析对产线的生产状态监测具有重要意义。本文针对薄膜晶体管(Thin Film Transistor,TFT)液晶显示屏Cell阶段Mura缺陷检测过程中的缺陷识别问题,提出了一种由粗粒度到细粒度的缺陷识别机制,系统和深入的研究了粗粒度识别特征描述、特征分类和细粒度识别的问题。分别提出了多模态的完备特征描述方法、多模态多任务的判别性特征分类方法以及基于视觉注意机制的混合高斯强度变换精细识别方法。本文针对粗粒度和细粒度识别问题提出的三种方法,具备一定的通用性,在传统图像识别数据库以及本文收集的Mura缺陷数据库上都体现了很好的识别效果,可以解决TFT-LCD自动光学检测装备中Mura缺陷的识别问题。现将本文的研究内容总结如下:1.针对Mura缺陷种类多,样本匮乏,标记难度大以及产线上传统方法仅采用手工特征进行缺陷描述信息不充分的问题,提出了一种基于多模态特征描述的完备特征表示模型JFR-DRF(Joint-Feature-Representation-Based Defect Recognition Framework)。该模型结合了非监督学习方法提取的特征以及传统人工方式提取的特征,从不同的方面对Mura缺陷数据进行综合描述。该方法采用了非监督学习的策略,弥补了人工方式对抽象级别较高、语义特征难以描述缺陷的特征表示问题;另外,该方法同时结合了手工特征,弥补了学习方法在小样本数据上训练不充分、描述能力不足的问题。该模型的成功应用验证了采用多模态特征描述方法对目标图像进行描述和分析的有效性。2.针对Mura缺陷易于混淆,特征鲁棒性低的问题,提出了一种基于多模态多任务学习的判别性图像分类深度神经网络模型M2DNN(Multi-modal Multi-task Deep Neural Networks)。该模型采用了Siamese网络架构,巧妙地利用激活函数的选择性响应特性进行不同模态特征的筛选,利用MLP神经网络结构的高度非线性特性进行特征的变换。另外,该模型引入了类似Fisher判别性准则的约束项,通过端到端地联合优化特征选择、变换及分类等多个任务,提高了多模态融合特征的鲁棒性以及分类器的判别性性能。该方法在TFT-LCD Mura缺陷识别中的成功应用进一步提升了缺陷的类别划分精度。3.针对region Mura缺陷精细分类问题中局部判别性区域需要人工标记,或者采用传统视觉注意力机制识别方法参数太多、计算量大的问题,提出了一种基于多视觉注意机制的混合高斯强度变换模型DA-MGDT(Diversified Attention-Based Mixed Gaussian Density Transformer)。该模型采用多通道的特征描述方法,可实现对图像整体上下文信息和多个局部判别性区域信息的综合,从而给出更加精准的图像类别预测。通过在多个典型的细粒度图像识别数据库以及region Mura缺陷数据库上的测试,证实了DA-MGDT的有效性。4.制作了针对TFT-LCD Cell制程段的Mura缺陷数据库,据了解该数据库是目前公开文献中数据量最大的Mura缺陷数据库。并且,根据Mura缺陷检测识别的流程,将本文算法在Mura缺陷自动光学检测平台中进行了测试,实验效果表明本文提出的由粗粒度到精粒度的识别算法可满足设备中对Mura缺陷的识别需求,识别效果较传统的识别方法有明显的改善和提升。