论文部分内容阅读
摘 要：现有半导体设备使用的变倍显微镜对焦多为人工手动调节，在显微镜使用过程中需要不停地人为调节倍率和焦距，为减少人为因素对显微镜对准时的干扰，提高设备的自动化程度，研究了一种适用于半导体设备的变倍显微镜的自动对焦方法。通过对图像灰度处理后的对比度分析，将信息反馈给变倍电机和调焦电机，完成显微镜的变倍和调焦动作。
关键词：变倍显微镜;图像识别;自动对焦
在半导体设备中，显微镜作为设备的眼睛已广泛应用，完成图像采集、自动对准、坐标提取等功能，常用的显微镜种类主要包括单倍率显微镜、手动变倍显微镜等。在半导体芯片制造生产中，使用的多为手动变倍显微镜，在该过程中需要不停地人为干预对显微镜进行调节，进而完成同步观察不同标记大小的芯片，操作繁琐、效率低下，且观察效果不佳。随着自动半导体设备的发展，对显微镜也提出了同步观察不同大小标记点情况下的自动变倍自动对焦的要求，以提高显微镜的观察效率。
1 变倍显微镜变倍原理
变倍显微镜也称为变焦距系统，最常用结构为机械补偿结构，一般分为前固定组、变倍组、补偿组、后固定组。如图1所示，以由5X放大到20X为例，前、后固定组为固定倍率分别为5X和1X;变倍组（变倍比为1：4）进行前后移动，改变焦距大小，完成变倍;补偿组的前后移动对改变焦距后的像面位置进行修正。
2 变倍显微镜自动对焦系统设计
在自动设备运行过程中，需要采集到清晰的像，才能进行后续的其他动作指令，此时需要软件进行图像处理，反馈至电机驱动，调节显微镜的焦距和倍率。系统模块包括：光学镜头模块、图像采集模块、图像处理模块、图像显示模块和电机驱动模块。图像采集模块经光学镜头完成图像采集任务，传输至图像处理模块;图像处理模块通过特征图形匹配和对比度进行分析处理，反馈到电机驱动模块;电机驱动模块中电机通过脉冲比进行细微转动，这时图像采集模块再进行采集，迭代至特征图形和对比度达到预定标准，传输至图像显示模块，完成动作指令。如图2所示：
软件处理过程中，需要为系统对比度的判定设定阈值，在阈值范围内系统判定为齐焦状态，设定齐焦状态阈值为80%，输出图像状态阈值为95%。因此软件进行图像处理流程图如下：图像采集后进行灰度处理，提取对比度信息，判断对比度是否≥80%，<80%时反馈到调焦电机，进行快速调焦;再获取图像信息，直至对比度≥80%，再进行对比度判断是否≥95%，是则进行标记点匹配，否则反馈调焦电机，慢速调节。当完成对比度判断，此时显微镜已经从初始化状态寻找到清晰的像。将像与标记点进行对比，如果在视场中心则反馈变倍电机进行倍率放大或缩小，否则移动工作台寻找标记，反复此动作直至标记信息处于视场中心。调节变倍电机后，再次进行对比度判断是否≥95%，是则进行标记点图像匹配，否则反馈调焦电机，重复调焦动作。图像和标记图形进行匹配，未达到选取模版图形大小时，反馈变倍电机，进行再变倍，达到选取模板图形大小时，输出图像。如图3所示：
图像采集后经过对比度分析和标记点区域匹配，得到清晰适中的像，显微镜变倍齐焦对准完成，将所得像素坐标反馈给上位机继而完成后续设备所需动作。
2.1变倍环节的图像匹配
经过显微镜放大通过CCD相机进行图像采集，放大后的标记点形状、大小、旋转角度都会存在误差，为保证在标记对准时图像能处于一个适中大小的图像，需要对图像进行处理，判断此时倍率是否能够完成对准动作。为准确实现图像匹配，需要选取一个完整清晰的标记点图形，通过图像频谱的相位相关性实现存在平移、旋转和缩放的两幅图像间的配准。对于存在平移、旋转和缩放的图像f1（x，y）和，f2（x，y），两者在空间域中的位置关系如下式1所示
其中f1（x，y）为采集图像，f2（x，y）为选取图像，图像水平和垂直方向的缩放使用相同的缩放系数a，θ为图像的旋转系数，Δx，Δy分别为水平方向和垂直方向的平移量。
当采集后的图像f1（x，y）与选取图像f2（x，y）在空间域进行对比时，判断系数a，θ，Δx，Δy的值，对工作台和显微镜进行移动，完成对准，其中变倍电机的转动影响系数a，工作台的移动影响系数θ，Δx，Δy。
在通过变倍电機进行转动时，系统需要判断系数a值的大小，当 a<1时，标记点图形小于选取图形大小，此时标记点过小，不利于对准;当a=1时，标记点图形等于选取图形大小，此时标记点为选取图形大小，适合对准;当a>1时，标记点图形大于选取图形，此时标记点图形过大，不利于对准。
变倍显微镜在执行变倍工作时，需要满足被放大物体处于视场中心，否则会出现放大后物体偏离视场，在高倍率物镜下，视场偏离会导致很难再次寻找到标记点，因此需要实时通过系数θ，Δx，Δy，矫正视场中心位置。通过每个像素点所在位置进行校准，在CCD相机像元中
式（2）中L表示在像元中每个像素点在实际中表示的距离，C表示像元尺寸大小，г表示光学放大倍率，当被测物体偏离视场中心时，根据像素坐标与实际坐标的转换比例计算出系数θ，Δx，Δy，调节工作台，完成校准。
图4为不同倍率下的基片标记，选取模板标记图形为20倍下的“闪电标记”，图（a）在5倍标记时，图中“闪电标记”的系数a<1，未能达到对准要求，且视场未处于图像中心，移动工作台X，Y轴，调整视场位置，如图（b）所示，此时系数a<1，视场位置变化，仍不满足对准要求，需要更进一步调整，如图（c）所示，此时系数a=1，采集到的图像中标记和选取的标记大小相同，此时完成变倍
2.2基于对比度的焦距判别
在前文中提到显微镜变倍调节是在图像保持清晰的条件下进行，在显微镜成像过程中，像的轮廓边缘越清晰，那么它的亮度梯度就越大，即像内图像边缘与背景对比度就越大;相反离焦的像，轮廓边缘模糊不清，亮度梯度或对比度下降。离焦越远，对比度越低。根据此原则，利用图像的对比度进行处理，在对比度大于等于所设阈值时，判断此时为齐焦状态，小于所设阈值时，此时为离焦状态，需要调焦电机进行调焦。调焦电机即为显微镜Z向高度电机，作用为调节显微镜的上下高度，同时电机精度小于显微镜景深距离。电机精度越高，图像对比度获取的越准确，系统判定也越精准。 在对相机采集的图像对比度进行分析，设定齐焦状态阈值为80%，系统输出图像阈值为95%，如图5所示，在80%-100%之间，此时系统判定此时为齐焦状态，h为焦点，a-b的距离为显微镜焦深。
实际使用的显微镜的景深为4μm，工作距离为30mm，进行对焦时，Z向高度距离工作台面的初始值为30mm，为保证初始状态高度低于焦点高度，设定一个远大于景深的距离0.05mm，Z向移动高度=待测芯片的厚度X-0.05mm，此时对比度小于80%，调焦电机进行快速转动，系统实时检测对比度值，当对比度≥80%时此时系统判定为齐焦状态;然后电机改为慢速转动，当对比度值≥95%时，系统输出此时图像。
3 自动变倍调焦显微镜系统实例
显微镜20倍物镜（视场大小3mm）在2英寸芯片（厚2mm）距30mm处且在在景深范围内获取的图像，对比度分别为35%、80%、90%、95%、85%、70%，图像的清晰度也随图像的对比度变化而变化，变化范围为35%-95%。如图6所示：
此时图像对比度和显微镜Z向移动高度数据如表1，对比度范围为35%-95%，显微镜Z向高度为65μm-72μm。
显微镜在距离工作台面31.95mm处开始移动，在向上移动65μm时，对比度为35%，此时还未进入齐焦状态，显微镜继续向上移动，当到达69μm时，对比度达到最高95%，此时判断为齐焦状态，通过人眼观察，线条清晰。图7中所示，在Z向高度移动67-71μm时，对比度值均在80%以上，超过显微镜景深范围后，对比度快速下降，此时已经为离焦状态。
4 总结
本文介绍了变倍显微镜自动变倍齐焦方法，通过图像处理方法，将采集的图像进行对比度分析，完成显微镜的变倍和调焦动作。此方法可完成自动化半导体设备中显微镜对准动作，满足了显微镜在同时观察不同大小标记点的情况下自动变倍自动对焦的要求，提高了显微镜的观察效率。同时为减少实际工作中图像未能识别的问题出现，需在对准前对标记点进行标定，对不同样片进行对准实验，以提高图像获取过程中的准确性。
参考文献：
[1] 陈金国.数字图像自动聚焦技术研究及系统实现[D].西安：西安电子科技大学，2007：27-29.
[2]李林，黃一帆，王涌天.现代光学设计方法第3版[M].北京：北京理工大学出版社，2018：230-233.
[3]许盛，李见为.高级显微镜系统智能化自动调焦的研究及实现.光学仪器，2000，22（5）：22-26
作者简介：
王河（1995—），男，汉，主要从事半导体光刻与测试设备研发工作。
关键词：变倍显微镜;图像识别;自动对焦
在半导体设备中，显微镜作为设备的眼睛已广泛应用，完成图像采集、自动对准、坐标提取等功能，常用的显微镜种类主要包括单倍率显微镜、手动变倍显微镜等。在半导体芯片制造生产中，使用的多为手动变倍显微镜，在该过程中需要不停地人为干预对显微镜进行调节，进而完成同步观察不同标记大小的芯片，操作繁琐、效率低下，且观察效果不佳。随着自动半导体设备的发展，对显微镜也提出了同步观察不同大小标记点情况下的自动变倍自动对焦的要求，以提高显微镜的观察效率。
1 变倍显微镜变倍原理
变倍显微镜也称为变焦距系统，最常用结构为机械补偿结构，一般分为前固定组、变倍组、补偿组、后固定组。如图1所示，以由5X放大到20X为例，前、后固定组为固定倍率分别为5X和1X;变倍组（变倍比为1：4）进行前后移动，改变焦距大小，完成变倍;补偿组的前后移动对改变焦距后的像面位置进行修正。
2 变倍显微镜自动对焦系统设计
在自动设备运行过程中，需要采集到清晰的像，才能进行后续的其他动作指令，此时需要软件进行图像处理，反馈至电机驱动，调节显微镜的焦距和倍率。系统模块包括：光学镜头模块、图像采集模块、图像处理模块、图像显示模块和电机驱动模块。图像采集模块经光学镜头完成图像采集任务，传输至图像处理模块;图像处理模块通过特征图形匹配和对比度进行分析处理，反馈到电机驱动模块;电机驱动模块中电机通过脉冲比进行细微转动，这时图像采集模块再进行采集，迭代至特征图形和对比度达到预定标准，传输至图像显示模块，完成动作指令。如图2所示：
软件处理过程中，需要为系统对比度的判定设定阈值，在阈值范围内系统判定为齐焦状态，设定齐焦状态阈值为80%，输出图像状态阈值为95%。因此软件进行图像处理流程图如下：图像采集后进行灰度处理，提取对比度信息，判断对比度是否≥80%，<80%时反馈到调焦电机，进行快速调焦;再获取图像信息，直至对比度≥80%，再进行对比度判断是否≥95%，是则进行标记点匹配，否则反馈调焦电机，慢速调节。当完成对比度判断，此时显微镜已经从初始化状态寻找到清晰的像。将像与标记点进行对比，如果在视场中心则反馈变倍电机进行倍率放大或缩小，否则移动工作台寻找标记，反复此动作直至标记信息处于视场中心。调节变倍电机后，再次进行对比度判断是否≥95%，是则进行标记点图像匹配，否则反馈调焦电机，重复调焦动作。图像和标记图形进行匹配，未达到选取模版图形大小时，反馈变倍电机，进行再变倍，达到选取模板图形大小时，输出图像。如图3所示：
图像采集后经过对比度分析和标记点区域匹配，得到清晰适中的像，显微镜变倍齐焦对准完成，将所得像素坐标反馈给上位机继而完成后续设备所需动作。
2.1变倍环节的图像匹配
经过显微镜放大通过CCD相机进行图像采集，放大后的标记点形状、大小、旋转角度都会存在误差，为保证在标记对准时图像能处于一个适中大小的图像，需要对图像进行处理，判断此时倍率是否能够完成对准动作。为准确实现图像匹配，需要选取一个完整清晰的标记点图形，通过图像频谱的相位相关性实现存在平移、旋转和缩放的两幅图像间的配准。对于存在平移、旋转和缩放的图像f1（x，y）和，f2（x，y），两者在空间域中的位置关系如下式1所示
其中f1（x，y）为采集图像，f2（x，y）为选取图像，图像水平和垂直方向的缩放使用相同的缩放系数a，θ为图像的旋转系数，Δx，Δy分别为水平方向和垂直方向的平移量。
当采集后的图像f1（x，y）与选取图像f2（x，y）在空间域进行对比时，判断系数a，θ，Δx，Δy的值，对工作台和显微镜进行移动，完成对准，其中变倍电机的转动影响系数a，工作台的移动影响系数θ，Δx，Δy。
在通过变倍电機进行转动时，系统需要判断系数a值的大小，当 a<1时，标记点图形小于选取图形大小，此时标记点过小，不利于对准;当a=1时，标记点图形等于选取图形大小，此时标记点为选取图形大小，适合对准;当a>1时，标记点图形大于选取图形，此时标记点图形过大，不利于对准。
变倍显微镜在执行变倍工作时，需要满足被放大物体处于视场中心，否则会出现放大后物体偏离视场，在高倍率物镜下，视场偏离会导致很难再次寻找到标记点，因此需要实时通过系数θ，Δx，Δy，矫正视场中心位置。通过每个像素点所在位置进行校准，在CCD相机像元中
式（2）中L表示在像元中每个像素点在实际中表示的距离，C表示像元尺寸大小，г表示光学放大倍率，当被测物体偏离视场中心时，根据像素坐标与实际坐标的转换比例计算出系数θ，Δx，Δy，调节工作台，完成校准。
图4为不同倍率下的基片标记，选取模板标记图形为20倍下的“闪电标记”，图（a）在5倍标记时，图中“闪电标记”的系数a<1，未能达到对准要求，且视场未处于图像中心，移动工作台X，Y轴，调整视场位置，如图（b）所示，此时系数a<1，视场位置变化，仍不满足对准要求，需要更进一步调整，如图（c）所示，此时系数a=1，采集到的图像中标记和选取的标记大小相同，此时完成变倍
2.2基于对比度的焦距判别
在前文中提到显微镜变倍调节是在图像保持清晰的条件下进行，在显微镜成像过程中，像的轮廓边缘越清晰，那么它的亮度梯度就越大，即像内图像边缘与背景对比度就越大;相反离焦的像，轮廓边缘模糊不清，亮度梯度或对比度下降。离焦越远，对比度越低。根据此原则，利用图像的对比度进行处理，在对比度大于等于所设阈值时，判断此时为齐焦状态，小于所设阈值时，此时为离焦状态，需要调焦电机进行调焦。调焦电机即为显微镜Z向高度电机，作用为调节显微镜的上下高度，同时电机精度小于显微镜景深距离。电机精度越高，图像对比度获取的越准确，系统判定也越精准。 在对相机采集的图像对比度进行分析，设定齐焦状态阈值为80%，系统输出图像阈值为95%，如图5所示，在80%-100%之间，此时系统判定此时为齐焦状态，h为焦点，a-b的距离为显微镜焦深。
实际使用的显微镜的景深为4μm，工作距离为30mm，进行对焦时，Z向高度距离工作台面的初始值为30mm，为保证初始状态高度低于焦点高度，设定一个远大于景深的距离0.05mm，Z向移动高度=待测芯片的厚度X-0.05mm，此时对比度小于80%，调焦电机进行快速转动，系统实时检测对比度值，当对比度≥80%时此时系统判定为齐焦状态;然后电机改为慢速转动，当对比度值≥95%时，系统输出此时图像。
3 自动变倍调焦显微镜系统实例
显微镜20倍物镜（视场大小3mm）在2英寸芯片（厚2mm）距30mm处且在在景深范围内获取的图像，对比度分别为35%、80%、90%、95%、85%、70%，图像的清晰度也随图像的对比度变化而变化，变化范围为35%-95%。如图6所示：
此时图像对比度和显微镜Z向移动高度数据如表1，对比度范围为35%-95%，显微镜Z向高度为65μm-72μm。
显微镜在距离工作台面31.95mm处开始移动，在向上移动65μm时，对比度为35%，此时还未进入齐焦状态，显微镜继续向上移动，当到达69μm时，对比度达到最高95%，此时判断为齐焦状态，通过人眼观察，线条清晰。图7中所示，在Z向高度移动67-71μm时，对比度值均在80%以上，超过显微镜景深范围后，对比度快速下降，此时已经为离焦状态。
4 总结
本文介绍了变倍显微镜自动变倍齐焦方法，通过图像处理方法，将采集的图像进行对比度分析，完成显微镜的变倍和调焦动作。此方法可完成自动化半导体设备中显微镜对准动作，满足了显微镜在同时观察不同大小标记点的情况下自动变倍自动对焦的要求，提高了显微镜的观察效率。同时为减少实际工作中图像未能识别的问题出现，需在对准前对标记点进行标定，对不同样片进行对准实验，以提高图像获取过程中的准确性。
参考文献：
[1] 陈金国.数字图像自动聚焦技术研究及系统实现[D].西安：西安电子科技大学，2007：27-29.
[2]李林，黃一帆，王涌天.现代光学设计方法第3版[M].北京：北京理工大学出版社，2018：230-233.
[3]许盛，李见为.高级显微镜系统智能化自动调焦的研究及实现.光学仪器，2000，22（5）：22-26
作者简介：
王河（1995—），男，汉，主要从事半导体光刻与测试设备研发工作。