In this paper, we propose a confocal microscopy based on dual blur depth measurement (DBCM). The first blur is defocus blur, and the second blur is artificial convolutional blur. First, the DBCM blurs the defocus image using a known Gaussian kernel and calculates the edge gradient ratio between it and the re-blurred image. Then, the axial measurement of edge positions is based on a calibration measurement curve. Finally, depth information is inferred from the edges using the original image. Experiments show that the DBCM can achieve depth measurement in a single image. In a 10×/0.25 objective, the error measured for a step sample of 4.7397 µm is 0.23 µm. The relative error rate is 4.8%. © 2023 OSA - The Optical Society. All rights reserved.

Aiming at the problems of poor anti-interference of existing pixel-level fusion rules and low efficiency of transform domain fusion rules, this study proposes a confocal microscopic multi-focus image fusion method (IGCM) based on differential confocal axial information guidance. Unlike traditional multi-focus image fusion (MFIF) methods, IGCM uses height information rather than grayscale or frequency to determine clear areas. First, the differential confocal axial measurement curve is calibrated to determine the suitable scan step u. Second, the image set required for fusion is constructed by performing a hierarchical scan of the measurement samples. Then, multiple differential image pairs are constructed using the step size u and the set of images, and the extraction area of the current reference image is decided based on the height obtained from the differential image. Finally, the regions determined by each reference image are extracted and the duplicated pixels are averaged to obtain the MFIF image. The results were that IGCM improves the interference immunity based on pixel-level image fusion compared to the maximum peak fusion method. Compared with other MFIFs, IGCM has excellent fusion efficiency while ensuring fusion clarity, which can meet the application scenario of real-time fusion and offers a new approach to panoramic depth images for confocal devices. © 2023 Optica Publishing Group.

The existing differential confocal axial three-dimensional (3D) measurement method cannot determine whether the surface height of the sample in the field of view is within its effective measurement range. Therefore, in this paper, we propose a differential confocal over-range determination method (IT-ORDM) based on an information theory to determine whether the surface height information of the sample to be examined is within the effective measurement range of the differential confocal axial measurement. First, the IT-ORDM finds the boundary posi-tion of the axial effective measurement range by the differential confocal axial light intensity response curve. Then the effective intensity measurement ranges of the pre-focus axial response curve (ARC) and the post-focus ARC are determined by the correspondence between the boundary position and the ARC. Finally, the intersection opera-tion of the pre-focus image of effective measurement and the post-focus image of effective measurement is used to realize the extraction of the effective measurement area of the differential confocal image. The experimental results show that the IT-ORDM can effectively determine and restore the 3D shape of the measured sample surface at the reference plane position in the multi sample experiments. (c) 2023 Optica Publishing Group

针对传统聚焦评价方法难以适应显微样本复杂纹理表面及反射率不均的问题，本文提出了一种抗光照强度、抗反射率不均、亚微米精度的基于双模糊理论的显微图像聚焦评价方法（Double blur micro-images focusing evaluation method,DB-FEM），并研究了人工模糊有效标准差的概念，通过理论和实验找寻了较优σ的取值。DB-FEM主要通过分析采集图像和其人为模糊图像的特征差异程度实现聚焦判断。首先，对采集的层扫图像进行人为模糊处理。然后，通过局部方差计算图像和其模糊图像在空域边缘信息和图像Haar小波频域信息的差异度。差异度包括空域边缘、低频纹理和高频边缘。最后，将所有差异度相乘得到基于差异度的聚焦评价曲线。实验结果表明，DB-FEM在不同光照幅值、不同表面形貌复杂度条件下，均具有优良的聚焦评价性能，优于现有的空域边缘和频域模态评价方法。在单焦面检测中，具有更窄的半高宽。在双焦面检测中，具有更好的分辨能力。在20x/0.65物镜条件下，轴向分辨力优于0.3μm。

随着科技的发展,机器视觉逐渐深入到各个生产领域,对特定被测物进行快速、高效的质量检测成为一个重要研究课题,本课题将雪崩二极管中的焊线作为研究载体,针对焊线存在的空间高曲率、高反射表面以及纵向跨尺度范围问题,需要对其进行微米级精度测量,本课题提出一种对于芯片焊线的高动态范围三维视觉检测方法。该方法首先建立理想的照明模型和成像模型,通过理论分析被测物表面照明条件,提出表面均匀化照明的优化方案,然后使用优化后的中心线提取算法提取焊线二维信息,最后本课题提出的边缘梯度差动还原算法对被测物三维重建。本课题主要研究内容如下:首先,针对焊线表面由于光照不均引起的灰度图像未能正确显示的问题,本课题建立空间内被测物表面照度、反射率、空间坐标信息与图像灰度之间的数学模型,仿真出被测物在照明空间内的成像效果,分析影响被测物表面成像的主要因素,采用穹顶光源替代传统环形光源,然后理论验证优化方案。最后,实验证明建立的优化模型可以有效地提高图像灰度均匀度,较环形光源提高10.27%。其次,针对图像中部分区域无法将灰度正确显示,导致中心线提取中线段不连续的问题,本课题进行图像预处理和焊线的中心线提取工作。将原图与梯度图像融合,提高图像的边缘信息,通过对原图的二值图像膨胀腐蚀,使焊线连通域中的灰度值均衡化,提高中心线提取精度。该算法运算时间为0.40s,在处理速度和提取精度上均优于传统的中心线提取算法。最后,根据纵向梯度最大值理论,还原被测物三维信息,针对该方法在图像采集和图像处理消耗时间较长的缺点,本课题融合离焦深度和差动理论,建立“梯度-深度”测量曲线,在保证精度的基础上,有效提高传统差动算法的纵向测量范围,并通过分辨率板对拟合出的测量曲线进行标定,两条曲线的相关性为0.9974。该方法对轴向范围在±70m的范围具有较好的线性范围,通过分段差动的方法对被测物进行三维重建,重建时间为12.39s。并与OLYMPUS DSX1000显微镜光切片三维重建法进行对比,验证该方法在满足测量精度的前提下可以有效降低测量时间和成本,重建效率提升50.44%。

In this letter, a novel chromatic differential con-focal matrix (CDCM) sensor is proposed and demonstrated for accurate and fast three-dimensional (3D) profiling without mechanical scanning. In contrast to conventional chromatic con-focal microscopy (CCM) methods that require spectral expansion and a peak-intensity-wavelength detection algorithm for axial positioning, our CDCM employs the intensity difference between a pair of spectral confocal images to accurately discriminate surface height. Due to the elimination of spectral expansion required by a conventional CCM, the CDCM has an at least one order of magnitude higher axial sensitivity and surface profiling efficiency than a conventional CCM. In the CDCM, axial scanning is achieved by residual chromatic aberration of an achromatic objective and by constructing a difference intensity signal between two spectral confocal images. Spectral confocal images are acquired in a parallel manner by using a digital micromirror device as an array of illumination pinholes and digitally applying the virtual detection pinhole concept. Quantitative evaluation experiments with the proof-of-principle sensor system indicate that with a 10xNA 0.25 objective, the CDCM can achieve better than 0.1 mu m axial accuracy with an axial measurement range of approximately 28 mu m, a lateral resolution of 0.87 mu m

近年来,由于对电子器件进行微纳加工技术的不断进步,对微纳结构元件的加工精度要求也日益增加,目前的测量手段都还不能达到对微纳结构元件的测量要求,主要存在着以下几点不足处:（1）目前大多数方法都通过逐点或逐层测量的方法进行三维成像,因此三维测量的速度慢,特别是检测表面高度跨度大的样本时;（2）显微测量方法视场较小,无法满足工业大样本的测量要求;（3）分辨率、成像效率及测量范围无法兼顾的问题。针对现有三维显微成像方法横向和轴向分辨率不能兼顾,三维形貌还原的空间分辨率、时间分辨率有限等局限,本文提出一种点阵共焦式结构光照明模式和像方差动共聚焦方法结合的差动多焦点结构照明显微成像（DAF-SIM）高时空分辨三维形貌还原方法。本课题的主要研究内容如下:首先,对超分辨结构光照明显微成像（SIM）和光切片SIM理论进行了分析,并在此基础上对多焦点结构照明显微超分辨成像方法和光切片差动测量理论进行了公式推导及仿真,提出差动多焦点结构照明显微成像（DAF-SIM）非轴向扫描3D显微方法,并通过数字模拟验证了差动多焦点结构照明显微成像（DAF-SIM）的可行性,并实验测试了系统最高横向分辨率为173nm@0.95NA,超过了衍射极限。其次,根据DAF-SIM原理搭建一套实验平台,并对该系统在不同物镜倍率下的轴向测量范围、轴向响应曲线、及轴向可分辨最小步距进行了标定,最大测量范围为100μm@4×,最高轴向可分辨步距为10nm@100×。对不同样本进行了测试,表面DAF-SIM能够满足不同样本的测量要求,实现了3次/秒的三维成像效率。之后,对所搭建的DAF-SIM系统存在的非均匀光照明误差进行了分析,并提出了对数差动的误差补偿方法,以此来消除非均匀光照明误差对测量结果的影响。最后,根据DAF-SIM系统中大视场的应用需求,提出了子孔径扫描视场拼接过程中的自动聚焦和视场快速拼接算法,实现了尺寸为16cm×16cm面积样品的快速、亚微米精度高分辨三维显微成像。经测量,单次离焦量检测效率为0.042s,64个视场的总拼接成像时间为95.5s。

为了解决视觉检测中由光照不均引起的金属线形被测物表面亮度差异变化过大而导致的灰度图像不能正确显示的问题，提出一种用于空间高曲率金属线形被测物的均匀化照明光源优化分析方法及解决方案。首先，基于光度学理论建立照明空间内任意点的理想照明模型。之后，推导该点表面照度、反射率、空间坐标信息与图像灰度之间的数学关系模型，利用MATLAB软件进行仿真模拟，对数据进行分析获取影响被测物均匀化照明成像的主要因素，在此基础上采用穹顶光源对照明光源进行改进，改进后金属线形被测物表面均匀度达92.85%。实验结果表明，该方案可以有效地提高金属线形被测物表面均匀度，较改进前提高34.77%，可以有效解决该类型被测物视觉检测中的成像问题。

高精度快速三维表面形貌测量在微机电、光学、微电子等领域有着极其重要的作用,而共聚焦显微测量技术作为一种亚微米精度的三维表面形貌测量技术,具有轴向层析度高、对比度高、非接触、无需样品特殊制备等优点,已成为现代微纳测量科学领域的重要分支。近年来,随着微纳加工技术的发展,微纳结构器件的横向及轴向精度要求日益提高,轴向跨度不断增大。现有共聚焦测量方法因存在以下局限性而不能满足微纳结构形貌检测要求:（1）测量位置在像面焦点,尽管光信号最强,但是光强随轴向位置变化的轴向响应曲线变化率在焦点处为最小,导致轴向测量精度仍然较低;（2）使用逐点逐层扫描方式成像,三维测量速度慢,尤其是待测表面面积大的样本。可见,提高测量精度的同时提高测量速度是共聚焦三维表面形貌测量的核心问题,也是现代精密测量行业亟待解决的重大科学问题。本课题“差动并行共聚焦高精度快速三维表面形貌测量方法研究”的研究目的是解决共聚焦显微测量方法三维分辨率和测量效率均较低的问题,为微纳结构台阶样品及反射率不一致样品的高精度快速三维表面形貌无损测量提供关键技术和理论基础。本课题主要研究内容如下:首先,针对传统差动共聚焦显微测量技术的原理局限,开展了差动并行共聚焦轴向显微测量的机理研究,深入阐述了差动并行共聚焦轴向测量方法兼顾高轴向分辨率和快速完成全视场大范围测量特性的原理,讨论了不同差动参数和不同物镜条件下对物方差动测量曲线的影响,揭示了差动并行共聚焦测量特性的变化规律。然后,针对传统差动共聚焦横向分辨率受衍射极限限制,传统结构光照明超分辨成像不能提升纵向分辨率的问题,开展了满足共轭关系的结构光照明超分辨率成像方法研究。深入阐述了满足共轭关系的结构光照明显微成像原理,设计了与差动并行共聚焦兼容的二维点阵式结构光照明方案及与之配套的超分辨率成像重建方法,用以提升差动并行共聚焦横向分辨率。实验结果表明,二维各向同性结构光照明成像方法实现横向分辨率173nm（NA=0.95条件下）,比同条件明场照明下的横向分辨率提高了58%。第三,搭建了差动并行共聚焦高精密快速三维表面形貌测量系统,开展了验证测量原理的实验研究,分析并优化了影响测量精度和速度的关键参数。针对台阶样品开展了三维表面形貌测量实验,验证了所述方法具备高精度、大测量范围和快速测量的特点。实验结果表明,用NA=0.75的物镜,标称值为500nm高度的标准台阶样品,差动并行共聚焦高精度快速三维表面形貌测量方法与光学表面轮廓仪具有相近测量精度和测量范围的情况下,测量速度提高了两个数量级。最后,针对全视场范围三维形貌测量受照明光空间均匀性及样本反射率均匀性扰动干扰的问题,开展了误差溯源、分析、分离、补偿与修正的方法研究,提出采用对数相差的差动信号构建方法来修正照明不均匀和被测样品反射率不一致等乘法性误差的方法,深入阐述了乘法性误差补偿原理,实验验证了其可行性。该误差补偿方法提升了差动并行共聚焦三维表面形貌测量方法抗干扰能力,进一步保障其精度在全视场内的一致性。综上所述,本项目提出的差动并行共聚焦三维表面形貌测量方法兼具高精度、高分辨及高效率的特点。它通过构建共聚焦差动信号来实现纳米量级纵向测量精度,通过各向同性结构光照明成像方法实现水平方向超分辨率,通过并行成像提升其测量效率。差动并行共聚焦三维表面形貌测量方法的提出丰富了共聚焦显微成像理论,其优良特性预示着它将是一种具有极大发展潜力的三维表面形貌测量方法。该研究成果可推广应用于微机电系统、半导体加工制造、精密光学等领域的三维表面形貌还原与测量。

对一些具有微纳结构的大样本进行检测时,受限于显微成像视场的大小,往往需要对检测样本进行子孔径连续横向扫描与拼接,以获取一幅完整的样本扫描图像。扫描过程载物台的微小移动可能会使样本超出系统景深范围造成图像模糊,因此要求扫描系统能实时聚焦。现有的扫描技术,由于每个视场的轴向聚焦过程会额外占用横向扫描时间导致系统扫描效率低下。为提升样本扫描效率与质量,本文在现有共聚焦显微镜的基础上提出一种快速自动对焦方法。将色散原理与差动技术结合利用多光谱相机获取样本在不同波段下的灰度图像并计算灰度差值,通过建立灰度差值与离焦量之间的映射关系推算离焦信号。本课题的主要研究内容如下:首先,对色差法对焦原理进行了分析,并对离焦量测量曲线进行了理论公式推导及仿真,还通过仿真研究了光谱波段对工作范围和灵敏度的影响以及针孔尺寸对轴向分辨率的影响,指导后期实验参数选取。然后,基于色差法对焦原理搭建一套多光谱自动对焦实验平台。根据系统总体结构方案设计对一些主要器件进行了选型,并阐述了灰度差值与离焦量之间对应关系的标定过程。第三,开展实验对色差法测量原理进行验证。在4×、10×、20×三种不同倍率物镜条件下,系统可实现的工作范围分别是350μm、70μm、20μm,灵敏度分别是6μm、1.5μm、0.5μm,归一化条件下最大标准差分别是0.0839、0.0584、0.0611。进而在多光谱对焦实验平台对系统的对焦性能进行了测试。在10×物镜条件下,系统的离焦量检测最大误差为2.5μm,在系统允许范围内,检测效率高达0.0296s,能满足大部分样本在扫描过程对实时聚焦的需求。最后,对系统存在的误差来源进行了定性分析,并提出相应解决方案。本文在提出一种新的对焦方法的同时,也为多光谱相机提供了一个新的应用方向,通过与色散管镜结合基于色差原理实现了子孔径连续横向扫描过程的实时聚焦。与传统基于图像处理的对焦方法相比,本文提出的方法能降低系统复杂度,减少计算量,有效提升系统扫描效率。