随着传感技术的蓬勃发展,可获得的二维图像、视频以及三维数据等日益增加。面对海量的数据,从中捕捉相关的知识或语义,进行场景理解。现实生活中,这样的需求愈发增多。场景理解作为计算机视觉领域的核心问题,其发展备受关注。语义分割作为一种高层视觉任务,为场景理解打开新的视野。语义分割在自动驾驶、地质勘察、人脸识别等场景有重要的应用价值。虽然深度神经网络,计算机视觉等相关领域技术的应用给语义分割任务带来突破性的进展。但仍存在多尺度物体、小物体分割精度低,物体边缘分割模糊等挑战。针对这些挑战,本文结合多尺度融合、注意力机制以及多任务学习对遥感图像、三维点云的语义分割展开研究。本文主要研究内容如下:1.提出了一种基于边缘感知和多尺度融合网络的遥感图像语义分割。针对直接融合高低层特征中存在的语义鸿沟,即高低层特征包含不同语义级别的信息,而导致地面物体边缘定位不准的问题。本文提出一种基于边缘感知和多尺度融合网络,该网络通过边缘感知模块,自底向上地从多尺度特征中逐步获取地面物体的边缘信息。它强调有用的边界信息,在高层特征的指导下消除低层次特征中的噪声信息,以此获得更完整、更精细的物体边缘。通过在公共遥感Potsdam、Vaihingen和Massachusetts建筑物数据集上进行整体精度和F1分数指标的评估,验证了本章模型的有效性和可行性。2.提出了一种基于多任务注意学习网络的遥感图像语义分割。针对物体的主体轮廓和边缘部分在计算视觉特性上存在显著的差异,本文提出一种基于多任务注意学习网络。该网络将物体边缘信息与主体信息解耦,提出边界损失来监督边界预测任务,进而针对性地学习边界信息。并且,该网络提出一种自适应权重多任务学习模块,来平衡语义分割任务和边缘检测任务。这使得两个任务之间更好地交互,互相补充,提高了分割性能和网络泛化能力。通过在公共遥感Potsdam、Vaihingen和Massachusetts建筑物数据集上进行整体精度和F1分数指标的评估,验证了本章模型的有效性和可行性。3.提出了一种基于空间-通道注意网络的三维点云语义分割。三维点云分割中多采用简单聚合方式来捕捉复杂的局部关系,导致点云上下文信息提取不充分。针对这一问题,提出一种基于空间-通道注意力网络。该网络构建点云的空间注意力模块和通道注意力模块。不仅通过空间注意力模块考虑了局部区域内点之间的相关性,通过通道注意力模块从高层抽取语义信息作为指导,对底层特征信息进行加权,获得更精细的分割。通过在公共点云数据集US3D和S3DIS上进行整体精度和平均交并比指标的评估,验证了本章模型的有效性和可行性。

Face sketch synthesis from a photo is of significant importance in digital entertainment. An intelligent face sketch synthesis system requires a strong robustness to lighting variations. Under uncontrolled lighting conditions in real-world settings, such a system will perform consistently well and have little restriction on the lighting conditions. However, previous face sketch synthesis methods tend to synthesize sketches under well-controlled lighting conditions. These methods are sensitive to lighting variations and produce unsatisfactory results when the lighting condition varies. In this paper, we propose a novel cascaded face sketch synthesis framework composed of a multiple feature generator and a cascaded low-rank representation. The multiple feature generator not only produces a generated sketch feature consistent with an artist's drawing style but also extracts a photo feature that is robust to various illuminations. Both features ensure that given a photo patch, the optimal sketch candidates can be selected from the database. The cascaded low-rank representation enables a gradual reduction in the gap between the synthesized face sketch and the corresponding artist-drawn sketch. Experimental results illustrate that the proposed cascaded framework generates realistic sketches on par with the current methods on the Chinese University of Hong Kong face sketch database under well-controlled illuminations. Moreover, this framework exhibits greatly improved performance compared to these methods on the extended Chinese University of Hong Kong face sketch database and Chinese celebrity face photos from the web under different illuminations. We argue that this framework paves a novel way for the implementation of computer-aided optical systems that are of essential importance in both face sketch synthesis and optical imaging.
© 2019 IEEE.

本文主要研究基于多尺度神经网络与注意力机制的遥感影像分割问题。随着与遥感相关的技术不断提高,遥感信息的获取也愈加精确。因此当前遥感影像朝着高分辨率、多细节,地物信息愈加丰富的方向发展。而对于遥感影像的分割任务而言,无论是研究需要还是实际应用,都期望得到更加精细的分割结果。因此提高遥感影像的分割结果,使其轮廓细节等更加精确是一个非常有意义的研究方向。另一方面,神经网络分割模型往往需要上采样以及下采样来进行特征提取与分辨率恢复,但却会因此丢失信息;此外,具有跳跃连接的分割模型也会造成特征之间语义差异、融合效果不理想等问题。基于高分辨率遥感图像的特点以及分割神经网络所存在的问题,本论文从多尺度神经网络以及注意力机制的应用等方面对遥感影像分割进行了研究,并在多个高分辨率遥感影像数据上进行多个对比实验仿真与验证。综上所述,本论文的主要研究工作为以下三个方面:（1）针对编码器-解码器网络结构中下采样操作与上采样操作不能充分利用图片低层与高层特征信息的问题,提出了一种基于小波编码器-解码器网络的遥感影像分割方法。以离散小波变换为理论基础设计DWT与IDWT模块来代替UNet编码器解码器模型中的上采样与下采样操作。通过DWT将得到的低频分量用于编码器下一阶段提取高阶特征,而高频分量则通过跳跃连接传输到解码器与解码器所提取的特征进行融合,然后通过IDWT来恢复特征图的分辨率。这种方法能够充分利用图片低层与高层特征信息。在不同数据集上分别与多种现有遥感影像分割网络进行对比实验,表明该方法的分割精度与视觉效果优于对比实验方法,具有有效性。（2）针对编解码器网络结构中的跳跃连接直接将编码器中提取的特征图叠加到相应解码器的局限,提出了一种基于编解码通道-空间注意力机制的遥感影像分割方法。在编解码网络模型的跳跃连接中增加了通道-空间注意力机制,在该注意力机制当中,让解码器的高层语义信息通过通道-空间注意力机制对编码器进行指导与优化,从而使得编码器能更好地提取图像的特征,减少编码器与解码器的语义鸿沟,让通过跳跃连接的特征融合更加充分有效,提高了分割效果。在不同数据集上分别与多种现有基于注意力机制的遥感影像分割网络进行对比实验,表明该方法取得了有效的分割结果。（3）在上述工作的基础上,综合运用离散小波变换与注意力机制,提出了一种基于小波通道与特征融合注意力的遥感影像分割方法。将离散小波变换与通道注意力机制相结合,针对DWT所得到的不同频率的特征,设计了高频和低频小波通道注意力模块,使得模型可以有着重的利用高分辨率遥感图像多尺度多分辨率的特征。此外,还设计了特征融合注意力模块,使得经过高频小波注意力模块的特征与经过解码器恢复分辨率的特征在融合阶段更加有效,有助于解码器利用不同特征,从而更好地进行下一步的恢复分辨率的操作。在不同数据集上分别与多种网络模型与前两章方法进行综合对比和横向对比,实验证明,该方法综合并优化了前两种方法,具有更好的分割结果。综上所述,本论文分别从编码器-解码器网络结构的采样操作、高层与低层语义特征的连接方式和特征融合等方面进行了研究与实验,通过对离散小波变换、注意力机制等的运用,从不同角度改进了编解码分割网络的结构,提升了遥感影像的分割结果,具有一定的现实意义。

Modeling contextual relationships in images as graph inference is an interesting and promising research topic. However, existing approaches only perform graph modeling of entities, ignoring the intrinsic geometric features of images. To overcome this problem, a novel multiresolution interpretable contourlet graph network (MICGNet) is proposed in this article. MICGNet delicately balances graph representation learning with the multiscale and multidirectional features of images, where contourlet is used to capture the hyperplanar directional singularities of images and multilevel sparse contourlet coefficients are encoded into graph for further graph representation learning. This process provides interpretable theoretical support for optimizing the model structure. Specifically, first, the superpixel-based region graph is constructed. Then, the region graph is applied to code the nonsubsampled contourlet transform (NSCT) coefficients of the image, which are considered as node features. Considering the statistical properties of the NSCT coefficients, we calculate the node similarity, i.e., the adjacency matrix, using Mahalanobis distance. Next, graph convolutional networks (GCNs) are employed to further learn more abstract multilevel NSCT-enhanced graph representations. Finally, the learnable graph assignment matrix is designed to get the geometric association representations, which accomplish the assignment of graph representations to grid feature maps. We conduct comparative experiments on six publicly available datasets, and the experimental analysis shows that MICGNet is significantly more effective and efficient than other algorithms of recent years.

随着计算机视觉技术的不断发展,目标检测与跟踪技术广泛应用于城市规划、自动驾驶、人机交互等领域,无论在科学研究还是实际生活应用中都有着十分重大的价值。近年来,在深度学习的背景下,自然图像和遥感图像的检测与视频跟踪技术都得到了进一步的发展。本文对现有的目标检测与目标跟踪方法的国内外研究现状以及未来的发展情况进行了理论分析,分别阐明了遥感图像目标检测任务和自然图像单目标跟踪任务存在的难点,并针对其目前面临的问题进行了优化改进,主要内容有以下三个方面:1.针对遥感图像场景广阔、目标小而尺寸差距大,导致检测性能低下的问题,提出一种基于特征金字塔和注意力机制融合的遥感图像目标检测方法。该方法首先在原始网络Faster R-CNN的基础上,通过搭建特征金字塔,将高层特征图中的语义信息有效传递到低层特征图,提高网络对不同尺度目标特征的敏感度;其次,在主干网络特征提取阶段,加入注意力机制模块,从通道域上获取特征之间的依赖关系,增强网络的特征提取能力,减少背景对模型的干扰。最后,提出了一个结合遥感图像GSD信息的以目标为中心的切图方式,并在数据集RSSRAI上进行了对比实验。结果表明,提出的方法能有效地对不同尺度的目标进行检测,与其他算法相比有优越性。2.针对（1）中网络具有特征不平衡、目标框回归位置不精确而影响检测效果的问题,提出一种基于双向特征金字塔网络和Ciou-Loss的遥感图像目标检测方法。该方法在（1）中网络的基础上,在金字塔模型中额外增加了一个支路,用于将浅层特征图中的空间位置特征有效地传递到深层网络。并在网络的训练中,以Ciou-Loss为基础设计了多任务损失函数。同时在检测中,使用Softer-NMS和Giou-NMS对检测框中的冗余框进行抑制。另外针对于场景类目标,进行了有效的后处理。最后,在数据集RSSRAI上的消融实验表明,改进后方法的检测效果有着明显的提升。3.针对孪生网络对自然场景下目标遮挡、背景干扰和目标形变等现象应对能力不足的问题,提出一种基于注意力机制和高斯混合模型的单目标跟踪方法。该方法在Siam RPN++网络的区域建议生成模块中增加了注意力机制。并根据通道注意力和空间注意力的不同特性,分别将它们加入到分类和回归任务之前,使得孪生网络在特征提取过程中能够关注到目标的显著特征。另外,基于高斯混合模型设计了一个模型更新机制,有效地解决了模型漂移问题,提高了算法的鲁棒性。最后,在OTB100和VOT2019数据集上进行定性和定量分析,表明本方法具有更好的准确度和成功率。

随着深度学习的发展,大规模的遥感影像和自然影像数据集让图像分割算法在更多领域得到应用,但是样本的多样性也给分割算法带来了一定的挑战,其中如何解决跨尺度特征融合以及多尺度目标分割一直都是学术研究的热点。考虑到现有基于深度学习的图像分割算法存在的问题,本文针对目标分割的难点,从特征提取网络、高分辨图像恢复、几何特征学习等方面提出了改进方法。主要研究内容如下:1、提出一种基于自适应提升小波融合网络的多尺度影像分割方法,主要用于解决自然影像中目标尺寸大小不同的问题,同时为神经网络加入可解释的特征信息。利用能够给出完全空间域解释的提升小波构建自适应小波多分辨网络,提取不同尺度的图像高低频信息,让图像的轮廓特征更加明显。网络可以在保证颜色、亮度、纹理、几何形状等信息不损失的同时增加轮廓信息,提升分割效果。在COCO2017分割数据集上进行实验,结果表明本方法相比与MNC、Mask R-CNN、Polar Mask、PANet等模型,分割精度提升了1.3%～53.6%。2、提出一种基于亚像素卷积网络的弱小目标分割方法,主要用于解决图像分割中小目标分割不理想的问题。亚像素卷积网络是一个超分辨率网络,可以将尺寸小的模糊图像上采样到精细图像,插值函数被隐藏的包含在亚像素卷积的周期筛选过程中,减少网络的人工痕迹。通道重组操作可以使网络学习到一个更好的从低分辨率到高分辨率的映射,学习到一个更可信的区域细节信息,从而达到提高重建正确率,减少内存消耗,增加网络运行效率的目的。在COCO2017和i SAID数据集上,本方法与Mask Lab、PANet、Mask R-CNN等相比分割精度提高了4%～72%。3、提出一种基于深度可变形特征学习网络的影像分割方法,主要用于解决分割网络对图像几何形变适应性差的问题,让网络具备更强的形变建模能力。网络的感受野包括更多的前景区域,增强了网络的定位能力,学习目标的空间变形。采用的判别性注意力机制使得网络在具备学习空间形变能力的同时也具备了区分采样点重要性的能力,自适应地给更加具备判别性的采样点分配更高的权重,让网络获得自适应物体形态变化的特征表达能力,从而提升物体检测和分割的精度。在COCO2017和Cityscapes数据集上,本方法与Mask Lab、Polar Mask、DWT、DIN、Mask R-CNN等相比,分割精度提高了2.6%～60.1%。综上所述,本文对于图像实例分割方法进行研究,实验结果证明了提出方法的有效性,说明研究成果具有一定的实际意义。

随着当代科学技术日新月异的发展,目标跟踪已经渗透到人们的日常生产生活中。单目标跟踪任务通常会给出视频序列初始帧中某一特定目标的大小与位置,由算法对后续帧中该目标进行跟踪。近些年基于相关滤波与基于深度孪生网络的目标跟踪算法是发展热点,它们在速度与精度上都取得了很高的成绩,但相似物体干扰、目标遮挡等经典问题仍然需要更好的解决方法。基于区域建议的孪生跟踪网络易受背景中相似物体的干扰,这类跟踪器存在判别性不足的问题。基于目标分割的孪生跟踪网络的尺度估计结果仍需进一步精细化。同时孪生跟踪网络的结构导致初始帧中先验图像块质量会对结果产生影响。针对上述问题,本文主要做了以下三个方面的改进:首先,针对基于区域建议的深度孪生网络跟踪器在相似物体、背景干扰等情况下判别能力差的问题,提出了一种基于注意力机制与多层特征的融合目标跟踪网络,设计了一个种通道压缩注意力模块,提升了通道间的相关性,并可以有效地获得图像的空间注意力分布,从而提升目标候选区域的重要性。同时融合了网络不同层次的特征,将其与图像注意力分布相结合,提升了网络的准确性与判别能力。通过实验验证,提出的基于注意力机制与多层特征的融合目标跟踪网络相对于基于区域建议的孪生跟踪网络,在OTB2015数据集上的成功率和准确率分别提高了1.4%和2.3%,在OTB2013数据集上的成功率和准确率分别提高了1.8%和1.3%,同时针对相似物体、背景干扰等情况跟踪性能有明显提升;其次,针对基于目标分割的孪生网络的尺度估计结果不够精细的问题,提出了一种基于目标分割与多尺度几何特征的融合目标跟踪网络。利用图像剪切波变换得到多尺度的图像边缘轮廓纹理特征,将该多尺度几何特征与孪生网络融合,提升了网络对目标的特征表达,从而能够更加准确地预测目标边界框,得到更加精细的目标尺度估计结果。通过实验验证,提出的基于目标分割与多尺度几何特征的融合目标跟踪网络相对于基于目标分割的孪生网络,在OTB2015数据集上的成功率和准确率分别提高了1.2%和3.0%,在OTB2013数据集上的成功率和准确率分别提高了1.6%和4.0%,可以更加准确地对目标进行尺度估计,有效地提升跟踪器性能;最后,针对深度孪生网络跟踪器性能受先验图像块质量影响的问题,提出了一种基于尺度不变特征变换与多尺度几何注意力的融合目标跟踪网络。基于尺度不变特征变换的运动模型可以改善镜头晃动时先验图像块不包含目标的问题,有效预先定位目标下一帧可能出现位置,提高了先验图像块中目标存在的概率。同时将其与上述两个网络结构相结合,利用注意力机制提升网络判别能力,利用图像多尺度几何特征精细目标尺度估计。通过实验验证,提出的基于尺度不变特征变换与多尺度几何注意力的融合目标跟踪网络相对于基于区域建议的孪生跟踪网络,在OTB2015数据集上的成功率和准确率分别提高了2.5%和3.1%,在OTB2013数据集上的成功率和准确率分别提高了2.8%和2.3%,可以改善先验图像块质量对跟踪结果的影响,有效地提升跟踪器性能。

目标检测是计算机视觉领域的经典任务之一,在无人车驾驶、交通管控、农业、军事等方面都有很广阔的应用空间。目标检测算法可以分为基于手工设计特征的传统目标检测方法和基于深度学习自动提取特征的目标检测方法,目前后者又分为基于回归的单阶段算法和基于候选区域的两阶段算法。在遥感图像目标检测领域,主要面对的挑战包括背景信息杂乱、目标尺度差距大、小目标多、目标有形变等。因此,本文针对这些挑战进行了研究探索,主要研究成果如下:1、针对遥感图像背景信息多、干扰多的特点,提出了一种基于残差通道注意力网络的遥感图像目标检测方法,引入了残差通道注意力机制,结合多尺度特征融合模块,通过权重参数空间对原来的通道进行加权,提高重要的目标区域通道的权重,提高检测模型对遥感图像的检测效果。2、针对遥感图像目标尺度差距大、小目标多的特点,提出了一种基于多尺度特征融合网络的遥感图像目标检测方法,使用了多尺度特征融合的方法,将包含有丰富语义特征的深层特征和包含有很多细节的浅层特征结合起来,并添加了空间通道注意力模块,使网络能更好地学习到小目标的特征,提升了检测模型的检测效果。3、针对遥感图像小目标多、发生形变的情况,提出了一种基于可变形全卷积网络的遥感图像目标检测方法,在基于全卷积网络的遥感图像目标检测方法搭载了可变形卷积和可变形池化,提高对目标进行特征提取时的精确程度,使网络能更多地学习到目标的特征,减少对无用的背景信息的学习。4、在遥感图像数据集NWPU VHR-10数据集、UCAS-AOD数据集上进行了充分的实验,实验结果显示,本文中提出的算法相对于基线模型和经典算法,在NWPU VHR-10数据集、UCAS-AOD数据集上都有很好的表现,验证了上述算法的可行性和有效性。

本文主要研究的是影像语义分割中存在的场景信息复杂、尺寸差异明显、形状变化多样的问题。近年来,由于成像设备的不断迭代更新,所获得的影像中包含的信息越来越丰富。因此,如何筛选影像信息、提高同一区域不同尺寸目标的分割精度、优化不同形状目标的边缘细节,都是影像语义分割任务中的难点。本文提出了一种基于通道注意力机制、空间金字塔、边缘再识别的融合网络结构,在基本不增加参数量的前提下,显著提高了遥感影像和自然影像语义分割网络的精度。主要工作内容如下:1、针对场景中的冗余特征对关键特征产生负作用的问题,本文提出了一种基于注意力机制神经网络的影像语义分割方法。该方法通过将通道注意力机制与空间注意力机制结合,构造了基于双注意力机制的神经网络。该网络首先使用Res Net101作为特征提取的骨干网络,提取影像中丰富的语义信息,然后使用双注意力机制对提取出来的特征进行信息的组合,并强化关系紧密的特征信息,抑制关系疏远的特征信息,最后使用组合过后的特征进行语义分割。该方法弥补了由卷积神经网络所提取的特征权重分配不均匀且信息主次关系模糊的不足,有效提高了遥感和自然影像的语义分割精度,从而验证了通道注意力机制的可行性。2、针对影像中目标尺寸差别较大的问题,本文提出了一种基于混合池化空间金字塔和注意力机制融合网络的影像语义分割方法。该方法首先使用条形池化对离散信息和带状信息进行聚合调整,同时使用全局平均池化对全局信息进行聚合后,再将两者转换后进行特征融合,然后将浅层网络和深层网络提取的特征进行融合,最后使用具有不同空洞率的空洞卷积空间金字塔模块,对融合特征进行多尺度多分辨率的变换。该模型能够有效改善遥感影像和自然影像中尺寸差别较大目标的语义分割效果,同时解决了条状目标分割效果较差的问题,从而验证了混合池化空间金字塔的可行性。3、针对目标边缘细节分割困难的问题,本文提出了一种基于边缘再识别神经网络的影像语义分割方法。该方法首先借鉴了计算机图形学中渲染的原理和非均匀采样的机制,对边缘的点进行非均匀采样,获取目标分割边缘的不确定点。然后对浅层特征和卷积神经网络粗分割后的语义分割图进行特征提取,利用两种特征对不确定的点依据渲染原理再次进行分割。最后使用分割后的不确定点对粗分割后的语义分割结果进行更新,得到细节修改后的语义分割图。该模型明显改善了遥感影像和自然影像中目标边缘细节的分割效果,从而验证了边缘再识别方法的可行性。

在计算机视觉领域中,目标跟踪是一项被广泛应用的基本任务,这些应用包括视频监控、人机交互、军事攻击等等。近年来,在不同的场景需求下,设计开发出了许多目标跟踪的方法,并且在不同的大型数据集上经过了测试。尽管如此,由于实际应用中存在的复杂性和多变性,该任务仍然是计算机视觉领域中的一个挑战,有许多尚未解决的问题。视频目标跟踪有多个分支,本文主要研究单目标跟踪问题。单目标跟踪可分为特征提取和目标识别两个步骤,其中目标识别包括了目标的定位和状态估计。本文在目前跟踪算法的两大主流框架的基础上,采用非下采样轮廓波变换和显著注意力机制来增强特征表达,从而在目标识别的不同子任务中提供更好地判别依据。本文的贡献主要是以下几个方面:1.针对跟踪目标的外观会在经过很多连续帧后发生改变,包括视角的变化、照明变化、旋转等问题,提出了一种基于深度轮廓波网络的目标跟踪算法。采用非下采样轮廓波变换结构提取多尺度、多方向的图像信息,采用加权融合的方式有效地增强了目标的特征表达。在此基础上,设计了一种深度轮廓波网络,可以具有提取特征的通用性。将提取后的特征经过相关滤波器得到位置响应,经实验表明,相比于其他相关滤波算法,本文的方法不仅能更好地应对目标的运动变化,在背景干扰下的定位也更为准确。相较于基线算法而言,在OTB2013数据集的成功率上提升了1.2%,在VOT2018数据集的期望平均重叠率上提升了0.8%。2.针对上述方法用多尺度搜索策略得到的包围框不够准确的问题,提出了一种基于显著注意力与孪生网络的目标跟踪算法,通过在大规模数据集上训练的深度结构来提取候选感兴趣区域的特征。本文采用一种优化空间注意力计算量的十字交叉注意力方法,通过对互相关操作加权提升判别力,并且利用基于压缩激励的注意力机制对相关后的特征图增加通道维度的关注,有利于精细化分割。经实验表明,相比于其他孪生网络算法,本文的方法可以更精确地估计目标状态,并且有更直观的视觉效果。相较于基线算法,本章算法在OTB2015数据集的成功率上提升了1.9%,在VOT2018数据集的期望平均重叠率上提升了1.66%。3.提出了一种基于深度轮廓波网络和显著注意力的目标跟踪算法,结合以上两点改进以及分析孪生网络存在的问题,采用一种可以适应目标外观变化进行模板更新的网络结构。该网络结构具有两个分支,主干网络采用深度轮廓波网络提取特征,分别利用残差注意力进行分类特征的增强,及最大化交并比预测网络进行状态估计。经过在OTB2013、OTB2015和VOT2018数据集上的实验,验证了本文的方法的准确性和稳定性。在OTB2013上的成功率达到了0.674,在OTB2015上的成功率达到了0.669,在VOT2018的期望平均重叠率上达到了0.3863。