遥感图像地物分类是遥感图像的重要应用领域之一。随着卫星成像技术和航天技术的快速发展,越来越多的高分辨率遥感卫星投入使用,人类可获取的遥感图像数量在不断上升、分辨率也在不断提高。在高分辨率遥感图像中,不同地物要素的类别特征显著,纹理细节丰富,这些特点是实现遥感图像地物分类的重要前提。然而,相比于自然图像,高分辨率遥感图像的信息更加丰富、场景更加复杂,因此对遥感图像直接应用通用计算机视觉处理算法往往效果欠佳。本文针对高分辨率遥感图像的成像特征,对现有用于自然图像像素级分类任务的算法进行改进。本文中,分别从数据集,深度卷积网络的网络结构以及损失函数三个方向对现有的算法进行优化,提升了算法最终的性能。本文的主要研究内容如下:1.提出了低层特征提取模块和标签迭代更新策略。低层特征提取模块针对遥感图像单位像素表征信息更多这一特点,从浅层特征中提取更多特征用于最终的分类决策;标签迭代更新策略针对遥感图像中人工标注存在误差这一问题,使用网络的输出对原始的人工标注进行修正,利用修正的标签继续训练算法模型,不断重复“训练-修正”步骤直到网络再次收敛,通过网络自身学习的信息对数据偏差导致的网络模型性能下降进行修正,提升算法的最终性能。2.提出了基于U型网络的深度特征融合方法。U型网络先编码后解码过程中不仅损失了分辨率而且浅层深层特征融合不充分。为了提高算法的特征融合能力,引入了注意力模块,该模块用于浅层特征与深层特征融合中提高精细边缘的提取能力;引入了空间金字塔池化模块,该模块用于对编码解码阶段特征损失的分辨率信息进行补充。为了解决U型网络不同深度信息缺乏交互的问题,引入了网络跨层特征融合模块,对不同层特征进行迭代融合,从而更好地补充细节信息。3.提出了基于标签残差的坐标损失。当前像素级分类中最常使用的交叉熵损失只关注单个像素点分类是否正确,但是无法关注到图像全局上下文信息的损失。为了促使算法模型在训练过程中关注到图像级别的损失,本文提出了基于标签残差的坐标损失,通过在两个空间方向对图像标签的残差信息进行建模,利用两个一维特征表征图像级别差异以辅助交叉熵损失函数对网络进行优化。通过交叉熵损失与坐标损失的共同约束,从而提高网络最终的性能。

遥感图像地物分类是遥感图像的重要应用之一。随着国家在遥感领域的大力探索发展,遥感图像成像质量有了很大提高,图像分辨率越来越小,获取的信息越来越丰富,为地物分类任务带来优势的同时,也提出了更高的要求和挑战。传统的地物分类算法由于图像分辨率有限,能够区分的类别较少,随着分辨率的提高,越来越多的类别清晰可见,类别数也随之增加。为了更好的区分这些类别,首先必须提取出这些类别的特征,随着近些年卷积神经网络在图像领域的广泛应用,一种新的基于卷积神经网络的遥感图像地物分类方法呼之欲出。本论文基于深度卷积神经网络在自然图像的语义分割算法,分析遥感图像与自然图像的区别与联系,提出了一系列针对遥感图像地物分类任务的改进方法,获得了令人满意的分割效果。本文具体内容如下所述:1.本文提出了一种基于注意力机制和多尺度特征的地物分类方法。该方法基于目前自然图像语义分割最先进的Deep Lab-V3+算法结构,针对遥感图像场景复杂的问题,使用注意力机制可以使特征提取结构更加关注复杂背景下的典型地物目标要素;针对遥感图像不同类别尺寸差异大的问题,重新设计了新的多尺度特征提取模块来适应不同尺寸大小的目标;为了在数据分布不均匀的情况下也能得到较好的模型参数,使用了一种全新的类别权重计算方法,有效解决了类别不均衡问题。2.本文提出了一种基于高分辨率特征和密集上采样卷积的地物分类方法。该方法借鉴了HRNet网络新颖的结构,在特征提取过程中始终保持较高的特征分辨率,这对于小目标类别的特征提取和特征恢复有很大的帮助。为了提高算法的分割结果,在HRNet网络后又接入了一种完全依靠参数学习的解码结构—密集上采样卷积,同时为了更好利用提取的高分辨率特征,使用了边缘分割损失和Focal Loss损失的加权融合,进一步提高分割边缘的准确性。3.本文提出了一种基于生成对抗网络的遥感图像生成方法。该方法利用生成对抗网络,实现了从分割标签图像生成真实遥感图像的迁移过程,能够有效解决地物分类任务中数据量不足的问题,进而提高了地物分类的准确率和鲁棒性。

极化合成孔径雷达作为一种高精度成像雷达,其发射的电磁波具有很强的穿透力,在军事、工农业中发挥着重要的作用,因此有关极化SAR图像解译的研究逐渐发展起来,其中极化SAR分类问题是遥感图像解译领域的一大分支。传统的极化SAR分类方法依赖于极化SAR数据的相干特性,而没有利用图像的空间信息,不能达到很好的分类效果。本文的主要工作是基于空间信息和长短时记忆网络的极化SAR图像分类的研究,以深度置信网络和长短时记忆网络为基础,将其应用于极化SAR分类中,本文的主要工作如下:1.研究了一种基于图像空间信息的深度置信网络的极化SAR分类方法。该方法以深度置信网络为基础分类网络,首先将待分类的极化数据进行预处理并得到其相干矩阵,然后利用相干矩阵对深度置信网络进行训练,提取极化SAR数据的特征,并经过softmax层进行初步分类,最后引入数据的局部空间信息对初分类结果加以优化,取得了较好的分类结果。2.研究了一种基于SAE-LSTM网络的极化SAR分类方法。由于极化SAR数据中包含丰富的极化散射信息,仅对极化相干矩阵进行处理不足以表征完整的地物信息,因此本文首先利用多种目标分解方法对极化SAR数据进行处理,得到其多维特征向量,然后利用SAE网络对获得的多维特征向量进行特征选择,获得对分类效果贡献度大的特征。最后,考虑极化SAR数据的空间时序信息,利用LSTM网络实现对极化SAR图像的分类。3.研究了一种基于超像素分割的SAE-LSTM极化SAR分类方法。该方法首先利用SAE网络对多维特征向量进行特征选择,选择出有利于分类的特征向量。其次,采用基于特征分解的超像素分割算法,将选择出来的特征用于生成超像素块。最后,将LSTM网络得到的初分类结果与超像素块进行比对,根据超像素块的标签去校正与之对应位置的预测标签,得到最终的分类结果。

合成孔径雷达（Synthetic Aperture Radar,SAR）在军事和民生领域中发挥着重要的作用,它一直是雷达遥感领域的研究热点。随着深度学习技术的不断发展,SAR图像理解与解译的研究方法也得到新的启发。但是,基于深度学习的研究方法一般需要充足的带标签数据,而SAR图像却存在着资源昂贵,难以获得的问题,这限制了深度学习技术在SAR图像上的应用。因此,针对SAR图像的生成和扩充研究具有重要的研究意义。本文通过对技术现状研究和分析,尝试使用生成对抗网络进行SAR图像的生成与数据扩充,并探究生成数据对于SAR图像分类的意义。本文在生成对抗网络的基础上,分析并引入了SAR图像的特性,具体的工作包含以下方面:（1）基于分布和LBP-GAN的SAR图像生成方法。通过分析SAR图像不同于光学图像的成像机理与特性,对传统的生成对抗网络引入SAR图像信息。提出一种基于分布的生成方法,改进了生成对抗网络的噪声潜在空间,使其更符合SAR图像的统计分布信息。为了约束网络对于SAR图像纹理特征的学习,提出了一种LBP损失函数。两种方法分别从低级像素特征和高级结构特征捕获SAR图像特性,使得生成的图像更接近真实图像,且具有较好的生成效果和生成效率,有助于提高分类精度。（2）基于结构相似生成对抗网络的SAR图像生成方法。针对高分辨SAR图像生成结果模糊、出现噪声这一问题,通过改进网络结构,利用马尔可夫鉴别器网络学习高分辨SAR图像的区域细节特征和纹理特征,提出结构相似损失函数,保证生成图像与真实图像在结构上的相似度,通过结合金字塔的层级网络结构,进行单张SAR图像的内部混合模式学习,在整体上提高生成图像的效果。该方法进一步提高了生成图像与真实图像的相似度,同时基于生成方法扩充的数据提高了分类的准确度。（3）基于随机掩膜和图像补全的SAR图像生成方法。针对SAR图像生成多样性不足的问题,提出利用图像补全的思想进行图像生成。通过多元补全方法,利用样本间的混合模式学习,捕获SAR图像的整体结构特性,提高生成的稳定性。设计了随机掩膜的方法,从而适应SAR图像不同地物的结构,提高随机性,使结果多样化,扩充的数据具有抗噪性,有助于提高分类准确度。

遥感图像随着成像技术的不断发展,可获取的图片数量以及质量也与日俱增。海量的遥感图像,对研究人员来说,其中包含的信息不管是在城市管理还是军事等方面都有极大的参考价值与研究价值。随着遥感图像分辨率的不断提高,可获得信息量也随着增长,而传统的计算处理设备在处理大尺寸的遥感图像时,需要强大的硬件支持来提高计算的性能。但是强大的硬件支持往往意味着更高的功耗,因此低功耗并且具有强大算力的加速设备受到研究人员的关注。昇腾AI系列处理器是由华为自主研发的AI处理器,以其优良的软硬件架构为基础,向开发人员提供了两种不同语言的开发接口,同时兼具了强大算力和低功耗的特性,在计算机视觉领域展现了明显的优势。昇腾AI系列处理器主要分为昇腾910和昇腾310系列,在本文中主要使用了搭载昇腾310的边缘计算设备Atlas 200DK,进行光学遥感图像飞机目标检测算法的实现以及优化加速的方法,并且对比了算法在优化前后的检测性能比较。围绕此任务做了以下工作:（1）设计遥感图像飞机目标检测算法的实现流程,并将此目标检测算法在华为Atlas 200DK上进行实现。本文中主要需要实现的目标检测算法是YOLO v3,该算法在实现过程中,需遵循Atlas 200DK的开发流程进行应用开发以及算法实现。本次开发过程中使用了python语言进行整体的程序设计,在程序实现时,首先对开发环境和运行环境进行搭建,并依照ACL的应用开发流程,完成目标检测算法的模型转换,以及具体的应用开发任务。同时,针对该目标检测应用搭建了基于Py Qt5的飞机目标检测系统,将目标检测结果实时结果显示。（2）针对目标检测算法进行进一步的优化,具体的优化方式是针对本次开发所使用的数据集进行k-means聚类生成该数据集的anchors,然后基于华为Atlas 200DK的开发特性,结合昇腾AI处理器的性能优化策略进行目标检测算法的进一步优化,充分利用昇腾AI处理器在设计时已完成优化的网络结构以及算子集合,实现算法优化以及检测性能的提升。最后,本文对比了算法优化前后在Atlas 200DK上的推理性能,检测率以及虚警率等目标检测性能,可以看出,目标检测算法在优化后的推理检测速度得到了提升。

在遥感探测中,极化合成孔径雷达（Polarimetric Synthetic Aperture Radar,Pol SAR）具有全天时,全天候的工作特性,利用极化SAR图像对地物地形进行分类,被广泛的应用于城市规划,自然灾害,农业生产的预测方面。近年来,随着深度学习方法的快速发展,极化SAR地物分类的发展也更加趋于精确和快速。然而,极化SAR数据有标签的样本非常稀少,而深度学习方法的训练过程通常需要大量的有标记样本,这导致深度学习方法应用在极化SAR地物分类上具有极大的限制。本文针对极化SAR地物分类的小样本问题,以全卷积网络和贝叶斯深度学习为基础,将其应用于极化SAR地物分类中,本文的主要工作如下:1.基于Bayes FCN模型的极化SAR地物分类方法。该方法以FCN为基础网络,方便于实现极化SAR数据的像素级分类任务,引入贝叶斯深度学习思想,以一个高斯分布的形式将所有卷积层的权重和偏置进行初始化,使用变分推理和卷积层的局部重参数化方式实现贝叶斯的反向传播,通过将贝叶斯学习的KL散度和交叉熵损失相结合,共同学习网络的参数,提高模型的分类精度。该模型的训练只需要少量有标记样本,有效解决了小样本问题。2.基于Bayes FCN-Mix Match模型的极化SAR地物分类方法。虽然使用了贝叶斯深度学习的能够学习数据的不确定性,但是没有利用无标记样本。为了进一步提高模型的分类准确率,引入Mix Match半监督学习思想,对样本进行数据增强,然后计算无标记样本的平均类别概率,之后在Sharpen算法下得到最小化的无标记样本“猜测”标签,将有“猜测”标签的无标记样本和有标记样本使用Mix Up算法混合样本得到模型的训练集,损失值由监督项、无监督项和KL散度共同构成,使模型可以在少量有标记样本下,利用大量无标记样本辅助训练,通过这种方式进一步提升模型的分类效果。3.基于稀疏Bayes FCN-Mix Match模型的极化SAR地物分类方法。Bayes FCN模型有一个明显的缺点,就是使所有卷积层的权重和偏置服从高斯分布,导致其参数由单值变成了均值和方差两个参数,这使得相同网络结构下,Bayes FCN模型比FCN模型的参数量高一倍,而过高的参数量容易导致模型过拟合,影响模型的分类精度。本文在贝叶斯深度学习的基础上,并与稀疏贝叶斯方法相结合,使模型具有稀疏化特性,同时为了保证模型的稳定性,引入Mean Teacher方法使模型参数更加平滑,使网络提高分类精度的同时更加具有鲁棒性。

针对数量日益增长的遥感图像数据,如何智能化地进行处理,提升信息的获取效率并且降低数据的存储、传输成本,是一个亟待解决的问题。飞机目标则是遥感图像中具有重要价值的一类信息,本文主要基于深度卷积神经网络针对遥感图像中的飞机目标检测展开研究。现阶段在基于深度卷积神经网络的遥感图像飞机目标检测领域内,能够均衡检测精度与速度并且适用于不同负载平台的轻量化模型算法较为稀缺。本文首先对深度卷积神经网络设计的常见问题进行了研究,然后针对上述现象提出了一个全新的主干网络以及一个端到端的多尺度检测模型。此外,本文进行了如何在不改变原有网络架构的基础上提升现有检测算法精度的研究,在目标检测算法的三个不同环节上进行了全面创新,主要的研究工作如下:1、针对现阶段深度卷积神经网络目标检测中常见的网络问题以及网络架构方式进行了研究。研究了诸如网络退化、模型臃肿等问题的产生原因以及现阶段解决措施的原理,并在新的卷积神经网络设计中融入了相应的解决方法;研究了残差网络与密集连接网络的架构原理,并结合具体实验对其在遥感图像飞机目标检测中的适应性进行了对照分析。2、针对现阶段常用的深度卷积特征提取主干网络,提出了一种基于深度可分离卷积和简化恒等映射方法的恒等可分离主干网络ISN。该网络具有较低参数量及计算成本,可适用于小负载平台检测,并且简易的连接架构不会拖累检测速度;使用深度可分离卷积实现轻量化的同时,通过构造简化的恒等映射以较小的计算代价增强特征提取,保证了模型的检测精度。随后本文在此基础上结合特征金字塔网络思想,提出了一种轻量化检测模型MIS,增强多尺度检测性能的同时,能够在检测速度与精度上达到均衡。最终该模型在六组不同模型实验对照中实现了性能综合最优,能够满足不同平台下实时性的检测任务需求。3、针对现阶段深度卷积神经网络目标检测算法的精度提升问题展开了综合研究,提出了三种基于非网络架构因素的模型精度提升方法,分别作用于网络模型训练前、训练中和训练后三个阶段,能够在原有网络基础上有效提升模型精度。（1）针对现阶段基于边框标注的深度卷积目标检测算法进行研究,提出了基于交并比增长变化曲线的先验框自适应快速选取方法。该方法能够有效解决现阶段最优先验框数量选取困难且费时的问题,能够根据数据集自适应统计不同先验框数量下的交并比得分增长变化情况,从而得到最优先验框数量,最后通过实验对照分析证实了该方法的有效性。（2）针对深度卷积网络训练过程中常见的模型难以进一步收敛的瓶颈问题,提出了基于学习率和batchsize联合过渡调节的训练方法LBT。该方法能够突破训练瓶颈,有效加深模型学习,并且结合实验对比证实了该方法能够有效提升模型精度。（3）针对现阶段遥感图像飞机目标检测中非极大值抑制方法在单目标上多框标注的处理缺陷,提出了一种边框修正算法针对不同缺陷分别进行处理,最后结合实验对比证实了该算法的有效性。

极化合成孔径雷达（polarimetric synthetic aperture radar,Pol SAR）图像中的一个像素对应地面一个小区域内的地物,同一种地物的像素形成一定结构与纹理特性的连续区域。在极化SAR图像分类任务中,通常采用的图像分类方法都是半自动的,也就是在人为给定一些监督信息的基础上用自动化的方法来推理整幅图像的标签。由于极化SAR图像中含有大量相干斑噪声与混合像元,这些半自动化分类方法中人工给定的监督信息又是有限并且不完全可靠的。因此,如何从这些有限而不完全可靠的监督标记中学习有效的信息成为一个重要任务。而如何将学到的有效监督信息与极化SAR数据本身的统计特性,图像的结构特性结合来更有效地推理整幅图像的标签成为极化SAR图像分类任务的一个难点问题。本课题针对Pol SAR图像分类的理论与应用问题,并依托于国家自然科学基金面上项目:“基于脑启发的Pol SAR图像深层协同表示学习与分类（No.61671350）”,做出了以下探索性与原创性的工作。事实上,前面提到的图像的纹理与结构特性以及人工标记的标签的有限不准确性都可以当作是在极化SAR图像数据分类问题中的先验知识,这些先验知识将从贝叶斯模型中的先验,似然,以及后验三个角度,通过结合深度学习优异的学习能力与贝叶斯学习出色的知识推理能力,实现每一个深度贝叶斯学习模型的建立。更具体的创新性贡献如下所述:·针对人工给定的监督信息有限并且不完全可靠的问题,提出两种不同的生成式/判别式混合深度贝叶斯学习模型对数据与分类似然函数建模,通过结合先验信息完成最大后验分布从而实现对极化SAR图像的有效分类。首先,提出用生成项来对极化SAR数据统计特性对似然分布进行拟合,用判别项学习分类似然分布。通过二者同时学习数据的统计分布特性与图像特征实现对监督信息有限的弥补,从而在少的监督信息下得到高的分类精度。其次,提出一种鲁棒的分类器学习策略。在基于贝叶斯字典学习的框架下,通过对不完全可靠的监督信息作为分类似然函数的先验分布假设来减少不可靠信息对分类性能的影响,从而使模型在标记信息不完全准确的情况下得到高的分类准确率。·针对图像中地物具有的结构化特性,提出三种不同的深度贝叶斯学习模型来解决极化SAR图像分类中存在的一些理论与应用问题:首先,针对图像中不同类别的像素数目出现的不平衡问题,提出一种代价敏感的隐空间深度贝叶斯学习模型。通过用不同的隐空间描述数据在特征域的似然分布,并对不同空间的似然函数加权不同的系数来促使类间有不同的分类偏置,从而实现对不平衡类别的有效分类。由于代价系数的自适应计算特性,提出的算法对于平衡,不平衡的Pol SAR数据分类性能都好。其次,针对极化SAR分类模型中基于统计分布的方法中参数点估计不准确的问题,提出从更多像素中变分学习极化SAR的Wishart分类器中的分布参数。对数据建立混合Wishart似然分布,并且由变分贝叶斯学习实现对数据真实分布的下界的提升。该模型使用Wishart分类器无法正确区分的类别可以被正确分类,同时对区域一致性进行标签先验的建模,实现从极大似然分类到最大后验分类的转化。最后,提出一种生成式深度贝叶斯学习模型进行结构化标签矩阵的补全。通过对极化SAR图像的标签分布学习一个似然函数,从而来从有限的监督信息中推理整幅图像的标签,而不是对整幅图像中像素进行分类。由于对图像下采样的处理,使得算法在降低了计算复杂度的同时,又显著提高了相同监督信息下的分类准确率。

目标检测是计算机视觉的重要应用领域之一。随着传感器技术和航天工业的发展,遥感影像的分辨率有了很大的提高。在高分辨率光学遥感数据中,目标的轮廓和纹理可以被清晰地观察到,为目标检测的应用提供了数据基础,且光学遥感数据中目标结构比SAR图像更接近人眼感知。由此目标检测也成为光学遥感领域的又一基础性问题。伴随着这些优势的同时,在目标检测任务中光学遥感数据也带来的新的挑战。例如,光学遥感数据中背景信息复杂、目标的尺度小、目标的方向性多等问题。光学遥感图像中的目标检测是确定给定的卫星图像中是否包含一个或多个属于感兴趣类别的目标,并确定每个预测目标在图像中的位置。相较于图像数据,视频数据具有丰富的上下文信息,有助于提高检测的精度。本论文基于深度神经网络对自然图像中的目标进行检测的方法,分析目标检测在光学遥感视频领域中的优势和挑战,提出了一系列针对光学遥感视频任务的改进方法,在不损失检测速度的前提下,获得了令人满意的检测精度。主要的研究内容如下所述:1.本文提出了一种基于时空融合遥感视频目标检测方法。该方法基于Faster Rcnn的思想,采用微调的训练方式的方式并引入滑动窗口采样的方法解决视频幅宽大、计算性能受限、训练数据不充足的问题,采用时空融合的方法充分利用视频中的帧间信息以提高检测的精度。2.本文提出了一种基于空洞卷积的遥感视频目标检测方法。光学遥感视频检测任务中的目标相对于自然图像中的目标有尺度小、分布密集等不足。为了提高算法的泛化能力,提出了改进的Trident Net检测方法。在Trident Net中应用Focal Loss损失函数及Soft NMS融合方法,使检测算法对小目标及分布密集的目标更加有效。3.本文提出了一种基于水陆分割的遥感视频目标检测方法。在光学遥感视频检测的任务中一些目标仅出现在水域或出现在陆地。本文中结合自适应阈值方法,实现了对水域和陆地的分割。首先检测算法提取出候选目标,然后利用分割的结果对候选目标做后处理,从而提高了识别的准确率。

极化合成孔径雷达（Polarimetric Synthetic Aperture Radar,Pol SAR）是一种主动式的遥感成像系统,利用多种极化方式对目标进行全方位的测量,在遥感领域中有着广泛的应用。极化SAR图像地物分类就是对极化SAR图像中每一个像素一个预定义的标签,是极化SAR图像理解与解译的关键步骤。近几年来,以卷积神经网络为代表的深度学习方法,在极化SAR图像地物分类中取得了显著的成就,但这是以大量有标签样本为代价的。然而由于成像机理的复杂性,图像理解往往需要专家知识,因此极化SAR有标签样本非常珍稀。本文在小样本问题情景下,利用深度学习,开展了以下三个工作:1.基于标签语义先验的极化SAR图像地物分类。该方法利用分类结果图中区域内部像素标签一致和区域之间存在明显边界的先验信息,把区域一致性约束和边缘保持约束引入到卷积神经网络的训练过程中,不仅提高了网络对于特征的学习能力,同时还使得分类结果有着良好的空间一致性和齐整的边界。2.基于渐进式深度种子区域生长法和条件随机场的极化SAR图像地物分类。卷积神经网络的深度特征具有高级的语义信息,直接在深度特征空间利用种子区域生长法扩充有标签训练样本集合会一次性添加太多的噪声样本,容易导致网络训练崩溃。本方法在网络训练过程中,每一轮只将有标签样本邻域中可信赖的无标签样本添加到有标签训练样本集合中,缓慢扩充训练样本集合,减小网络在训练中崩溃的概率。同时,利用Pauli伪彩图和条件随机场对分类网络的预测结果进行平滑处理。并且,将处理后的信息反馈到网络的训练过程中,使得网络预测结果具有良好的空间一致性、区域之间边缘清晰完整。3.基于类间错分经验和条件随机场的极化SAR图像地物分类。该方法在交叉熵损失函数的基础上,添加残差损失,使得卷积神经网络在训练过程中不仅关注于每个样本真实类别的分类情况,还学习到每个类别与其它类别之间的联系。因此,卷积神经网络学习到的特征更加具有辨识性。同时,利用Pauli伪彩图对网络的输出结果进行CRF平滑,并将结果反馈到卷积神经网络的训练过程中,减小了相干斑噪声对于分类结果的影响,使得分类结果具有良好的空间一致性和齐整的边界。