零样本图像分类利用已知类数据进行训练,借助辅助信息将已知类的知识迁移到未知类,从而实现对未知类的识别,有效解决了现实中新物种标注不足的问题,促进了图像分类领域的发展,具有巨大的研究和应用价值。本文针对零样本图像分类中存在的领域偏移、属性描述能力不足和枢纽点问题,在语义自编码模型的基础上,结合对比学习、语义约束和视觉约束进行研究,提出了两种基于自编码器的零样本图像分类模型,主要的研究内容如下:1.针对零样本图像分类中的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型。首先,利用预训练的Res Net101网络进行特征提取,通过计算得到已知类的视觉中心,并采用无监督聚类算法得到未知类的视觉中心;其次,利用编码器将已知类的视觉中心映射到语义空间,与语义类原型进行对齐;然后,利用解码器将已知类的映射语义向量重构为视觉特征,与视觉中心进行对齐;同时,利用未知类语义约束项对自编码器的训练进行约束;最后,在语义空间中计算待测样本的语义向量与各测试类原型之间的相似性,采用最近邻算法实现零样本图像分类。2.针对零样本图像分类中属性描述能力不足和枢纽点问题,提出一种基于潜在属性扩展与未知类视觉约束自编码的零样本图像分类模型。首先,利用预训练的对比学习模型提取所有对象类的潜在属性,并采用全连接网络将潜在属性与已有的语义属性加权拼接组成混合属性;其次,将视觉空间作为嵌入空间,利用自编码器学习语义空间到视觉空间的映射模型,同时利用未知类视觉约束项对自编码器的训练进行约束;然后,将未知类的混合属性送入训练好的编码器中,得到未知类的预测视觉中心,并将其与已知类的真实视觉中心共同构成视觉空间;最后,在视觉空间中计算待测样本的视觉特征和各测试类视觉中心之间的相似性,采用最近邻算法实现零样本图像分类。本文分别在Aw A2数据集和CUB数据集上进行了实验,并对结果进行了对比分析,验证了本文所提出的两种模型均能有效提升零样本图像分类的性能。论文共包含图30幅,表8个,参考文献106篇。

图像作为信息和数据的重要载体,已广泛渗透于现代生产生活的每个环节。利用机器学习方法对海量图像进行分类等加工处理已成为当今各行业领域生产力提升的迫切需求。零样本图像分类是指在训练集有标签样本类别无法涵盖测试集所有类别的情况下,利用属性等辅助信息实现对测试样本的正确分类。零样本图像分类在当前图像涉及类别及场景极速增长、新类别层出不穷和分类精细度不断提升等背景下,具有广泛应用前景。本文针对当前零样本图像分类研究中特征-属性关系构建不全面、属性描述不充分等问题,利用弹性网约束、宽度学习和属性关系有向图等方法充分挖掘属性-特征关系、属性-属性关系、属性空间结构和属性-类别关系,提出了四种基于属性挖掘的零样本图像分类方法,主要工作如下:1.针对零样本图像分类中属性和特征表达能力不足的问题,提出基于增强属性-特征的宽度属性预测模型。首先,利用弹性网约束学习二值化的稀疏增强属性,并与手动标定的语义属性共同构成混合属性;其次,通过宽度学习的增强节点获得增强特征,对已有图像特征进行扩展;同时,采用宽度学习中岭回归的伪逆矩阵投影同步得到所有属性的预测结果;最后,通过曼哈顿距离计算预测属性与各测试类属性的相似性,实现零样本图像分类。2.针对属性描述不充分和属性与特征之间映射不全面的问题,提出基于加权重构混合属性组的零样本图像分类模型。首先,利用层次聚类对语义属性进行自动分组,然后通过宽度结构对属性分别按组进行增强,共同构成混合属性;其次,考虑属性组之间的权重关系,通过加权自动编码器实现属性空间和特征空间之间的映射;同时,在目标函数中引入结构化稀疏L21范数,去除属性冗余;最后,在特征空间计算测试样本特征和各预测类别特征的相似性,实现零样本图像分类。3.针对属性和特征之间映射不全面的问题,同时考虑合理挖掘属性空间结构,提出基于关系有向图正则化的属性三因子分解模型。首先,利用属性的矩阵三因子分解实现属性空间和特征空间的映射,将投影矩阵作为训练和测试阶段的共享因子;其次,通过加权属性之间的相似性定义权值矩阵,构建属性关系有向图;最后,在属性空间或特征空间计算测试样本和各测试类别的相似性,实现图像分类。针对投影领域偏移问题,通过同时考虑测试类别关系和测试样本分布进一步提出直推式模型。4.针对属性与特征关系缺乏考虑样本特征分布的问题,同时考虑现有生成模型中类别属性表示过于相似、测试集中生成样本和真实样本分布不一致的缺点,提出基于属性核矩阵的生成特征领域自适应模型。首先,利用核方法在语义空间计算核函数,进而构造属性核矩阵;其次,将语义属性-类别关系矩阵与属性核矩阵合并作为条件,通过条件Wasserstein生成对抗网络得到伪样本特征;然后,采用联合分布自适应方法缩小测试集有标签生成样本与无标签真实样本的边缘分布和条件分布差异;最后,利用测试集生成样本,通过有监督学习实现零样本图像分类。在公共属性数据集上的对比实验结果表明,所提算法均有效提高了不同设置情形下的零样本图像分类精度。本文研究成果不仅可以丰富现有的机器学习理论和方法,而且能够广泛推广应用到诸多相关领域,具有重要理论意义和实用价值。论文共包含图58幅,表12个,参考文献216篇。

高光谱图像因为具有成像光谱分辨率高、图谱合一的特点,被广泛应用于精准农业、医疗诊断和资源勘探等诸多领域。高光谱图像的分类性能直接影响其应用的效果,因此,如何在有限标记样本的情况下,提取有价值的信息以及实现高光谱图像高性能分类是高光谱图像处理技术的前沿课题。针对目前高光谱图像分类中基于深度学习方法训练耗时较长、部分空-谱联合特征方法空间信息利用不充分致使分类性能不佳和因高光谱图像标记样本稀缺导致小样本分类精度偏低等问题,本文联合空间特征和光谱特征,利用宽度学习、稀疏表示和协同表示等技术研究高光谱图像的分类方法,主要工作包括:1.深度学习网络可以提取丰富的空-谱联合特征,有助于提高高光谱图像的分类性能。但是,深度网络的参数量庞大,使得其训练过程不仅耗时且需高性能计算机辅助。为此,提出一种基于局部二值模式和宽度学习的空-谱联合特征高光谱图像分类方法:首先,利用局部保持投影对高光谱图像的光谱信息进行降维以提取光谱流形结构特征;其次,在降维光谱信息每个波段的空间域上利用局部二值模式操作提取灰度和旋转不变的局部纹理特征,实现空间特征和光谱特征的融合;最后,将融合光谱信息的空间特征输入到宽度学习系统进一步稀疏化处理,通过岭回归方法求解宽度学习最后输出层的最优连接权重,完成高光谱图像的分类。2.部分基于空-谱联合特征的高光谱图像分类方法空间信息利用不够充分致使分类效果不佳。为了深度融合高光谱图像的空间特征和光谱特征改善分类性能,提出一种基于导向滤波和宽度学习的空-谱联合特征高光谱图像分类方法:首先,利用高斯滤波基于空间信息对原始光谱的各个波段平滑处理去除噪声,提取融合空间信息的光谱固有特征;接着,利用宽度学习网络稀疏化输入的空-谱联合特征,通过宽度学习系统输出层的最优连接权重计算测试样本标签以构造初始概率图;最后,利用导向滤波基于空间上下文信息在灰度导向图像的指导下修正误分类样本,以实现进一步提高分类精度的目的。3.在高光谱图像数据中标记样本数量非常有限,如果对未标记样本进行标记,需要付出昂贵的代价。因此,越来越多的研究人员开始关注高光谱图像的小样本分类方法。为提高高光谱图像小样本分类精度,提出一种基于稀疏增强协同表示的空-谱联合特征高光谱图像分类方法:首先,基于相邻像素光谱特征高度相关性对光谱信息进行均值化处理,实现空间特征与光谱特征的融合;其次,将稀疏表示添加到协同表示上实现增强表示以提取丰富的判别性空-谱联合特征,使用训练样本和增强表示计算测试样本标签以构建初始概率图;最后,利用导向滤波基于空间上下文信息修正误分类样本,以提高分类精度。在Indian Pines、Salinas和Pavia University三个常用高光谱图像数据集上的实验结果表明,本文提出的分类方法能够有效融合高光谱图像的空间特征和光谱特征,进而获得良好的分类性能。本文共有34幅图,20张表,参考文献200篇。