基于深度特征表达的目标检测与故障识别方法研究

项目来源

国家自然科学基金(NSFC)

项目主持人

翟永杰

项目受资助机构

华北电力大学

项目编号

61773160

立项年度

2017

立项时间

未公开

项目级别

国家级

研究期限

未知 / 未知

受资助金额

51.00万元

学科

信息科学-自动化-自动化检测技术与装置

学科代码

F-F03-F0306

基金类别

面上项目

关键词

目标检测 ; 深度特征表达 ; 复杂背景 ; 飞行机器人 ; 绝缘子 ; target recognition ; deep feature representation ; flying robot ; complex background ; insulator

参与者

赵振兵;仝卫国;程海燕;张婷;张木柳;赵海龙;刘金龙;陈瑞;刘业鹏

参与机构

华北电力大学(保定)

项目标书摘要:复杂背景和干扰下的目标检测与故障识别是飞行机器人自主巡检的关键技术。应用深度学习方法时遇到目标样本不完备、特征表达困难、人工特征未融入等问题。本项目借鉴人类对三维物体的空间认知能力,形成基于模拟图像的目标软识别方法,建立“模拟—真实”平行结构的研究框架。结合虚拟仿真技术,构建符合实际分布规律的高真实感模拟图像,解决样本不完备问题,并建立绝缘子目标图像公开数据库;对深度网络神经元的响应进行可视化研究,分析目标与神经元响应的关系,定义响应度指标,提出融合人工特征的深度卷积神经网络模型建立方法,实现端对端的目标一体化检测方案;针对绝缘子故障特性,提取多区域块深度特征,并融合形态特征生成深度特征表达,实现故障识别。项目重点研究目标深度特征表达这一科学问题,提高算法的鲁棒性和适应性,为实现飞行机器人对输电线路自主巡检提供理论及技术基础,同时为机器人导航定位、环境感知、工业无损检测等领域提供参考。

Application Abstract: Target detection and fault recognition under complex background and interference are the key technologies in the flying robot autonomous inspection for overhead powerline.There are problems when using deep learning method in this area,such as insufficient samples,obscure feature representation,uninvolved artificial features.Based on the human's spatial cognitive ability of three-dimensional objects,the target soft-recognition method using simulated images is formed,and the research framework of"simulated-real"parallel structure is established.In order to solve the problem of incomplete collection,insufficient quantity and unbalanced distribution of image samples,we construct highly realistic simulated images that conforms to the actual distribution using the virtual simulation technology,and establish the public database of insulator images;To achieve the end-to-end target integration detection scheme,the method of establishing the depth neural network structure with the artificial feature is proposed by studying the visualization response of deep network neurons,analyzing the relationship between the target and the response of neurons,and defining the responsiveness index.Aiming at the fault characteristics of insulators,the multi-region block depth feature is extracted,and the depth feature expression is generated by fusion morphological features to achieve fault recognition.This project focuses on deep feature representation of target,and aims to improving the robustness and adaptability of the fault recognition methods,providing the theory and technology for the tasks such as flying robot autonomous detection on overhead powerline,robot navigation positioning,environment perception and industrial non-destructive testing,etc.

项目受资助省

河北省

项目结题报告(全文)

目标检测和故障识别问题是图像处理和机器学习方法的一个应用,复杂背景和干扰下的目标检测与故障识别是无人机自主巡检的关键技术。无人机在电力行业输电线路自主巡检中担负着越来越重要的任务,其采集的航拍图像中,背景非常复杂且有干扰,目标检测及故障识别难度很大,应用深度学习方法时遇到目标训练样本不完备、航拍图像背景复杂且干扰严重、故障特征难以表达、人工特征未融入等问题。本项目针对典型的“高风险应用”,研究强鲁棒性的机器学习方法,即开放环境下的机器学习。针对上述问题,项目研究工作在平行视觉框架下展开。研究内容包括四方面:训练样本增广方法、复杂背景和干扰下的绝缘子目标检测方法、深度特征表达方法、目标检测与故障识别方法验证。(1)在训练样本增广方法研究方面,研究工作从两个方面着手,一是采用建模软件建立绝缘子结构模型,以生成模拟图像样本,二是通过GAN网络生成模拟图像样本;收集航拍图像并分类整理,包括真实航拍样本和人工图像样本,共计20万张。建立了绝缘子图像样本库;(2)在复杂背景和干扰下的绝缘子目标检测方法研究方面,进行了基于混合样本迁移学习的研究;提出了人工特征与深度特征融合的方法。分析像素级特征、中层语义特征、深度特征之间的关系,构成鲁棒性高的特征表达方法;(3)针对绝缘子表面故障特性,提取多区域块深度特征,融合人工形态特征生成深度特征表达,实现故障识别方法。提出了融合三种不同层次特征的模型建立和训练方法:像素级特征融合、语义级特征融合、深层深度特征融合;(4)针对实际采集的巡检图像,进行了算法的验证。项目重点研究目标深度特征表达这一科学问题,提高算法的鲁棒性和适应性,为实现无人机对输电线路自主巡检提供理论及技术基础,同时为机器人导航定位、环境感知、工业无损检测等领域提供参考。项目按照计划书要求执行,完成了计划书中所列的研究内容,达到了预期目标,并结合项目开展了电力视觉技术的研究、宣传与推广工作。

  • 排序方式:
  • 10
  • /
  • 1.基于改进Cascade R-CNN的典型金具及其部分缺陷检测方法

    • 《高电压技术》
    • 2021年
    • 期刊

    输电线路中典型金具及其缺陷的检测是非常重要的巡检任务。针对由于金具尺度变化大且部分金具为小尺度目标进而导致金具检测精确度低的问题,提出了一种基于改进Cascade R-CNN的典型金具及其部分缺陷检测方法。在Cascade R-CNN模型的基础上,采用递归特征金字塔结构进行特征优化,纵向优化层级高级语义特征,横向反馈连接增益主干网络特征图;同时提出使用NAS(neural architecture search)获取空洞卷积的孔洞率来扩大感受野的方式使卷积对多尺度金具特征提取更有效。实验结果证明:提出的递归特征金字塔与NAS搜索孔洞率的空洞卷积相结合改进Cascade R-CNN的方法,在一定程度上解决了金具检测精确度低的问题。其中性能指标AP(average precision)值提高了6.72%,最高检测精确度达到了92.34%。该研究为进一步对典型金具进行故障诊断,实现智能巡检奠定了良好的基础。

    ...
  • 2.多层特征融合与语义增强的盲图像质量评价

    • 关键词:
    • 深度学习 图像质量 卷积神经网络 特征提取 通道注意力结构 多层次特征融合 扩张卷积 三元组损失函数 基金资助:国家自然科学基金项目(61773160,61871182); 河北省自然科学基金项目(F2021502013); 中央高校基本科研业务费项目(2020MS153,2021PT018); 专辑:信息科技 专题:计算机软件及计算机应用 分类号:TP391.41 中国知网独家网络首发,未经许可,禁止转载、摘编。 手机阅读
    • 赵文清;许丽娇;陈昊阳;李梦伟
    • 2023年
    • 期刊

    针对现有的盲图像质量评价算法在面对真实失真图像时性能较低的情况,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法(multi-level feature fusion and semantic enhancement for NR,MFFSE-NR)。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L1损失函数和三元组排名损失函数进行融合,构建新的损失函数Lmix。为了验证本文方法的有效性,在LIVEC数据集上进行了验证和对比实验,该算法的SROCC与PLCC指标相比原算法分别提升2.3%和2.3%;在KonIQ-10k数据集和LIVEC数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。

    ...
  • 3.基于视觉传感的薄板对接焊缝检测方法研究

    • 关键词:
    • 焊缝检测视觉传感焊缝中心检测薄板对接焊基金资助:国家自然科学基金联合基金项目重点支持项目(U21A20486)国家自然科学基金项目(61773160);DOI:10.14158/j.cnki.1001-3814.20221431专辑:工程科技Ⅰ辑 信息科技专题:金属学及金属工艺 计算机软件及计算机应用分类号:TP391.41TG441.7中国知网独家网络首发,未经许可,禁止转载、摘编。手机阅读
    • 李冰;白云山;赵宽;胡瑞雪;赵占良;宋立军;董玉召
    • 2023年
    • 期刊

    为了实现薄板自动对接焊过程中焊缝中心的准确检测,提出了基于主动视觉传感的薄板对接焊缝检测方法。通过对工业相机采集的图像进行颜色分割与亮度分割,消除环境光的干扰;利用轮廓检测与掩模操作消除图像噪声,应用灰度重心法提取激光条纹的中心线,并通过一阶差分方法实现焊缝左右边界及中心的检测。针对激光条纹存在的分断缺陷进行续断连接,以提高焊缝中心检测的准确性。实验结果表明,采用所提方法能够准确检测焊缝边界及中心位置,能够满足薄板对接焊缝的自动焊接需求。

    ...
  • 4.基于深度可分离空洞卷积金字塔的变压器渗漏油检测

    • 关键词:
    • 变压器渗漏油检测语义信息深度可分离空洞卷积金字塔低阶特征高阶特征特征融合注意力机制基金资助:河北省自然科学基金项目(F2021502013);中央高校基本科研业务费面上项目(2020MS153,2021PT018);国家自然科学基金项目(61773160, 61871182);专辑:工程科技Ⅱ辑专题:电力工业分类号:TM41中国知网独家网络首发,未经许可,禁止转载、摘编。手机阅读
    • 赵文清;刘亮;胡嘉伟;翟永杰;赵振兵
    • 2023年
    • 期刊

    为了降低影响并提高对变压器渗漏油巡检图像的检测效率,提出一种基于深度可分离空洞卷积金字塔的变压器渗漏油检测模型。首先,将空洞金字塔中普通卷积块修改为深度可分离卷积块,以此扩大金字塔感受野,使特征提取网络提取到的特征图语义信息更加丰富;然后,改进了特征提取阶段低阶语义特征与高阶语义特征融合过程,进一步增强特征提取网络产生特征图的语义信息;最后,为了避免经过多次卷积、池化操作后特征图语义信息的损失,在融合过程中引入空间注意力机制和通道注意力机制,进一步增强特征图中的语义信息。与UNet(Convolutional Networks for Biomedical Image Segmentation)、PSPNet(Pyramid Scene Parseing Network)、DeepLabv3+(Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation)和MCNN(Multi-Class Convolutional Neural Network)等算法进行对比实验发现,本文所提出网络检测模型效果好,查准率达到了76.85%,平均交并比达到了64.63%,召回率达到了73.56%,FPS(Frames Per Second)达到了30帧/秒。为了验证本文提出方法的有效性,设计了消融实验,与基础网络模型相比,查准率提高了9.33%,平均交并比提高了7.15%,召回率提高了5.66%。

    ...
  • 5.Disc Insulator Defect Detection Based on Mixed Sample Transfer Learning

    • 关键词:
    • Defects;Transfer learning;Defect detection;IS problems;Mixed samples;Mixed simple;Parallel vision;Simple++;Small samples;Transfer learning;Transfer learning methods;Vision theory
    • Zhai, Yongjie;Yang, Ke;Wang, Qianming;Wang, Yaru
    • 《Zhongguo Dianji Gongcheng Xuebao/Proceedings of the Chinese Society of Electrical Engineering》
    • 2023年
    • 43卷
    • 7期
    • 期刊

    Insufficient sample and unbalanced sample are problems for disc insulator defect detection. On the one hand, to solve the problem of insufficient sample, a transfer learning method based on mixed sample is developed for disc insulator defect detection which uses parallel vision theory as a framework. Two artificial samples of insulator dropped and damaged are generated by fusing disc insulator prior knowledge and rule criteria. On the other hand, to solve the problem of unbalanced sample, a balance loss function is proposed from the perspective of sample balance. During the training process, the model assigns different weights to positive sample, negative sample, easy sample and difficult sample. Using this method, the attention of the model to positive samples, especially the ones that are difficult to detect, is improved. The experimental results show that the accuracy of the proposed method for disc insulator defect detection reaches 75.1% and the recall reaches 81.7% in the case of small sample, which are 19.2% and 9.2% improvement compared with the original algorithm, providing a new solution and an implementation method to the problem of defect detection with small samples. ©2023 Chin.Soc.for Elec.Eng.

    ...
  • 6.基于改进区域候选网络的绝缘子检测研究与实现

    • 关键词:
    • 绝缘子;目标检测;区域候选网络;卷积神经网络;深度学习
    • 李海森
    • 指导老师:华北电力大学 翟永杰
    • 学位论文

    绝缘子作为电力系统中的重要设备,其绝缘状态直接影响整个电力系统的稳定性和供电的可靠性。因此,电力巡检是保障电网安全运行不可或缺的手段,新兴的无人机巡检通过搭载的高清相机和图传设备可获取大量详实的巡检影像。这些巡视数据仅凭人工分析和处理,工作量庞大,效率低下,存在由工作人员经验和素质引起的偏差。因此需要引入智能化的识别方法。本文结合国家自然科学基金资助项目“基于深度特征表达的目标检测与故障识别方法研究”的需求,从以下几个方面展开研究:(1)本文通过使用卷积神经网络实现对绝缘子的检测,解决传统检测算法鲁棒性差,泛化能力不强,准确率不高等问题。首先通过研究卷积神经网络的特点和广泛应用,结合工程需求和硬件支持,使用VGG16作为特征提取网络和RPN作为检测方法,搭建适宜本课题网络模型。其次利用无人机在不同线路和时间采集玻璃和陶瓷绝缘子样本并进行人为拓展并结合绝缘子的3D人工图像进行样本扩充,作为训练样本。然后本文选择开源的Tensorflow作为工具,结合相关调参技术对网络结构进行改进和在训练过程中进行优化。通过自动学习绝缘子特征的本质,实现了复杂航拍背景中的绝缘子目标检测。(2)本文提出了一种改进的区域候选网络(Region Proposal Networks),用于提高航拍图像中绝缘子目标的检测准确率。在绝缘子样本不完备的情况下,通过截取、旋转、镜像以及人工合成等方法对绝缘子训练样本进行扩充和完善;对人工标注的绝缘子样本的标注框进行聚类统计,获得标注框的宽高比的分布情况,用于候选框尺寸的初始化;对特征提取网络VGG16进行逐层分析,融合其中的第二、三、五层的特征图,用于绝缘子目标识别;更改损失函数,实现动态调整正负样本的比例,从而解决训练过程中正负样本不均衡的问题。实验结果表明,与原始的区域候选网络相比,本文所提出的改进的区域候选网络能够更有效地检测出航拍图像中的绝缘子目标,改进后的区域候选网络的精度较之前提高了近5个百分点。(3)本文对绝缘子检测进行测试验证和对比试验。首先针对不同背景,不同种类,不同数量的情况进行了绝缘子检测测试,并与传统DPM和基于HoG的SVM算法进行了对比,同时通过可视化效果来分析网络的性能。然后对不同背景下的绝缘子检测算法进行了验证。经验证绝缘子检测效果达到了工程要求,有效体现了巡检数据的价值,有助于提升电力巡检的效率和智能化水平。

    ...
  • 7.结合注意力机制的相对GAN螺栓图像生成

    • 关键词:
    • 螺栓 生成式对抗网络 相对均值鉴别器 梯度惩罚 注意力机制 基金资助:国家自然科学基金资助项目(61871182、61401154、61773160、61302163); 北京市自然科学基金项目(4192055); 河北省自然科学基金项目(F2016502101、F2017502016、F2015502062); 中央高校基本科研业务费专项资金项目(2018MS095、2018MS094); 模式识别国家重点实验室开放课题基金(201900051); DOI:10.19753/j.issn1001-1390.2019.019.011 专辑:工程科技Ⅱ辑 信息科技 专题:电力工业 计算机软件及计算机应用 分类号:TP391.41TM75 手机阅读
    • 戚银城;郎静宜;赵振兵;江爱雪;聂礼强
    • 期刊

    螺栓缺陷非常容易引起输电线路异常甚至故障,但大量的缺陷数据难以获得。将生成式对抗网络应用于缺陷螺栓图像的生成,针对生成过程中存在的图像质量差、生成样本单一,模型收敛缓慢等问题,提出一种基于改进DCGAN的螺栓图像生成方法。在损失函数中加入相对均值鉴别器和梯度惩罚,平衡了生成器和判别器的能力,提高了样本质量和模型的收敛速度;在模型的生成器和鉴别器中引入注意力机制,捕获图像中长距离的像素特征,提高了缺陷样本的多样性;实验结果验证了改进方法的有效性,IS值提高了0. 1,实现了缺陷样本的扩增。

    ...
  • 8.Hybrid sampling feature enhancement: a few-shot learning method for substation equipment fault recognition

    • 关键词:
    • Electric substations;Learning systems;Semantics;Fault recognition;Feature enhancement;Few-shot learning, hybrid sampling, sample imbalance, substation equipment fault;Gaussians;Intra class;Learning methods;Sample size distributions;Small Sample Size;Substation equipment;Unbalanced distribution
    • Zhai, Yongjie;Hu, Zhedong;Wang, Tian;Wang, Yaru
    • 《Multimedia Tools and Applications》
    • 2023年
    • 期刊

    Due to the small sample size and unbalanced distribution, fault recognition of substation equipment becomes difficult. A few-shot feature enhancement method is proposed and applied on hybrid sampling feature enhancement model. First, Gaussian sampling structure and Gumbel-SoftMax sampling structure are designed based on the constructed intra-class covariance matrix which represents the semantic direction. After that, Hybrid sampling feature enhancement (HSFE) model is proposed, and the loss upper bound of the model is deduced. Finally, those proposed design methods can be implemented. Experiments confirm the effectiveness and improvement of fault recognition rate for substation equipment compared to existing approaches, especially the value of mAP is 4% higher than the baseline model. © 2023, The Author(s), under exclusive licence to Springer Science+Business Media, LLC, part of Springer Nature.

    ...
  • 9.基于混合样本迁移学习的盘型绝缘子缺陷检测

    • 关键词:
    • 缺陷检测 迁移学习 混合样本 平行视觉 少样本 基金资助:国家自然科学基金项目(61773160); 河北省自然科学基金项目(F2021502008); 中央高校基本科研业务费专项资金面上项目(2021MS081)~~; DOI:10.13334/j.0258-8013.pcsee.212774 专辑:工程科技Ⅱ辑 专题:电力工业 分类号:TM216 手机阅读
    • 翟永杰;杨珂;王乾铭;王亚茹
    • 期刊

    针对盘型绝缘子缺陷检测过程中存在样本不足和样本不平衡的问题,一方面以平行视觉理论为框架,融合盘型绝缘子先验知识和规则标准,生成盘型绝缘子伞盘脱落和破损两种人工样本,建立以混合样本为基础的迁移学习方法,解决样本不足的问题;另一方面,从样本均衡的角度出发,提出均衡损失函数,在训练过程中分别对正负样本和难易样本分配不同的权重,提高模型对正样本尤其是难以检测样本的关注度,解决正负样本、难易样本不平衡的问题。实验结果表明,在少样本情况下,提出的方法用于盘型绝缘子缺陷检测的准确率达到75.1%,召回率达到81.7%,相比原始的算法分别提升19.2%和9.2%,结果可为少样本缺陷检测问题提供了新的解决思路与实现方法。

    ...
  • 10.Adaptively Attentional Feature Fusion Oriented to Multiscale Object Detection in Remote Sensing Images

    • 关键词:
    • Feature extraction; Remote sensing; Object detection; Semantics;Convolutional neural networks; Location awareness; Task analysis;Adaptively attentional feature fusion; aligned convolutional (AlignConv) network; feature representation; high-resolution remote sensingimages; object detection; YOLOX
    • Zhao, Wenqing;Kang, Yijin;Chen, Hao;Zhao, Zhenhuan;Zhao, Zhenbing;Zhai, Yongjie
    • 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》
    • 2023年
    • 72卷
    • 期刊

    Currently, reliable and accurate object detection in high-resolution remote sensing images still faces significant challenges, such as color, aspect ratio, complex background, and scale variations. Even the detection results obtained based on the latest convolutional neural network (CNN) methods are not satisfactory. To obtain more accurate detection results from large-scale remote sensing images, we proposed a multiscale object detection algorithm oriented to adaptively attentional feature fusion based on the YOLOX algorithm. First, a multiscale attentional feature fusion (MSAFF) structure was added to the YOLOX network to increase the perceptual field and aggregate the contextual information to obtain a feature map with richer semantic information. Second, an adaptively spatial feature fusion (ASFF) structure was introduced to process the fused feature maps, to which spatial feature weights were assigned at different levels to enhance the feature representation of remote sensing objects and reduce feature loss. Finally, the aligned convolutional (Align Conv) network was used in the object classification and localization task to achieve a more accurate localization of densely arranged objects with arbitrary orientation. The algorithm proposed in this article was extensively experimented on the PASCAL VOC and the DIOR datasets, and the average accuracy reached 89.2% and 75.3%, respectively. Compared with some current mainstream two-stage and one-stage object detection algorithms, the experimental results demonstrated that our method performed well in both accuracy and speed. At the same time, it reduced the leakage rate of remote sensing objects to a certain extent.

    ...
  • 排序方式:
  • 10
  • /