基于深度特征表达的目标检测与故障识别方法研究

项目来源

国家自然科学基金(NSFC)

项目主持人

翟永杰

项目受资助机构

华北电力大学

项目编号

61773160

立项年度

2017

立项时间

未公开

研究期限

未知 / 未知

项目级别

国家级

受资助金额

51.00万元

学科

信息科学-自动化-自动化检测技术与装置

学科代码

F-F03-F0306

基金类别

面上项目

关键词

目标检测 ; 深度特征表达 ; 复杂背景 ; 飞行机器人 ; 绝缘子 ; target recognition ; deep feature representation ; flying robot ; complex background ; insulator

参与者

赵振兵;仝卫国;程海燕;张婷;张木柳;赵海龙;刘金龙;陈瑞;刘业鹏

参与机构

华北电力大学(保定)

项目标书摘要:复杂背景和干扰下的目标检测与故障识别是飞行机器人自主巡检的关键技术。应用深度学习方法时遇到目标样本不完备、特征表达困难、人工特征未融入等问题。本项目借鉴人类对三维物体的空间认知能力,形成基于模拟图像的目标软识别方法,建立“模拟—真实”平行结构的研究框架。结合虚拟仿真技术,构建符合实际分布规律的高真实感模拟图像,解决样本不完备问题,并建立绝缘子目标图像公开数据库;对深度网络神经元的响应进行可视化研究,分析目标与神经元响应的关系,定义响应度指标,提出融合人工特征的深度卷积神经网络模型建立方法,实现端对端的目标一体化检测方案;针对绝缘子故障特性,提取多区域块深度特征,并融合形态特征生成深度特征表达,实现故障识别。项目重点研究目标深度特征表达这一科学问题,提高算法的鲁棒性和适应性,为实现飞行机器人对输电线路自主巡检提供理论及技术基础,同时为机器人导航定位、环境感知、工业无损检测等领域提供参考。

Application Abstract: Target detection and fault recognition under complex background and interference are the key technologies in the flying robot autonomous inspection for overhead powerline.There are problems when using deep learning method in this area,such as insufficient samples,obscure feature representation,uninvolved artificial features.Based on the human's spatial cognitive ability of three-dimensional objects,the target soft-recognition method using simulated images is formed,and the research framework of"simulated-real"parallel structure is established.In order to solve the problem of incomplete collection,insufficient quantity and unbalanced distribution of image samples,we construct highly realistic simulated images that conforms to the actual distribution using the virtual simulation technology,and establish the public database of insulator images;To achieve the end-to-end target integration detection scheme,the method of establishing the depth neural network structure with the artificial feature is proposed by studying the visualization response of deep network neurons,analyzing the relationship between the target and the response of neurons,and defining the responsiveness index.Aiming at the fault characteristics of insulators,the multi-region block depth feature is extracted,and the depth feature expression is generated by fusion morphological features to achieve fault recognition.This project focuses on deep feature representation of target,and aims to improving the robustness and adaptability of the fault recognition methods,providing the theory and technology for the tasks such as flying robot autonomous detection on overhead powerline,robot navigation positioning,environment perception and industrial non-destructive testing,etc.

项目受资助省

河北省

项目结题报告(全文)

目标检测和故障识别问题是图像处理和机器学习方法的一个应用,复杂背景和干扰下的目标检测与故障识别是无人机自主巡检的关键技术。无人机在电力行业输电线路自主巡检中担负着越来越重要的任务,其采集的航拍图像中,背景非常复杂且有干扰,目标检测及故障识别难度很大,应用深度学习方法时遇到目标训练样本不完备、航拍图像背景复杂且干扰严重、故障特征难以表达、人工特征未融入等问题。本项目针对典型的“高风险应用”,研究强鲁棒性的机器学习方法,即开放环境下的机器学习。针对上述问题,项目研究工作在平行视觉框架下展开。研究内容包括四方面:训练样本增广方法、复杂背景和干扰下的绝缘子目标检测方法、深度特征表达方法、目标检测与故障识别方法验证。(1)在训练样本增广方法研究方面,研究工作从两个方面着手,一是采用建模软件建立绝缘子结构模型,以生成模拟图像样本,二是通过GAN网络生成模拟图像样本;收集航拍图像并分类整理,包括真实航拍样本和人工图像样本,共计20万张。建立了绝缘子图像样本库;(2)在复杂背景和干扰下的绝缘子目标检测方法研究方面,进行了基于混合样本迁移学习的研究;提出了人工特征与深度特征融合的方法。分析像素级特征、中层语义特征、深度特征之间的关系,构成鲁棒性高的特征表达方法;(3)针对绝缘子表面故障特性,提取多区域块深度特征,融合人工形态特征生成深度特征表达,实现故障识别方法。提出了融合三种不同层次特征的模型建立和训练方法:像素级特征融合、语义级特征融合、深层深度特征融合;(4)针对实际采集的巡检图像,进行了算法的验证。项目重点研究目标深度特征表达这一科学问题,提高算法的鲁棒性和适应性,为实现无人机对输电线路自主巡检提供理论及技术基础,同时为机器人导航定位、环境感知、工业无损检测等领域提供参考。项目按照计划书要求执行,完成了计划书中所列的研究内容,达到了预期目标,并结合项目开展了电力视觉技术的研究、宣传与推广工作。

  • 排序方式:
  • 8
  • /
  • 1.基于改进Cascade R-CNN的典型金具及其部分缺陷检测方法

    • 《高电压技术》
    • 2021年
    • 期刊

    输电线路中典型金具及其缺陷的检测是非常重要的巡检任务。针对由于金具尺度变化大且部分金具为小尺度目标进而导致金具检测精确度低的问题,提出了一种基于改进Cascade R-CNN的典型金具及其部分缺陷检测方法。在Cascade R-CNN模型的基础上,采用递归特征金字塔结构进行特征优化,纵向优化层级高级语义特征,横向反馈连接增益主干网络特征图;同时提出使用NAS(neural architecture search)获取空洞卷积的孔洞率来扩大感受野的方式使卷积对多尺度金具特征提取更有效。实验结果证明:提出的递归特征金字塔与NAS搜索孔洞率的空洞卷积相结合改进Cascade R-CNN的方法,在一定程度上解决了金具检测精确度低的问题。其中性能指标AP(average precision)值提高了6.72%,最高检测精确度达到了92.34%。该研究为进一步对典型金具进行故障诊断,实现智能巡检奠定了良好的基础。

    ...
  • 2.多层特征融合与语义增强的盲图像质量评价

    • 关键词:
    • 深度学习 图像质量 卷积神经网络 特征提取 通道注意力结构 多层次特征融合 扩张卷积 三元组损失函数 基金资助:国家自然科学基金项目(61773160,61871182); 河北省自然科学基金项目(F2021502013); 中央高校基本科研业务费项目(2020MS153,2021PT018); 专辑:信息科技 专题:计算机软件及计算机应用 分类号:TP391.41 中国知网独家网络首发,未经许可,禁止转载、摘编。 手机阅读
    • 赵文清;许丽娇;陈昊阳;李梦伟
    • 2023年
    • 期刊

    针对现有的盲图像质量评价算法在面对真实失真图像时性能较低的情况,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法(multi-level feature fusion and semantic enhancement for NR,MFFSE-NR)。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L1损失函数和三元组排名损失函数进行融合,构建新的损失函数Lmix。为了验证本文方法的有效性,在LIVEC数据集上进行了验证和对比实验,该算法的SROCC与PLCC指标相比原算法分别提升2.3%和2.3%;在KonIQ-10k数据集和LIVEC数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。

    ...
  • 3.基于视觉传感的薄板对接焊缝检测方法研究

    • 关键词:
    • 焊缝检测视觉传感焊缝中心检测薄板对接焊基金资助:国家自然科学基金联合基金项目重点支持项目(U21A20486)国家自然科学基金项目(61773160);DOI:10.14158/j.cnki.1001-3814.20221431专辑:工程科技Ⅰ辑 信息科技专题:金属学及金属工艺 计算机软件及计算机应用分类号:TP391.41TG441.7中国知网独家网络首发,未经许可,禁止转载、摘编。手机阅读
    • 李冰;白云山;赵宽;胡瑞雪;赵占良;宋立军;董玉召
    • 2023年
    • 期刊

    为了实现薄板自动对接焊过程中焊缝中心的准确检测,提出了基于主动视觉传感的薄板对接焊缝检测方法。通过对工业相机采集的图像进行颜色分割与亮度分割,消除环境光的干扰;利用轮廓检测与掩模操作消除图像噪声,应用灰度重心法提取激光条纹的中心线,并通过一阶差分方法实现焊缝左右边界及中心的检测。针对激光条纹存在的分断缺陷进行续断连接,以提高焊缝中心检测的准确性。实验结果表明,采用所提方法能够准确检测焊缝边界及中心位置,能够满足薄板对接焊缝的自动焊接需求。

    ...
  • 4.基于深度可分离空洞卷积金字塔的变压器渗漏油检测

    • 关键词:
    • 变压器渗漏油检测语义信息深度可分离空洞卷积金字塔低阶特征高阶特征特征融合注意力机制基金资助:河北省自然科学基金项目(F2021502013);中央高校基本科研业务费面上项目(2020MS153,2021PT018);国家自然科学基金项目(61773160, 61871182);专辑:工程科技Ⅱ辑专题:电力工业分类号:TM41中国知网独家网络首发,未经许可,禁止转载、摘编。手机阅读
    • 赵文清;刘亮;胡嘉伟;翟永杰;赵振兵
    • 2023年
    • 期刊

    为了降低影响并提高对变压器渗漏油巡检图像的检测效率,提出一种基于深度可分离空洞卷积金字塔的变压器渗漏油检测模型。首先,将空洞金字塔中普通卷积块修改为深度可分离卷积块,以此扩大金字塔感受野,使特征提取网络提取到的特征图语义信息更加丰富;然后,改进了特征提取阶段低阶语义特征与高阶语义特征融合过程,进一步增强特征提取网络产生特征图的语义信息;最后,为了避免经过多次卷积、池化操作后特征图语义信息的损失,在融合过程中引入空间注意力机制和通道注意力机制,进一步增强特征图中的语义信息。与UNet(Convolutional Networks for Biomedical Image Segmentation)、PSPNet(Pyramid Scene Parseing Network)、DeepLabv3+(Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation)和MCNN(Multi-Class Convolutional Neural Network)等算法进行对比实验发现,本文所提出网络检测模型效果好,查准率达到了76.85%,平均交并比达到了64.63%,召回率达到了73.56%,FPS(Frames Per Second)达到了30帧/秒。为了验证本文提出方法的有效性,设计了消融实验,与基础网络模型相比,查准率提高了9.33%,平均交并比提高了7.15%,召回率提高了5.66%。

    ...
  • 5.Disc Insulator Defect Detection Based on Mixed Sample Transfer Learning

    • 关键词:
    • Defects;Transfer learning;Defect detection;IS problems;Mixed samples;Mixed simple;Parallel vision;Simple++;Small samples;Transfer learning;Transfer learning methods;Vision theory
    • Zhai, Yongjie;Yang, Ke;Wang, Qianming;Wang, Yaru
    • 《Zhongguo Dianji Gongcheng Xuebao/Proceedings of the Chinese Society of Electrical Engineering》
    • 2023年
    • 43卷
    • 7期
    • 期刊

    Insufficient sample and unbalanced sample are problems for disc insulator defect detection. On the one hand, to solve the problem of insufficient sample, a transfer learning method based on mixed sample is developed for disc insulator defect detection which uses parallel vision theory as a framework. Two artificial samples of insulator dropped and damaged are generated by fusing disc insulator prior knowledge and rule criteria. On the other hand, to solve the problem of unbalanced sample, a balance loss function is proposed from the perspective of sample balance. During the training process, the model assigns different weights to positive sample, negative sample, easy sample and difficult sample. Using this method, the attention of the model to positive samples, especially the ones that are difficult to detect, is improved. The experimental results show that the accuracy of the proposed method for disc insulator defect detection reaches 75.1% and the recall reaches 81.7% in the case of small sample, which are 19.2% and 9.2% improvement compared with the original algorithm, providing a new solution and an implementation method to the problem of defect detection with small samples. ©2023 Chin.Soc.for Elec.Eng.

    ...
  • 6.结合注意力机制的相对GAN螺栓图像生成

    • 关键词:
    • 螺栓 生成式对抗网络 相对均值鉴别器 梯度惩罚 注意力机制 基金资助:国家自然科学基金资助项目(61871182、61401154、61773160、61302163); 北京市自然科学基金项目(4192055); 河北省自然科学基金项目(F2016502101、F2017502016、F2015502062); 中央高校基本科研业务费专项资金项目(2018MS095、2018MS094); 模式识别国家重点实验室开放课题基金(201900051); DOI:10.19753/j.issn1001-1390.2019.019.011 专辑:工程科技Ⅱ辑 信息科技 专题:电力工业 计算机软件及计算机应用 分类号:TP391.41TM75 手机阅读
    • 戚银城;郎静宜;赵振兵;江爱雪;聂礼强
    • 期刊

    螺栓缺陷非常容易引起输电线路异常甚至故障,但大量的缺陷数据难以获得。将生成式对抗网络应用于缺陷螺栓图像的生成,针对生成过程中存在的图像质量差、生成样本单一,模型收敛缓慢等问题,提出一种基于改进DCGAN的螺栓图像生成方法。在损失函数中加入相对均值鉴别器和梯度惩罚,平衡了生成器和判别器的能力,提高了样本质量和模型的收敛速度;在模型的生成器和鉴别器中引入注意力机制,捕获图像中长距离的像素特征,提高了缺陷样本的多样性;实验结果验证了改进方法的有效性,IS值提高了0. 1,实现了缺陷样本的扩增。

    ...
  • 7.Hybrid sampling feature enhancement: a few-shot learning method for substation equipment fault recognition

    • 关键词:
    • Electric substations;Learning systems;Semantics;Fault recognition;Feature enhancement;Few-shot learning, hybrid sampling, sample imbalance, substation equipment fault;Gaussians;Intra class;Learning methods;Sample size distributions;Small Sample Size;Substation equipment;Unbalanced distribution
    • Zhai, Yongjie;Hu, Zhedong;Wang, Tian;Wang, Yaru
    • 《Multimedia Tools and Applications》
    • 2023年
    • 期刊

    Due to the small sample size and unbalanced distribution, fault recognition of substation equipment becomes difficult. A few-shot feature enhancement method is proposed and applied on hybrid sampling feature enhancement model. First, Gaussian sampling structure and Gumbel-SoftMax sampling structure are designed based on the constructed intra-class covariance matrix which represents the semantic direction. After that, Hybrid sampling feature enhancement (HSFE) model is proposed, and the loss upper bound of the model is deduced. Finally, those proposed design methods can be implemented. Experiments confirm the effectiveness and improvement of fault recognition rate for substation equipment compared to existing approaches, especially the value of mAP is 4% higher than the baseline model. © 2023, The Author(s), under exclusive licence to Springer Science+Business Media, LLC, part of Springer Nature.

    ...
  • 8.基于混合样本迁移学习的盘型绝缘子缺陷检测

    • 关键词:
    • 缺陷检测 迁移学习 混合样本 平行视觉 少样本 基金资助:国家自然科学基金项目(61773160); 河北省自然科学基金项目(F2021502008); 中央高校基本科研业务费专项资金面上项目(2021MS081)~~; DOI:10.13334/j.0258-8013.pcsee.212774 专辑:工程科技Ⅱ辑 专题:电力工业 分类号:TM216 手机阅读
    • 翟永杰;杨珂;王乾铭;王亚茹
    • 期刊

    针对盘型绝缘子缺陷检测过程中存在样本不足和样本不平衡的问题,一方面以平行视觉理论为框架,融合盘型绝缘子先验知识和规则标准,生成盘型绝缘子伞盘脱落和破损两种人工样本,建立以混合样本为基础的迁移学习方法,解决样本不足的问题;另一方面,从样本均衡的角度出发,提出均衡损失函数,在训练过程中分别对正负样本和难易样本分配不同的权重,提高模型对正样本尤其是难以检测样本的关注度,解决正负样本、难易样本不平衡的问题。实验结果表明,在少样本情况下,提出的方法用于盘型绝缘子缺陷检测的准确率达到75.1%,召回率达到81.7%,相比原始的算法分别提升19.2%和9.2%,结果可为少样本缺陷检测问题提供了新的解决思路与实现方法。

    ...
  • 9.Adaptively Attentional Feature Fusion Oriented to Multiscale Object Detection in Remote Sensing Images

    • 关键词:
    • Feature extraction; Remote sensing; Object detection; Semantics;Convolutional neural networks; Location awareness; Task analysis;Adaptively attentional feature fusion; aligned convolutional (AlignConv) network; feature representation; high-resolution remote sensingimages; object detection; YOLOX
    • Zhao, Wenqing;Kang, Yijin;Chen, Hao;Zhao, Zhenhuan;Zhao, Zhenbing;Zhai, Yongjie
    • 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》
    • 2023年
    • 72卷
    • 期刊

    Currently, reliable and accurate object detection in high-resolution remote sensing images still faces significant challenges, such as color, aspect ratio, complex background, and scale variations. Even the detection results obtained based on the latest convolutional neural network (CNN) methods are not satisfactory. To obtain more accurate detection results from large-scale remote sensing images, we proposed a multiscale object detection algorithm oriented to adaptively attentional feature fusion based on the YOLOX algorithm. First, a multiscale attentional feature fusion (MSAFF) structure was added to the YOLOX network to increase the perceptual field and aggregate the contextual information to obtain a feature map with richer semantic information. Second, an adaptively spatial feature fusion (ASFF) structure was introduced to process the fused feature maps, to which spatial feature weights were assigned at different levels to enhance the feature representation of remote sensing objects and reduce feature loss. Finally, the aligned convolutional (Align Conv) network was used in the object classification and localization task to achieve a more accurate localization of densely arranged objects with arbitrary orientation. The algorithm proposed in this article was extensively experimented on the PASCAL VOC and the DIOR datasets, and the average accuracy reached 89.2% and 75.3%, respectively. Compared with some current mainstream two-stage and one-stage object detection algorithms, the experimental results demonstrated that our method performed well in both accuracy and speed. At the same time, it reduced the leakage rate of remote sensing objects to a certain extent.

    ...
  • 10.改进YOLOv5s的遥感图像目标检测

    • 关键词:
    • 遥感图像;感兴趣目标;目标检测;特征提取;轻量级通道注意力结构;多尺度特征融合;上下文信息;Swin变换器;坐标注意力机制
    • 赵文清;康怿瑾;赵振兵;翟永杰
    • 《智能系统学报》
    • 2023年
    • 01期
    • 期刊

    针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题,本文提出了一种改进YOLOv5s的遥感图像目标检测算法(Swin-YOLOv5s)。首先,在骨干特征提取网络的卷积块中加入轻量级通道注意力结构,抑制无关信息的干扰;其次,在多尺度特征融合的基础上进行跨尺度连接和上下文信息加权操作来加强待检测目标的特征提取,将融合后的特征图组成新的特征金字塔;最后,在特征融合的过程中引入Swin Transformer网络结构和坐标注意力机制,进一步增强小目标的语义信息和全局感知能力。将本文提出的算法在DOTA数据集和RSOD数据集上进行消融实验,结果表明,本文提出的算法能够明显提高遥感图像目标检测的平均准确率。

    ...
  • 排序方式:
  • 8
  • /