面向服务机器人的无监督领域自适应目标检测方法研究

项目来源

国家自然科学基金(NSFC)

项目主持人

叶茂

项目受资助机构

电子科技大学

立项年度

2017

立项时间

未公开

项目编号

61773093

项目级别

国家级

研究期限

未知 / 未知

受资助金额

66.00万元

学科

信息科学-人工智能-机器感知与机器视觉

学科代码

F-F06-F0604

基金类别

面上项目

关键词

深度神经网络 ; 回复式神经网络 ; 目标检测 ; 生成对抗网络 ; Object Detection ; Deep Neural Network ; Recurrent Neural Network ; Generative Adversarial Nets

参与者

李凡;邢冠宇;徐培;任东晓;李旭东;唐宋;张锋;刘丹;淦艳

参与机构

电子科技大学;四川大学;浙江科技学院;上海理工大学;南京邮电大学;重庆大学

项目标书摘要:当服务机器人工作于新场景时,因源场景与新场景数据分布的不一致,目标检测效果通常会下降。迁移学习是一个很好的解决手段,但目前绝大多数领域自适应目标检测方法要求在迁移的时候保留源样本,或者少量新场境样本有标签。这些要求服务机器人通常无法满足。针对这种情况,在以往深度学习和机器视觉研究基础上,本课题提出通过网络调控和一致特征学习等方法实现目标检测器对新场景的无监督迁移。研究内容有:基于网络调控的目标检测神经网络迁移方法研究;基于无监督一致特征学习的目标检测神经网络迁移方法研究;结合上下文信息与融入多模态信息的无监督领域自适应目标检测方法研究。创新之处有:不保留源训练集、没有新场景目标标签,基于无监督学习的目标检测网络迁移模型;基于调控网络的迁移学习框架;基于网络调控和无监督学习的上下文和多模态信息的融合方法。取得的成果不仅能丰富目标检测方法和机器学习理论,也有很重要的社会与经济价值。

Application Abstract: When a service robot is working in a new scene,because of the inconsistency of the data distributions between the source and the new scenes,the detection performance of object detector always will drop rapidly.Transfer learning is a good solution;however,almost all of present domain adaption methods require that the training set is kept or some of target samples are labeled.These requirements for service robots are usually not met.From the previous research experiences in the fields of deep learning and machine vision,we propose to study the unsupervised transfer methods which are based on network control and consistent feature learning.The research contents include:1network control framework for transferring neural network based object detector,2unsupervised consistent feature learning model for transferring neural network based object detector,3unsupervised context feature learning methods and the corresponding object detector transferring methods,4unsupervised multi-modal information learning methods and the corresponding object detector transferring methods.The main innovation points are:1network control framework for transferring learning,2unsupervised consistent feature learning model,3the combing methods which absorb context and multi-modal information based on network control and unsupervised learning.The results obtained through these studies are expected not only to enrich the methods of object detection of robot and machine learning theory,but also to make important contributions to social and economic development.

项目受资助省

四川省

项目结题报告

面向服务机器人的无监督领域自适应目标检测方法研究结题报告(全文)

  • 排序方式:
  • 1
  • /
  • 1.面向服务机器人图像分割模型与应用研究

    • 关键词:
    • 图像分割;滑动窗口;全天候;知识语义;迁移学习
    • 张宇潇
    • 指导老师:电子科技大学 叶茂
    • 学位论文

    随着市场经济与科学技术的迅速发展,服务机器人被大量应用于人类的生产生活中,并发挥重要作用。在与服务机器人相关的技术中,图像分割技术是重要的关键技术之一。在图像分割技术的帮助下,服务机器人能够对视觉图像中的每一个像素点进行分类,有助于服务机器人进行环境感知。为服务机器人自主导航,道路识别,障碍物检测等任务提供了有利条件。近年来,得益于计算机视觉与人工智能技术的迅速发展,服务机器人图像分割技术也取得了长足进步。可是,仍然有许多难点未被攻克,比如服务机器人全天候图像分割技术,可迁移的服务机器人图像分割技术,以及图像分割技术在服务机器人上的应用。因此,对服务机器人图像分割技术进行深入研究,研发新的服务机器人图像分割算法,探索新的服务机器人图像分割应用技术具有重大意义。基于上述研究背景,本论文围绕服务机器人图像分割技术展开研究。通过分析国内外服务机器人图像分割技术的研究现状,针对服务机器人图像分割技术的难点,提出了新的服务机器人图像分割算法与应用方案,取得了以下成果:(1)本论文提出了一种基于滑动窗口的服务机器人图像分割技术。通过设置一个可在服务机器人视觉图像上滑动的窗口,对窗口区域进行分类,然后将窗口区域分类结果与基于阈值的图像分割技术融合,对服务机器人视觉图像完成二值分割。在嵌入式计算平台NVIDIA jetson TK1上的应用中,取得了比较好的分割效果。(2)本论文提出了一种基于生成对抗网络的全天候服务机器人图像分割技术。通过设计一个可监督的生成器,对服务机器人全天候视觉图像进行转换,再进行二值分割。在嵌入式计算平台NVIDIA jetson TX2上的应用中,在消耗少量计算资源的前提下,取得了准确度较高的分割效果。(3)本论文提出了一种基于语义的可迁移服务机器人图像分割技术。通过引入知识语义,对服务机器人图像分割技术进行迁移学习。使服务机器人在固定场景下学习的图像分割模型能够应用于其他场景中,并取得较好的分割效果。

    ...
  • 排序方式:
  • 1
  • /