项目来源

国家自然科学基金(NSFC)

项目主持人

蒋刚毅

项目受资助机构

宁波大学

项目编号

U1301257

立项年度

2013

立项时间

未公开

研究期限

未知 / 未知

项目级别

国家级

受资助金额

255.00万元

学科

联合基金领域-电子信息领域

学科代码

L-L05

基金类别

联合基金项目-重点支持项目-NSFC-广东联合基金

关键词

3D视频内容生成 ; 3D视觉舒适度 ; 裸眼3D显示 ; 3D视频的体验质量 ; 3D视频编码 ; 3D video coding ; 3D Video Content Generation ; Autostereoscopic Display ; 3D visual comfort ; 3D video QoE

参与者

安平；张永兵；邵枫；张磊；韩军；王晓东；冯妮娜；蒋志迪

参与机构

上海大学；清华大学深圳研究生院

项目标书摘要：高清3D裸眼视频系统能提供立体感、临场感等全新视觉体验，高质量3D内容生成、高效编码是其走向应用的关键。与单视点视频系统相比，高清3D裸眼视频系统存在3D节目观看时可能的视疲劳、3D内容匮乏与制作过程复杂、3D数据海量、整体系统用户3D视觉体验质量等问题。现有方法在3D内容采集与重建很少考虑裸眼3D显示的舒适性、3D视频编码失真的视觉感知，也很少考虑从3D系统体验质量来设计各个环节。.本项目从研究影响3D视觉舒适性、编码失真的感知特性、用户体验质量的因素出发，在设计主观感知实验、统计分析各因素影响的基础上，建立数学模型，并对3D舒适度、3D感知失真、3D视觉体验质量进行定量分析与客观描述；提出基于视觉舒适度模型约束的3D内容采集与重建、基于感知失真测度模型的高效3D视频编码、基于用户体验质量预测模型的3D系统设计等理论与方法，以获得最佳用户体验质量的3D内容、高效率的3D视频压缩。

Application Abstract: High definition 3D video systems with autostereoscopic display can provide new visual experiences such as stereoscopic perception,sense of immediacy,etc..High quality 3D content generation and high efficient coding are keys of applying the systems into applications.However,compared with mono-view video system,there are still very important problems to be solved,such as visual discomfort when watching 3D programs,lack of 3D contents,high complexity of 3D content generation and compression,huge amount of 3D data,user’s 3D visual quality of experience(QoE)for the whole system.So far,the exiting 3D content generation and reconstruction methods have seldom considered comfort degree of autostereoscopic display,visual perception degradation created by 3D video coding distortion,and user’s 3D visual QoE in designing each part of 3D system as well..In this project,the factors influencing 3D visual comfort,perception characteristics of coding distortion,and user’s 3D visual QoE will be investigated firstly,the corresponding mathematical models will be established by means of subjective perception experiments and statistical analysis of effectiveness of these facts so as to quantitatively describe 3D visual comfort degree,perception characteristics of coding distortion,and user's 3D visual QoE.Then,the theories and methods for 3D contents generation and reconstruction within the constraint of visual comfort model,high efficient 3D video coding based on perception distortion metric,and user’s QoE prediction model based 3D system design will be proposed to obtain 3D contents with the optimal user’s QoE(or visual comfort)and achieve high efficient performance of 3D video coding.

项目受资助省

浙江省

项目结题报告(全文)

高清3D裸眼视频系统利用人眼双目视觉感知特性形成立体感、临场感，让观众更真实直观地感受世界，是新一代视频技术的发展方向。本项目致力于求解用户视觉体验质量与3D内容生成、3D视频编码等科学问题。从研究影响3D内容失真与3D视觉舒适性的视觉感知特性要素出发，通过设计主观视觉感知实验、统计分析各因素影响，对3D视觉失真测度、视觉舒适度等3D视觉体验质量进行定量分析与描述，提出了基于人眼视觉感知特性的用户体验质量评价理论与方法，并应用于基于3D视觉舒适度评价约束的3D内容采集与重建、基于感知失真评价模型的高效3D视频编码、基于用户体验质量评价的3D视频系统集成等，为实现高质量3D内容生成、高效率3D视频编码、高性能3D视频系统设计等提供了可借鉴的理论与方法，形成了相关专利技术；构建了基于彩色+深度的实时双目3D视频原型系统、高逼真3D实时成像与显示系统等面向不同应用的3D视频原型系统。为实现高质量的3D内容生成及其高效编码压缩提供了相关理论与方法。本项目发表学术论文125篇，其中国际SCI期刊论文72篇,IEEE Transactions、Optical Express等顶尖期刊长文19篇；在本领域权威国际会议上发表论文41篇，出版学术著作1部。获授权发明专利35件(含授权美国发明专利4件)。部分成果获省部级科技奖3项(一、二、三等奖各1项)、参与获国家科技进步二等奖1项。项目组主要成员获国家自然科学基金优秀青年科学基金项目、浙江省自然科学基金杰出青年基金项目、“广东特支计划”科技创新青年拔尖人才项目等；共培养博士和硕士毕业生37名，建立了一支3D视频研究领域的优秀科研队伍。