딥러닝을 통한 대규모 콘텐츠 비디오 이해
项目来源
项目主持人
项目受资助机构
项目编号
财政年度
立项时间
研究期限
项目级别
受资助金额
学科
学科代码
基金类别
关键词
参与者
参与机构
최근 범람하는『대규모 콘텐츠 비디오』를 어떻게 하면 딥 뉴럴 네트워크 모델이 잘 이해할 수 있을지에 대해서 심도 있게 고찰하고,다양성,범용성 그리고 높은 적응성을 가지는 딥 뉴럴 네트워크의 학습 방법 제시를 목표로 한다.
본 연구 과제의 1차년도에는 콘텐츠 비디오를 이해하기 위해 여러 종류의 pretext task를 동시에 사용하는 multi-task learning에 대해서 다룬다.Multi-task learning에 의해 학습된 딥러닝 기반 feature extractor는 입력 비디오 클립으로부터 단순 물체의 움직임보다 더 다양한 종류의 정보를 추출할 수 있다.또한 feature extractor가 특정 데이터에 치우쳐져서 학습되지 않는 범용성을 지니게 만들기 위해선 task의 다양성뿐만 아니라 학습에 사용되는 비디오의 절대적인 양도 중요하다.따라서 본 연구에서는 비디오만 있으면 딥러닝 네트워크를 학습 시킬 수 있는 self-supervised learning에 대해서도 다룬다.정리하면 1차년도 과제에서는 self-supervision 그리고 multi-task를 이용하여 다양한 특성을 추출할 수 있으면서 대규모 데이터에 범용성 있는 feature extractor를 학습시키는 것을 목표로 한다.1차년도의 multiple self-supervision task들을 이용하여 네트워크를 학습시킬 때,각 task별 loss function들은 동등하게 합산 되거나,중요도 혹은 안정성에 따른 가중 합산되게 된다.이는 모든 task들을 평균적으로 잘 풀도록 학습이 되거나 중요도 혹은 안정성이 높은 task를 더 잘 풀도록 학습을 하게 된다.하지만 pretext task들을 이용해서 feature extractor의 parameters를 학습시키는 가장 중요한 목적은 실제 상황에서 target task에 feature extractor를 최적의 상태로 활용하는 것이다.따라서 본 연구 과제의 2차년도에는 meta-learning 기술을 적용하여 multiple pretext task들에 의해 학습된 feature extractor가 어느 target task에도 빠르게 adaptation 시키는 방법에 대한 연구에 대해 다룬다.이러한 연구결과를 통틀어서 1년차에는 Kinetics보다 상대적으로 규모가 작은 데이터 셋인 UCF101 및 HMDB에서 action recognition accuracy를 측정함으로써 제안한 방법의 효용성을 보일 예정이다.2년차에는 SumMe 및 TVsum 데이터 셋을 이용해 key-frame selection 성능을,DAVIS dataset을 이용해 video object segmentation 성능을 측정하여 제안된 방법의 범용성을 다시금 검증할 것이다.또한 meta-learning 의 효과를 검증하기 위해,pretext task들에 의해 학습된 네트워크 파리미터들이 target task에 adaptation되는 데 걸리는 시간 혹은 gradient update iteration의 수를 측정할 것이다.
최근 유튜브와 넷플릭스와 같은 동영상 플랫폼이 대중화되면서 콘텐츠 비디오를 어떻게 이해/분석하고 활용해야하는가에 대해서 많은 학교,연구소,그리고 기업들이 고민하고 있다.본 연구의 결과는 이러한 고민을 해결하는데 실마리를 제공할 수 있을 것으로 기대한다.또한 본 연구는 그 결과물의 범용성과 높은 적응력에 의해 비디오 연구에 중심적인 연구로 자리매김할 것으로 생각한다.비디오 응용분야 뿐만 아니라 self-supervised learning 및 meta-learning과 같은 학습 기법에 대한 내용을 고루 포함하고 있어서 폭 넓은 분야의 후속 연구들에 영향을 줄 수 있다고 생각한다.