発話スタイルを考慮した音声駆動型3Dアバターの顔動作生成法の確立

项目来源

日本学术振兴会基金(JSPS)

项目主持人

顧淳祉

项目受资助机构

豊橋技術科学大学

项目编号

25K21364

立项年度

2025

立项时间

未公开

研究期限

未知 / 未知

项目级别

国家级

受资助金额

4810000.00日元

学科

エンタテインメントおよびゲーム情報学関連

学科代码

未公开

基金类别

若手研究

关键词

顔動作生成;視聴覚学習;機械学習;

参与者

未公开

参与机构

豊橋技術科学大学,工学(系)研究科(研究院);

项目标书摘要:Outline of · · · Start:人間の顔の動作メカニズムを解明し、3Dメタバースなどの仮想空間において、発話音声に適した顔動作をアバターに付与することは、多くの場面で高い応用価値を持つ。しかし、既存手法は同じ音声に対して、スタイル情報などの確率的要因を考慮せず、1種類の発話動作しか生成できないため、表現力が低いと言える。本研究では、人物間の異なる発話スタイルを正確に分離し、指定された発話スタイルに沿ったアバターの顔動作生成モデルを開発する。また、発話音声とのタイミングや意味の一致性を同時に考慮し、顔の各パーツと音声情報を統合的に分析することによって、表現力が豊富な顔動作生成システムの構築を目指す。

  • 排序方式:
  • 1
  • /
  • 1.Di···se···de···er···ea···ng···r ···ec···ri··· F···al···im···on

    • 关键词:
    • Codes; Facial animation; Faces; Three-dimensional displays; Stochasticprocesses; Predictive models; Lips; Training; Synchronization; Speechcoding; Diverse facial animation synthesis; audio-visual learning;facial part control
    • Gu···hu···i;···iy···, ···ge···Ho···, ···su··
    • 《IE···TR···AC···NS··· V···AL···TI···AN···OM···ER···AP···S》
    • 2025年
    • 31卷
    • 10期
    • 期刊

    Sp···h-···ve···ac··· a···at··· a··· t···yn···si···li···yn···on···d ···ta···ng···ce···ol···in···he···ve···pe··· s···al···ri···me···ds··· t··· t··· m···ly···cu···n ···su··· r···is···it···et···in···ic···st···, ··· c···ac···iz··· t···po···ti···y ···ch···ic···tu···of···ci···mo···ns···s ···n ···da···ra···y ···di··· W···e ···er···ve···de···g ···ro···es···n ···il···an··· t···on···o-···y ···pi···by···pe···dl···ra···g ···pl··· e···ri···a ···er···mo···co···ag···f ···us···e ···ia···ot···s ···sm···-s···e ···as··· r···in···ha···ng··· a···le···ex···re···In···is···ti···, ···pr···se···ed···in···ul···le···mp··· c···it···ed··· t···sa···au··· s···al···d ···n ···li···ly···co···gi···sa···e ···er···y ···ad···ss···ve··· f···al···im···on···nt···is···ur···re···si··· i···o ···de···r ···el··· e···or···he···pr···iv···ac··· l···nt···ac···it··· d···rs···-p···ot··· l··· s··· t··· t···de···ed···te···co··· f···di···si···at··· c···be···ea··· i···ti···d.··· t··· e··· b···di···up···th···ic···ac··· p···r ···rn···wi···ve···r-···nt···d ···ia···na···ut···nc···ng···ch···sm···ur···de···em···al···qu···es···lt···e ···ch···ic···de···hi···ca···e ···xi··· d···de···nt··· d···rs···et···au···le···t ···sp···h-···th··· f···al···ti···. ···fu···er···lo···or···nt··· o··· d···er··· f···al···rt···ur··· g···ra···n,···e ···po··· m···l ···de···ne···o ···di···di···re···fa···l ···ti··· o···nt···st··· a···qu···ia···an···, ··· c···os···he···o ···nt···ly···rm···ll···ce···ti···. ··· p···di···re···ze···ot···iv···e ··· c···ro···bl···ac··· a···at··· s···he··· i··· u···ie···or···at···. ···ex···im···al···de···st···e ···t ··· m···od···el···st···-o···he···t ···fo···nc···ot···ua···ta···el···nd···al···ti···y,···pe···ll···eg···in···am··· d···rs···.

    ...
  • 2.Me···-C···te···g ···am···Mu···-C···ne···as···g ··· T···-B···d ···eo···ni··

    • 关键词:
    • Dynamic positioning;Masks;Merging;Tuning;Channel masking;Image sequence;Moving objects;Multi channel;Multiple moving objects;Multiple objects;Object location;Object merging;Objects segmentation;Video quality
    • Gu···hu···i;···o,···e;···iy···, ···ge··
    • 《14···IE···Gl···l ···fe···ce··· C···um···El···ro···s,···CE···25》
    • 2025年
    • September 23, 2025 - September 26, 2025
    • Os···, ···an
    • 会议

    Te···to···de···T2···me···ds···ve···tn···ed···ns···ra··· s···es···si···di···si···ba··· t···-t···ma···(T··· g···ra···e ···ad···s.···re···ce···y,···es···od··· h··· a··· e···le···he···hi···me···of···e-···t ···eo···ni···wi···pr···ra···d ··· m···ls···es···e ··· f···ib···ty···ri···te···iq··· s···l ···ug··· t···an··· t···sc···ri···wi···mu···pl···ov··· o···ct···le···ng··· l··· c···is···t ···io···an···bj··· m···in···To···ti···e ···s ···ue···e ···po···to···ve···e ···ti···an··· m··· g···an···to···na···al···na···at···ra···wi···ob···t ···at···. ···ci···al··· w···er···m ···ec···eg···ta···n ··· e··· m···ng···je···in···e ···eo··· p···ar··· m···i-···nn···ma···im··· s···en··· B···nc···or···ng···ch···ma···se···nc···nt···he···os···tt···io···as···T2···if···io···ip···ne···he···am···is···oc···on··· m···ip···ob···ts···n ···ex···ci··· g···ed··· c···at···e ···de··· o···bj··· m···in···Ex···im···al···su··· s··· t··· o···ap···ac···mp···es···e ···eo···al··· a···re···sm···ai··· e···ti···T2···et···s.···20···IE···

    ...
  • 排序方式:
  • 1
  • /