项目标书摘要：まず、非言語機能コーパスの構築のテーマに関して、当初計画以上の6組を対象として、各組について、計画した対話収録を実施することができた。参加者として、20代から30代の大学生から社会人まで多様な背景をもつ成人男女を一般より募り、初対面同士の対話グループを構成することができた。対話のタスクとしては、夫婦別姓の是非など様々な二律背反な議題についての合意形成とし、合意に至る対話の過程を詳細に記録することができた。また、併せて発話区間毎の対話者本人の共感・反感スコアを取得し、対話のダイナミクスを理解するための重要な基礎データを得ることが出来た。その後、非言語機能のアノテーション作業においても、計画どおり、3名の外部評定者を雇用することができ、2025年9月末を目処として評定作業を進めているところである。これまで発話書き起こしや視線方向などの基本的なラベル、及び、頭部運動機能に関するラベル付けまで終了し、以後、顔表情、視線、相槌の各機能のラベル付け作業が進行中である。また、非言語機能スペクトラム解析のテーマについても、当初の計画どおり、既存の小規模コーパスを用いた事前検討により、頭部運動と顔表情の相乗機能を分析するための方法(sFSA)を提案することができた。具体的には、非負値行列分解による相乗機能空間の構成、及び、畳み込みニューラルネット(CNN)を用いた、相乗機能スペクトラムの推定法の実装・評価まで進んでいる。また、個人の非言語機能から対話者間の相互作用上の機能へと分析の対象を拡大させるため、その初期検討として、話し手と話し手が話しかける相手(受け手)の間において、視線を介して生じる相互作用機能を分析するための方法(GI-FSA)を提案し、その有効性を確認することができた。以上のように本課題はおおむね順調に進展していると言える。まず、非言語機能コーパスの構築のテーマに関して、対話実験を実施し、非言語機能の評定作業を開始した。対話実験は、男女混合4人を一組とした6グループを対象として、各グループにて対面2セッション、遠隔2セッションの合意形成型対話を実施し、その様子を映像にて記録した。各セッションの長さは約10分であり、合計約240分の対話データを取得した。各セッション後には、直前の対話における各々の発話区間について、対話者本人によって共感・反感のスコアのラベル付けが行われた。これにより本人感情が細かい時間粒度で付与された他に類を見ないデータが得られた。加えて、対話実験後、外部評定者3名により、対話中に生じた非言語行動の機能に関するアノテーション作業を開始した。また、非言語機能スペクトラム解析のテーマについては、まず対話中の個人の頭部運動と顔表情が連携して発揮する相乗機能を明らかにするため、相乗機能スペクトラム解析法(sFSA:synergistic functional spectrum analysis)を開発し、その方法の提案を行った論文が、トップジャーナル(IEEE Transactions on Affective Computing)に採録された。また、対話中の話し手と聞き手との間にて生じる視線行動を通じて生じる相互作用上の機能を分析するための方法として、視線相互作用スペクトラム解析法(GI-FSA:gaze interactional functional spectrum analysis)を考案し、国際会議Int.Conf.Multimodal Interacction'24(ICMI'24)にて発表した。これらにより非言語機能スペクトラム解析の基本概念の提案、及び、その有効性の確認がなされ、今後の発展の基盤を構築することができた。非言語機能コーパスの構築のテーマに関して、2年目となる2025年度は、前年度中盤より開始した非言語機能の評定作業を完了させ、非言語機能コーパスの完成を目指す。予定期日内での完了のため、頻出する機能を取捨選択することで、評定に要する稼働を削減することも検討する。また、当初計画を超えて、談話行為などの言語面での評定も併せて検討する予定である。非言語機能スペクトラム解析のテーマについても、前年度に提案した個人の2モダリティのsFSA、及び、2者間の1モダリティのGI-FSAを発展させて、複数人対話において3モダリティ(頭部、顔、視線)を介して生じる相互作用上の機能を分析できる方法を開発する予定である。これにより当初計画の目標に到達することが可能となる。さらに前述の非言語機能スペクトラム解析法が主に機能の多重性の解明に焦点を当てた分析法であったのに対して、もう一つの非言語行動の側面である、「機能解釈の曖昧性」の解明にも取り組む予定である。そのアプローチとして、これは複数の外部観察者の知覚傾向の一致性・不一致性を陽に捉えるため、非言語機能スペクトラムの分解の枠組みにおいて、従来の機能の多重性を表す基底ベクトルに加えて、知覚傾向の一致・不一致を表す基底ベクトルを新たに導入し、テンソル因子分解によりこれらの基底を求めるというアプローチが有望であると考えている。このような新たな非言語機能スペクトラムの因子分解により、従来法では、渾然一体としていた機能多重性と解釈曖昧性を分離して分析することが可能となり、対話者の非言語行動の機能的側面がより深く理解できる考えられる。この分析法は、さらに内面感情の予測のテーマの実施において、有用な基盤技術となることが目される。Reason:まず、非言語機能コーパスの構築のテーマに関して、当初計画以上の6組を対象として、各組について、計画した対話収録を実施することができた。参加者として、20代から30代の大学生から社会人まで多様な背景をもつ成人男女を一般より募り、初対面同士の対話グループを構成することができた。対話のタスクとしては、夫婦別姓の是非など様々な二律背反な議題についての合意形成とし、合意に至る対話の過程を詳細に記録することができた。また、併せて発話区間毎の対話者本人の共感・反感スコアを取得し、対話のダイナミクスを理解するための重要な基礎データを得ることが出来た。その後、非言語機能のアノテーション作業においても、計画どおり、3名の外部評定者を雇用することができ、2025年9月末を目処として評定作業を進めているところである。これまで発話書き起こしや視線方向などの基本的なラベル、及び、頭部運動機能に関するラベル付けまで終了し、以後、顔表情、視線、相槌の各機能のラベル付け作業が進行中である。また、非言語機能スペクトラム解析のテーマについても、当初の計画どおり、既存の小規模コーパスを用いた事前検討により、頭部運動と顔表情の相乗機能を分析するための方法(sFSA)を提案することができた。具体的には、非負値行列分解による相乗機能空間の構成、及び、畳み込みニューラルネット(CNN)を用いた、相乗機能スペクトラムの推定法の実装・評価まで進んでいる。また、個人の非言語機能から対話者間の相互作用上の機能へと分析の対象を拡大させるため、その初期検討として、話し手と話し手が話しかける相手(受け手)の間において、視線を介して生じる相互作用機能を分析するための方法(GI-FSA)を提案し、その有効性を確認することができた。以上のように本課題はおおむね順調に進展していると言える。Outline of Research at the Start:人の対話における非言語行動の機能を解明するための分析法を構築する。非言語行動として、頭部運動、顔表情、視線、相槌に着目し、機能として、話し掛け、強調、反応確認、傾聴、思考、理解、同意等を対象とする。まず、対話収録を行い、機能のラベルを付与したコーパスを構築する。次に機能の分布強度を表す「機能スペクトラム」に対して、非負値行列分解等を用いたスペクトラム分解を行い、モダリティ間・機能間の関連性を表現する「相乗機能空間」を構成する。さらに頭部運動や顔表情などのデータより相乗機能空間上のスペクトラムを推定する深層学習モデルを構築し、更にその結果から対話者の内面感情の予測を行うモデルを構築・検証する。
