实验教学环境中多模态交互方法研究
项目来源
国（略）研（略）(（略）D（略）
项目主持人
潘（略）
项目受资助机构
杭（略）大（略）
项目编号
2（略）Y（略）0（略）0（略）
立项年度
2（略）
立项时间
未（略）
研究期限
未（略） （略）
项目级别
国（略）
受资助金额
4（略）0（略）
学科
云（略）大（略）
学科代码
未（略）
基金类别
“云（略）大（略）”重点专项
关键词
手（略） （略）音（略）;（略）交（略） （略）互（略）G（略）u（略）i（略）r（略）i（略）;（略）i（略）i（略）r（略）i（略）;（略）p（略） （略）e（略）t（略） （略）e（略）n（略）a（略）o（略）
参与者
冯（略）杨（略）冯（略）过（略）
参与机构
济（略）；（略）工（略）南（略）
项目标书摘要：面向（略）计手势、语音、触觉（略）型隐式共存的人机界（略）从VR型、AR型和（略）sence型三个层（略）互方法、基本条件和（略）点包括:1)基于不（略）知，设计符合操作习（略）势识别算法与以人机（略）互模式，研究细微手（略）的鲁棒性与智能性;（略）等课程，整理典型实（略）研究适应中学生认知（略）实物交互套件(含实（略）形式发布;3)研究（略）述、混叠语音环境特（略）进行理解、模糊性和（略）实验的语音识别与笔（略）实验中触觉交互的不（略）互的共性表征，设计（略）心理认同的触觉交互（略）中触觉交互提供支撑（略）通道信息的有效联动（略）最终实现“教师干预（略）式交互”和“远程协（略）学实验课程的探究性（略）
Applicati（略）: This pa（略） a man-ma（略）face with（略）nteractio（略）estures,v（略）physical,（略）er multi-（略） models f（略）experimen（略）g scenari（略）g to diff（略）imental c（略）his paper（略）e new nat（略）ction met（略）condition（略）cal inter（略）ware and （略）ites,from（略）e,AR type（略） operatio（略）nce type.（略）include:1（略） the envi（略）ed on dif（略）ors,and d（略）new gestu（略）ion algor（略）conforms （略）nal habit（略）bustness,（略）dy the id（略）n method （略）estures t（略）he robust（略）telligenc（略）ction;2)F（略）ematics,s（略）istry,and（略）es,organi（略）ical inte（略）uirements（略） experime（略）,study th（略）interacti（略）es that a（略） cognitiv（略）istics of（略）ool stude（略）lish them（略）m of phys（略）ction kit（略） physical（略）n compone（略）respondin（略）esearch o（略）tured des（略） the expe（略）aching en（略）he extrac（略）cific sou（略） in the a（略）ch enviro（略）nderstand（略）raction i（略）he ambigu（略） inaccura（略）ion,and t（略）ecognitio（略）nteractio（略）y for vir（略）ments;4)A（略）different（略）s of tact（略）tions in （略）ments,ext（略）mmon repr（略） of tacti（略）ions,and （略）ile inter（略）ls and al（略）ich are s（略） students（略）al operat（略）r and psy（略）identity （略）support f（略）interacti（略）al experi（略）ealize ta（略）mation an（略） linkage （略）lti-chann（略）ion.Throu（略）arch of t（略）chnologie（略） goals of（略）terventio（略） guidance（略） interact（略）ote colla（略）ll be fin（略）ed,and th（略）nd autono（略）xperiment（略）in middle（略）ll be imp（略）
项目受资助省
浙（略）
1.实验教学环境中多模态交互方法研究年度报告(Research on Multimodal Interaction in Experimental Teaching Environment)
- 关键词：
- 多模态交互、手势交互、笔式交互、实物交互、Multimodal interaction、gesture interaction、pen interaction、physical interaction
- 潘志庚；冯志全；杨文珍；冯桂焕；袁庆曙；
- 《杭州师范大学；济南大学；浙江理工大学；南京大学；杭州师范大学；》
- 2019年
- 报告
本研究面向实验教学的各种场景，设计手势、语音、触觉、实物、笔式等多交互模型隐式共存的人机界面，更好地帮助师生提升中学实验教学内容的探究性和自主性。本年度构建了一个基于虚拟现实的虚拟化学实验温度感知平台，针对传统化学仿真实验难以感知温度这一缺陷，实现了化学仿真实验中的温度反馈，能让用户在做化学仿真实验时，感受到温度的变化，具有一定的创新和实际应用价值；整理典型手势交互工具集，研制手势交互模块基础件，支持智能性的手势交互；建立面向实验环境的实物交互件，及相应的软件开发接口，满足虚实融合开放式实验教学环境的需要；提出了自然的笔式交互模型，在不增加用户交互负担的基础上，构建了一套自然的笔交互核心基础件，实现对中学实验教学过程的“问题引导”,并鼓励学生深入开展“探究式学习”。 This project is designed for various scenarios of experimental teaching.It design human-computer interface with implicit coexistence of multiple interactive models such as gestures,speech,touch,physical objects,and pens,to better help teachers and students improve the inquiry and autonomy of experimental teaching content in middle schools.This year,a temperature-sensing platform for virtual chemistry experiments based on virtual reality was built.Aiming at the defect that traditional chemical simulation experiments are difficult to sense the temperature,temperature feedback in chemical simulation experiments has been implemented,allowing users to feel the temperature when doing chemical simulation experiments.The changes have certain innovation and practical application value;organize the typical gesture interaction toolset,develop the basic components of gesture interaction modules,and support intelligent gesture interaction;establish the physical interaction pieces for the experimental environment,and the corresponding software development interfaces to meet The need for an open experimental teaching environment with the integration of reality and reality;a natural pen interaction model is proposed,and a set of core elements for natural pen interaction is constructed without increasing the user interaction burden to achieve the"problem"of the middle school experimental teaching process Guidance"and encourage students to develop"inquiry learning."
...2.多模态交互方法研究(Research on multimodal interaction method)
- 关键词：
- 手势交互、语音交互、触觉交互、笔式交互、Gesture interaction、Voice interaction、Haptic interaction、Pen interaction
- 潘志庚；冯志全；杨文珍；冯桂焕；过洁；
- 《杭州师范大学；济南大学；浙江理工大学；南京大学；南京大学；》
- 2019年
- 报告
面向实验教学的各种场景，设计手势、语音、触觉、实物、笔式等多交互模型隐式共存的人机界面。针对不同实验条件，从VR型、AR型和远程操作Telepresence型三个层次入手，研究新型自然交互方法、基本条件和实物交互软硬件套件，重点包括:1)基于不同的传感器对环境进行感知，设计符合操作习惯的、具有鲁棒性新型手势识别算法与以人机对等互动为核心的新型交互模式，研究细微手势的识别方法，支持交互的鲁棒性与智能性;2)面向数、理、化、生等课程，整理典型实验场景的实物交互需求，研究适应中学生认知特点的实物交互原语，以实物交互套件(含实物交互件及相应SDK)形式发布;3)研究实验教学环境的结构化描述、混叠语音环境特定源信号提取、交互意图进行理解、模糊性和非精确性消除等面向虚拟实验的语音识别与笔交互技术;4)分析真实实验中触觉交互的不同表现形式，抽取触觉交互的共性表征，设计适合学生实验操作行为和心理认同的触觉交互模型和算法，为虚拟实验中触觉交互提供支撑，实现触觉信息与其它多通道信息的有效联动。通过上述技术的研究，最终实现“教师干预”、“问题引导”、“隐式交互”和“远程协作”等基本目标，提升中学实验课程的探究性和自主性。 This paper designs a man-machine interface with implicit interaction between gestures,voice,touch,physical,pen and other multi-interaction models for various experimental teaching scenarios.According to different experimental conditions,this paper studies the new natural interaction methods,basic conditions and physical interaction software and hardware suites,from the VR type,AR type and remote operation Telepresence type.Key points include:1)Perceiving the environment based on different sensors,and designing a new gesture recognition algorithm which conforms to operational habits and is robustness,we also study the identification method of subtle gestures to support the robustness and intelligence of interaction;2)For the mathematics,science,chemistry,and life courses,organize the physical interaction requirements of typical experimental scenes,study the physical interaction primitives that adapt to the cognitive characteristics of middle school students,and publish them in the form of physical interaction kits(including physical interaction components and corresponding SDKs);3)Research on the structured description of the experimental teaching environment,the extraction of specific source signals in the aliased speech environment,the understanding of interaction intentions,the ambiguity and the inaccuracy elimination,and the speech recognition and pen interaction technology for virtual experiments;4)Analyze the different expressions of tactile interactions in real experiments,extract the common representations of tactile interactions,and design tactile interaction models and algorithms,which are suitable for students'experimental operation behavior and psychological identity to provide support for tactile interaction in virtual experiments,and realize tactile information and Effective linkage of other multi-channel information.Through the research of the above technologies,the basic goals of“teacher intervention”,“problem guidance”,“implicit interaction”and“remote collaboration”will be finally realized,and the inquiry and autonomy of the experimental courses in middle schools will be improved.
...