機械学習とバイオフィードバックを組み合わせることで、技能のコツを転写し、習得を促進する訓練システムを開発しています。
生体情報から技能に関連する特徴量を抽出するアルゴリズムを開発し、その特徴量やエキスパートとの差異を視覚や触覚、力覚を通して学習者に伝えることで、演奏に関連する技能の最適化を促します。複数の筋肉や関節同士の協調の仕組みに着目し、適切に協調する方法を直感的に教示します（Coordination Skill Learning: CSL）。可視化にはCG技術を、触覚や力覚にはロボット工学の技術を利用し、特に外骨格ロボットを用いた技能転写に力を入れています。さらに、運動学習の原理・原則に則った最適な学習法の解明を通して、技能獲得を促進することを目指しています。
We are developing a machine-learning-based biofeedback system that can effectively transfer the sensorimotor skills of experts to leaners.
Using classification and regression algorithms, we extract features of particular skills, and then provide them visually and haptically with CG and robotics technologies. Our focus is on the coordinating structure of multiple joints and muscles (i.e. synergy), which is fed back to learners intuitively in a multi-modal manner (coordination skill learning: CSL). To achieve this, we are developing a hand exoskeleton and its control algorithm. Furthermore, based on sensorimotor learning principles of the nervous system, we aim to identify the optimal methods for acquisition of musical virtuosity.
