メンバー：河村 和紀（学生研究員）、暦本 純一
本プロジェクトでは、対象の言語をどの程度うまく発話できるのかを判定するシステム、またそれを応用してユーザが所望の言語の発話スキルを高めることのできるプロセスの構築を目指しています。このプロジェクトは、もともと「東京の人が京言葉をまねてもすぐに見抜かれてしまう」という体験から始まり、AIを用いてこの体験を再現するという目的のもと、深層学習の技術を応用してユーザが発話した京言葉の発話スキルを評価するシステムを構築しました。(※1) また、この発話スキルを判定する技術の開発を進め、学習者の発話とネイティブスピーカーの発話の差異・距離を視覚的に提示することでインタラクティブにスピーキングの学習をおこなうことのできるシステムの構築にも取り組んでいます。(※2、3) 今後、AIによる技能判定や技能獲得支援の手法として、スピーキング技能だけでなく様々な技能への展開を検討しています。
発表論文：
- 1. Visualization of Speech Differences for Dialect Speech Training (CHI 2021 workshop)
- 2. A Language Acquisition Support System that Presents Differences and Distances from Model Speech (UIST 2022 Poster)
- 3. DDSupport: モデルとなる発音との差異・距離を提示する言語学習支援システム (INTERACTION 2022)
報道：
- 英語ネイティブとの発音の違いを深層学習で可視化 ソニーCSLが開発（ITmedia NEWS）