モバイルデバイスを持つユーザーが
「何をしているか」を判定する行動センシング技術
モバイルデバイスに搭載されている、加速度センサーやジャイロから得られる振動や動きなどの情報を使って、ユーザーの行動を判定する技術が、Activity Classifierです。加速度センサーは、重力方向感知や落下検出など、またジャイロは手振れ防止などの目的で、様々な機器に搭載されています。
これらのセンサーは、常にデバイスの振動をセンシングしている為、歩く、走るなどの振動成分・周波数の特徴量をパターン認識技術に判別する事により、デバイスを持っているユーザーが「何をしているか」行動を判定する事ができます。この技術を使用して、歩く、走る、座る、電車に乗る、バスに乗る、エレベーターに乗るなどの判定が可能です。
ポケット、かばんなどデバイスの装着位置が異なっても
正しい行動の認識を可能に。
ポケット、かばんなどデバイスの装着位置が異なっても正しい行動の認識を可能に。 またスマートフォンのようなデバイスの場合、シャツの胸ポケット、ズボンのポケット、カバンなどに入れたり、または手に持って歩く、ストラップに下げるなど様々な装着位置が考えられ、デバイスの向きや方向が一定ではありません。こういった様々な状況でも正しい行動の認識ができる事もこの技術の特徴です。 さらに、装着位置がちがう場合、装着位置ごとの歩行時のセンサー波形の特徴を分析することで、デバイスが胸ポケットにあるのか、カバンにあるのかといった判定をすることも可能です。 本技術は、ソニーコンピュータサイエンス研究所のBrian Clarksonとソニー株式会社の倉田 雅友 、村田 誠との共同研究から生まれました。 その後もソニー株式会社内で研究開発が続けられ、2014年に発売されたSmartBand及びXperiaのLifelogアプリケーションで実用化されています。 これらの技術により、その時の行動や状況に応じた情報を自動で提示する、自分の行動を自動的に正しく記録してブログやアバターで表現する、健康情報と結びつけて、普段の生活での運動をモニターする等、様々なアプリケーションが可能です。ウェラブル機器における中核技術として、更なる発展が期待されます。
A technology for classifying mobile users’ behaviors
Activity Classifier is designed to tell what mobile phone users are currently doing—and where. It functions by mobilizing information about their vibration and action, which is collected by accelerometers and gyrosensors. Accelerometers are incorporated into many devices--to detect the direction of gravity, or to protect a hard disk drive in the event of a fall. Gyrosensors are in lots of devices as well, for such purposes as image stabilizer functionality in cameras. Notably, these sensors can tell what the user of the device is doing by recognizing component/frequency analysis of vibrations generated by such activities as walking, running, sitting down, getting on a train, or taking an elevator.
Devices like smartphones are normally kept in pockets and bags.
Some users carry their smartphones in their hands or hang them around their necks. Any of these approaches is fine. Activity Classifier does not quarrel with the device’s position or direction. Activity Classifier has the unique ability to deduce where the device is located – say, in a pocket or a bag -- by analyzing the sensor waveforms during walking for each device position.
Activity Classifier stemmed from joint research by Brian Clarkson of Sony CSL, and Masatomo Kurata and Makoto Murata, both of Sony Corp. After first proposed, the technology continued to be upgraded, and went into practical use in 2014 as the Lifelog application for SmartBand and Xperia. All of these accomplishments will eventually broaden Activity Classifier’s applications. For example, users will be provided automatically with information that matches their behavior and surroundings. They also will be able to share their actions through blogs or avatars, or be able to regularly monitor athletic workouts. Expectations are high for Activity Classifier to develop further as a key technology in wearable equipment.