360度全周囲を撮影・伝送可能なシステム「JackIn Head」を活用した遠隔鑑賞実験

「JackIn」は、人間が他の人間や環境に没入し、その状況や体験を共有したり共同作業を行ったりする際のインタラクションの枠組みです。ヒューマンコンピュータインタラクションを専門とする副所長の暦本純一がW.ギブソンの小説 "Neuromancer"に登場する言葉を発展させ、2010年代前半より提唱しています。（https://www.sonycsl.co.jp/project/2350/）

JackInの特徴である「リアルタイムで他者とリンクし、コミュニケーションを行う体験」の価値の可能性を探り、さらに高めていくために、新たにソニーCSLで形成されたJackIn Headチームが三菱一号館美術館協力のもと、作品の鑑賞体験に関する実証実験を行いました。

実験概要

JackInとは

実験結果

実施概要

今回の実証実験では、美術鑑賞という体験を対象としました。一人で静かに鑑賞を行うことが多くなりがちな美術館という場所で、複数の鑑賞者が鑑賞者同士や現地の学芸員とコミュニケーションをとりながら鑑賞した際に新たな体験価値を創造できないか検証しました。

実際には12月中旬、丸の内にある三菱一号館美術館で開催された展覧会「ヴァロットンー黒と白」を京都から遠隔鑑賞する実証実験を行いました。実験には360度全周囲を撮影・伝送し、参加者同士でリアルタイムなコミュニケーションが取れる「JackIn Head」を使用しました。

日時：2022年12月19日（月）
参加者：芸術大学生15名　
プロジェクト体制：

企画制作：JackIn Head チーム
（ソニーコンピュータサイエンス研究所　Focal Point^＊103R4R）
コンテンツキュレーション：三菱一号館美術館

当日は15名の芸術大学生の方が数名ずつのグループに分かれ、ソニーコンピュータサイエンス研究所（ソニーCSL）京都研究室に集まりました。同時刻に東京の三菱一号館美術館で学芸員と共に展覧会を鑑賞している「JackIn Head」装着者から配信された360度全周囲映像を、被験者は好きなアングルで鑑賞しました。JackIn Headシステムの画面上では、装着者の視線だけなく、他の被験者の見ているアングルも表示されるため、同時に参加した他の被験者がどこを注視しているのかをリアルタイムで共有しました。学芸員からの解説を聞きながら、各自質問をしてコミュニケーションを取りながら1時間弱の遠隔ショートツアーを回りました。

三菱一号館美術館での配信の様子

遠隔鑑賞している実験参加者の様子（於：ソニーCSL京都）

JackIn Headとは

副所長の暦本純一が提唱したJackInコンセプトの下、"人へのテレプレゼンス"のための360度全周囲を撮影・伝送可能なウエアラブルカメラによる体験伝送システムとして「JackIn Head」のアイデアが生まれ、その後、研究員の笠原俊一に研究が引き継がれました。今回の実証実験では、そのJackIn Headを更に技術的に高解像度化、低遅延伝送にアップデートし、三菱地所株式会社のローカル5G環境＊を活用する形で、美術館の遠隔鑑賞を行う実証実験が実施されました。

実験結果

参加者からは「版画の紙の色が作品によって異なっているように見えたのですが、これは何か理由があるのでしょうか」、「いくつか見た中で、版画の雰囲気が異なるものがありましたが、これは作風が変わってきたのでしょうか」のような質問も出ており、細かなところまで遠隔鑑賞を学芸員へのリアルタイムでの質問を含めて楽しんでいた様子でした。

当日行ったアンケートからはこんな声もありました。

遠隔で美術館を巡れるという経験ができることは鑑賞の幅が広がり、これからの鑑賞体験の広がりを感じられてよいと思いました。
動画のように一方的でなく、見たい方向を見れる、一緒に見ている人がいるなどは面白かった。
自分が美術館に行き、個別で話を聞きながら鑑賞しているという感覚になり、想像以上に満足できました。
動画は一方的なものが多いし分からない部分は自分なりに調べていかないといけないですが、本日のようなギャラリーツアーでは質問することができ、疑問点を無くすことが出来ました。
美術館には自分の脚で行くものだと思っていたので、このような鑑賞方は利用したことがありませんでした。想像通りといえば想像通りだったが、実際体験してみて、良い点もあるのだと知ることができました。

今回の実験では、Jack Inの特徴であるリアルタイム性とコミュニケーション性とを高め実際に美術館に鑑賞をしに行くのとはまた異なる楽しみ方である遠隔鑑賞の可能性を感じられる結果が得られました。この実験を踏まえ、今後はJackIn Headをさらに高解像度化、低遅延伝送を強化し、より総合的に人間の能力や存在を拡張するための体験の場を広げていけるよう、JackIn Headチームはさらなる検証を重ねてまいります。

参考：2022年度「MUSEUM for All」活動報告／三菱地所株式会社のローカル５G環境を活用した実証実験（三菱一号館美術館ウェブサイト　ニュース）https://mimt.jp/blog/museum/12348/