• 高等研ライブラリー
  • 高等研報告書
  • アーカイブ
  • 寄付

第22回 けいはんな「エジソンの会」

開催概要

マルチモーダル・クロスモーダル 人の五感情報の統合~相互作用の仕組みと応用について~

講師
  • 安藤 広志
    情報通信研究機構(NICT)脳情報通信融合研究センター(CiNet)脳機能解析研究室副室長
  • 鳴海 拓志
    東京大学大学院 情報理工学系研究科 知能機械情報学専攻講師
開催日時 2018年6月26日(火)13:30~ 19:30
開催場所 公益財団法人 国際高等研究所
住所 〒619-0225 京都府木津川市木津川台9丁目3番地
概要 私たちは、日常生活において、視覚、聴覚、触覚、嗅覚、味覚と言った五感の感覚器官を通して、外の世界を認識しています。例えば、食事をする時に味覚と嗅覚と視覚を使っていますが、五感の内、複数の感覚を用いて対象を認識しようとすることをマルチモーダルな情報処理といいます。
また、ある感覚の情報から他の感覚の情報を補完して認知、解釈することをクロスモーダルな情報処理といいます。感覚同士の結びつきを脳が覚えると、その経験を引き出してきて違う感覚を補完する、例えば味覚より視覚の情報を優先することが知られています。
これまでマン・マシン・インターフェースにおいて、コンピュータと人間の対話はディスプレイとキーボードのようなプリミティブなツールによって行われてきましたが、人間の認知メカニズムを明らかにし、人間の持つマルチモーダルやクロスモーダルな特性を理解して、機械と人間のコミュニケーションを違和感なく、自然に、円滑に、且つ快適で心地良くすることで、どのような可能性が拓けるのでしょうか。
第22回会合では、NICTで超臨場感研究プロジェクトを牽引し、認知脳科学、計算神経科学、多感覚情報処理、多感覚インターフェースの研究に従事しておられる安藤広志先生より、人の多感覚情報からの相互作用の仕組みと社会への応用についてお話をいただきます。また、鳴海拓志先生には、バーチャルリアリティや拡張現実感の技術と認知科学・心理学の知見を融合し、五感に働きかけることで人間の行動や認知,能力を変化させる人間拡張技術等の研究とその可能性についてお話をいただきます。

人の認知メカニズムの研究とそれらを利用した様々な分野への応用の可能性に触れて頂くことにより、人と機械との連携で産業や社会を如何に革新していくのか、分野を超えた研究者・技術者、企業の様々な立場の皆様にも大いに参考にしていただけるものと期待しています。
配布資料
講師:鳴海 拓志 「感覚間の相互作用を利用したバーチャルリアリティの技術とその可能性」
PDF [3 MB]
共催、後援、協力 【後 援】 国立研究開発法人理化学研究所

タイムテーブル

13:00
受付開始
13:30~14:50
「人の多感覚情報処理・感覚間相互作用の仕組みとその応用」安藤 広志 情報通信研究機構(NICT)脳情報通信融合研究センター(CiNet)脳機能解析研究室副室長
15:00~16:20
「感覚間の相互作用を利用したバーチャルリアリティの技術とその可能性」鳴海 拓志 東京大学大学院 情報理工学系研究科 知能機械情報学専攻講師
16:30-17:50 
インタラクティブ・セッションご登壇者(安藤広志先生、鳴海拓志先生)
上田 修功 「エジソンの会」スーパーバイザー
*インタラクティブ・セッションでは講師の対談に加えて、参加者からの質問やコメントも加えたインタラクティブな場とします
18:00-19:30 
懇親会
主催者による記録・広報等のため、本イベントの写真撮影・録画・録音、オンライン配信、ソーシャルメディア配信等を行う場合がございますので、予めご了承ください。

当日の様子

けいはんな「エジソンの会」第22回会合は、「マルチモーダル・クロスモーダル 人の五感情報の統合 ~相互作用の仕組みと応用について~ 」というテーマで開催致しました。
 人の五感の研究は脳の機能と密接につながっており、五感から得た情報に基づいて我々の脳はバーチャルな空間を作り出し、それらを認知した上で様々な行動を行っている。今回の講演では、多感覚間の相互認知を通して、実現できるであろう社会の様々な可能性の深さと広がりを認識すると同時に、五感の操作によって現実の世界をいかようにもコントロールできることの怖さを実感しました。
今後、ますます人の五感についての研究が進んでいくことに、大きな期待を寄せるとともに、これらの研究を社会に更に役立てていくためには、倫理、社会、法等への影響や問題についても我々自身が十分準備して対処していかないといけないと感じさせられました。ご講演頂いた内容は下記の通りです。

「人の多感覚情報処理・感覚間相互作用の仕組みとその応用」

安藤 広志 情報通信研究機構(NICT)脳情報通信融合研究センター(CiNet) 脳機能解析研究室副室長

本日は多感覚情報をどうやって統合していくのか、人の感覚がどのように変わるのか、研究を通して分かってきていることをサイエンスの側面を中心にお話ししたい。
脳の認知機能を研究する人間科学と、AI、ロボティクス、センサ、VRに代表される情報通信技術の領域は密接に影響し合いながら発展しており、情報通信技術の発展が人間科学を進化させている。ヒトに関わるサイエンスとテクノロジーのループをしっかり回すことにより、この分野がさらに発展し、心豊かで活力ある社会の実現に貢献できると考えられる。
研究テーマとしては、多感覚認知メカニズムを解明し、多感覚情報技術の研究開発による技術応用を通して社会実証実験と産学官連携の推進を図っている。
臨場感は、空間、時間、身体の要素に五感の物理情報、内的なイメージ想起がトータルに作用して感じられるものであるが、現状の技術を超え、より物理的に忠実な臨場感と、物理世界を超える人の知覚認知特性を利用した臨場感の両面を実現することで、「超」臨場感を目指している。
映像、音響、感触、香りなどの異種感覚情報の統合に基づく、多感覚インタラクション技術の応用では、文化財・科学データ等のアーカイブ化・体験学習、医療訓練・手術シミュレータ、遠隔操作、五感ネットショッピングなどの社会展開を図っている。
感覚間相互作用はクロスモダリティと呼ばれ、その科学的検証・定量的分析と応用に当たっては、どのような異種感覚の間で相互作用が存在するのか、生起条件と特性、生起メカニズム、脳内メカニズム、機能的意味、技術応用を検証していくことが求められる。
「脳に錯覚を引き起こす装置」としてのVR体験がもたらす臨場感を脳活動から定量化することは可能か、自己運動感覚の脳内表現を探るため、広視野の3D映像をMRI環境下で提示できる装置を世界で初めて開発し、fMRI実験を実施した。その結果VR体験は自己と環境の関係把握に大きく寄与していることが分かった。これは将来VR体験が人に与える正負の効果を脳活動により定量的・客観的に数値化できる可能性を示している。
今後はNICTの多感覚認知グループのメンバーとともに、多感覚インタラクション技術に基づく異種感覚情報の統合と、クロスモダリティの心理物理解析・脳機能解析を行い、まだ解明されていない五感における様々な研究に取り組んで行きたい。

「感覚間の相互作用を利用したバーチャルリアリティの技術とその可能性」

鳴海 拓志 東京大学大学院情報理工学系研究科 知能機械情報学専攻講師

私の所属する東京大学の情報理工学系研究科は世界的にもVR研究のメッカであり、本日はVR(バーチャルリアリティ)でマルチモーダルやクロスモーダルをどう活用していくかについて詳しく紹介したい。
VRとは、物理的にはないけれども、感覚的には本物がそこにあるように感じられるものであり、本質的な部分だけを抽出して再現することにVR技術のポイントがある。
視覚と味覚のクロスモーダルでは、拡張現実感によって味が変化するクッキーや色によって味が変化するかき氷などに見られるように、視覚により味覚の変化が表れるが、ARで皿の大きさを変化させ、食品の見た目のサイズを変えることで得られる満腹感の違いを通し、インタラクティブな栄養摂取量調整を行うことも可能となる。 
これまでの古典的な感覚提示モデルでは、提示する刺激と受け取る感覚は1対1対応であると考えられていた。個別提示技術の実現については、多種の組み合わせによりシステムは複雑化し、コスト面、メンテナンス面、個人差などを考えると、社会における活用が非常に難しい。多感覚連関の研究により、実世界の物理特性と知覚された脳内世界の特性は必ずしも一致しないことが分かり、良く起こる感覚同士の結びつきを脳が覚えると、経験を引き出してきて、違う感覚の情報を補完するクロスモーダルな感覚提示が注目されている。  
聴覚は他の感覚のタイミング把握を上書きし、聴覚が視覚の解釈を変化させることが分かってきたことで、クロスモーダルの相補性により、クロスモーダルはどの感覚間でも起き、複数のモダリティに情報が提示された場合、より情報の精度の高いモダリティ情報が有効に利用されることが判明した。
クロスモーダルによる感覚の編集では、視覚中の体と自分が感じている体の動きとの間に不整合が生じた際に、視覚による情報が優勢となり、疑似的な触力覚が生じる錯覚が起こる。これによって、ある感覚を出して他の感覚を感じさせることが可能となり、多感覚情報を効率的に圧縮できる。また、単一の触対象から多様なバーチャル物体に触れたような触覚を提示することも可能であり、バーチャルな文化財に手を触れて操作する感覚の提示などデジタル展示ケースの提供も可能となる。
行動の編集については、ARによる拡張耐久の実験では物体の色の違いにより、主観的な疲れの印象や余剰な筋力発揮を左右することが分かった。
多感覚統合と身体の関係であるが、身体が占める個人内空間、手(身体)の届く範囲の身体近傍空間及び身体から離れた身体外空間のうち、身体近傍空間では、触れられそうなのを見るだけで体性感覚野が反応するなどクロスモーダル現象が起こりやすいことが分かってきた。身体空間の特性を利用して、四角形のテーブルを触れて歩いているのに、三角形・五角形のように感じたり、視触覚相互作用による無限階段を作り出すことも可能となっている。
身体と自己の編集では、身体拡張が可能な範囲を探っており、視覚だけでなく触覚との同期刺激によって身体と感じられる範囲を拡張することも可能となっている。拡張身体と心の関係においては、身体が心や認知能力にどのような影響を与えるかが研究され始めている。 
ゴーストエンジニアリングと呼ばれる分野では、VRで自分の身体を変えることで、自らの心的状態や認知を適切に変化させることを支援し、心と上手に付き合うための技術が構築できるようになる。自身の表情の疑似的な変化をフィードバックすることで表情変形(視覚)による情動の操作を行ったところ、快・不快情動やそれに基づく判断、行動に影響を与えることが分かってきた。コミュニケーションにおけるソーシャルタッチ(社会的行動としてのタッチ)は、利他的な行動を誘発し、承認率の上昇やストレスの低減を生むことも分かってきた。
五感は相互に影響し合っているので、クロスモーダル効果の影響を上手に利用すれば、提示の難しい感覚情報を自在に提示できる。人は感覚入力を基に行動や判断を決定しているので、クロスモーダルによる感覚提示は人の行動や判断を現実に変えることが可能であり、この力は個別の感覚・行動・体験だけではなく自己をデザインすることにも繋がる。薬に用法・用量があるように、現実を変える力をどう使うのかを議論する必要があり、そのためには、VRで何ができるか、何が起こるかを社会に示しながら、現実の編集におけるガイドラインを作っていきたい。

[インタラクティブ・セッション]

クロスモーダル技術とVRの可能性への期待、五感の相互認知とELSIに対する影響、VR経験と学習効果、五感情報の実験計画の手法と信頼性、身体内部の心の状態の研究、人間の特性と本質、社会実装の促進要因、チャレンジする社会の形成と人材育成など、非常に興味深く多岐にわたる意見交換がなされました。

最新に戻る