REPORT

多様な個人の一人ひとりが『心地よい』と感じるコミュニケーションの姿とは

2025年2月27日

「みんなの脳世界2024～超多様～」では、ニューロダイバーシティ社会の実現に取り組むさまざまな企業・大学・研究機関の最先端の研究成果に触れることができます。東京大学先端科学技術研究センター稲見・門内研究室が取り組んでいるのは、VRゴーグルなどを使用せずに裸眼立体視ディスプレイを活用した非対称コミュニケーションです。通常のコミュニケーションでは，同じものを見たり聞いたりしていても全ての人が心地よくインタラクションできているとは限りません。多様性を持った人それぞれが、自分にとって心地よいコミュニケーションの形を実現できる技術とはどのようなものなのでしょうか。同研究室の助教齊藤寛人氏（▲写真1▲）と特任助教櫻田国治氏（▲写真2▲）に、「みんなの脳世界」展を推進するＢ Lab所長の石戸奈々子（▲写真7▲）がお聞きしました。

＜MEMBER＞
東京大学先端科学技術研究センター稲見・門内研究室
助教　齊藤寛人氏

東京大学先端科学技術研究センター稲見・門内研究室
特任助教　櫻田国治氏

＞＞　インタビュー動画も公開中！
https://youtu.be/gFPt1ogNWM8

（▲写真1・東京大学先端科学技術研究センター稲見・門内研究室　助教　齊藤寛人氏▲）

（▲写真2・東京大学先端科学技術研究センター稲見・門内研究室　特任助教　櫻田国治氏▲）

多様な感じ方をする多様な個人に適したコミュニケーション空間を非対称で作る

石戸：「東京大学先端科学技術研究センター稲見・門内研究室では『裸眼立体視ディスプレイを用いた非対称コミュニケーション』というテーマで出展をして頂きました。展示内容を含め、最新の研究内容についても教えてください」

櫻田氏：「まず、今回の展示で紹介する『非対象コミュニケーション』について説明します。社会には多様な個人が存在します。社会で生活している多様な個人は、ぞれぞれで心理的に心地よい状態も異なります。つまり、同じものを見たり感じたりしているときでも、心地よいと感じるかそうでないかは人それぞれで、その感じ方、心理的な状態に適したコミュニケーションがあるはずです。このように多様な感じ方をする多様な個人のそれぞれに適したコミュニケーション空間を非対称で作るといった試みをブースでは紹介します」

石戸：「個人に合わせた非対照的なコミュニケーションと聞くと素晴らしいと思う一方で、具体的なイメージが湧いてこない人もいると思います。もう少し詳しく教えていただけますか」

櫻田氏：「一般的に3次元空間を見るには、人の目のような両眼視差を利用して映像が立体的に見えるVRゴーグルを利用します。それに対し、今回は裸眼で立体的に見える両眼視差を利用したディスプレイを用います。裸眼で立体視ディスプレイを使うことで、VRのような没入感を保ちながら相手とは面と向かって話しをしているような状態を作ります。そして、自分がなりたい外観をしたアバターを作り、相手とコミュニケーションを取りますが、その際、相手の表情が読み取りにくいと感じる人なら相手のアバターの顔をもう少し笑って見えるようにする、逆に相手のアバターの表情をうるさく感じる人ならその表情を抑えるようにするといったことをします。相手は表情豊かに話していても、受け手側はその表情を抑えて受け取るというように非対称のコミュニケーションができるシステムを実装した裸眼立体視ディスプレイのプロトタイプを体験できるようにしました(▲写真３▲)」

(▲写真 3　裸眼立体視ディスプレイを用いた非対称コミュニケーションイメージ▲)

パラメーターで相手のアバターの表情を自分が心地よく感じるようにコントロール

石戸：「非常に興味深い展示内容です。2つのことをご説明いただきました。1つはアバターを使いながら『なりたい自分の身体』でコミュニケーションを取れるようにするということ。もう1つは、相手の表情の理解が難しい人のサポートをする仕組み、あるいは自分の表情に笑顔などを足すことで心情を伝えやすくする、いわばコミュニケーションを補助する仕組みについて説明をしていただきました。今回の展示では、これらが両方とも実装されているのですか」

櫻田氏：「今回は裸眼立体視ディスプレイでの1対1のコミュニケーションにはなりますが、それぞれのユーザーの状態をマッピングしたアバターでコミュニケーションをすることで、アバターの外観や表情をパラメーターでコントロールできるようにしています」

石戸：「例えば、日本語で話す人と英語を話す人が翻訳機を使うと自分たちに心地よい母国語でコミュニケーションが取れます。それと同じように、今回の展示では、自分に心地よいコミュニケーションをしていながらも、それぞれに翻訳されて伝わることで、自分らしくコミュニケーションしながらもきちんと伝わっているという理想的な状況が生み出されると思います。ただ、その理想的な状態をどうやって実現しているのかが気になるところです。

例えば、自分の心情を伝えるのが苦手な人が、その心情をどのように補完して相手に伝え、相手もどのように理解するのか、伝える側も理解する側も双方に、どのような仕組みが働いているのでしょうか」

櫻田氏：「今回のプロトタイプでは、ユーザーがパラメーターを操作することで外観や表情の変化をコントロールできる設定にしています。『こうするとコミュニケーションが良くなる』というシーケンスは組んでいません。ユーザーがパラメーターを変化させ、『どのような状態だと自分は目の前にいるアバターを介して、向こう側にいるユーザーとうまくコミュニケーションを取れるのか』を実際に体験していただきながら、その状態を自ら知っていただくところを中心に体験していただけたらと思っています」

石戸：「ユーザーが自分でパラメーターを操作するとは、例えば私が櫻田先生のアバターと対話する時に、『嬉しい気持ちだから笑顔を足してみよう』と操作をすることができ、より自分の心情を伝えることができるということですか」

櫻田氏：「自分側からの入力に加えて、相手側のアバターの表情を受け取る側だけで変えることもできます。自分が見えている相手のアバターが『もう少し落ち着いた表情だと話しやすいのに』と感じるのであれば、受け取る側だけで相手のアバターの表情を変えるような調節ができます。非対称に調整できるのです。それによって双方が自分のやりやすいコミュニケーション空間を作れるように設計しています」

石戸：「嬉しい気持ちを過度に誇張して伝えるような操作をする事例を出しましたが、逆に櫻田先生がそれを受け取るときに表情がオーバーすぎて心地よくないと思ったら表情を抑えられるということですか」

櫻田氏：「自分で相手のアバターの表情を自分が汲み取りやすい表情の動かし方に調整できる、そんな形で今回は実装しています」

石戸：「パラメーターは具体的にどのようなものでしょうか」

櫻田氏：「事前に私たちで『もう少し楽しくなるような』表情の成分や悲しい表情になるようなパラメーターを用意しています。どういった場面で使うのかはユーザー側に委ねられますが、スライダーを動かして操作できるようにしています」

石戸：「今回、アバターを用いた展示は初めてとのことですので、コミュニケーションの変容、コミュニケーションのしやすさの変化を初めて検証できることになりますね」櫻田氏：「ただし、今は体験してもらい、フィードバックを得て、どのように設計方針を固めていくかという段階です。体験していただいた中で『このような機能があったらいい』、『このようにすると、いつもより相手とうまくコミュニケーションができた』というような声が聞けると、それをフィードバックしてシステムに取り入れていけると思います」

(▲写真4　「みんなの脳世界2024」での展示風景▲)

人それぞれが『最も心地よい』コミュニケーションの形を実現できるように

石戸：「櫻田先生、斎藤先生の研究室では、心地よいコミュニケーションを翻訳していくことを研究のトピックとして掲げていらっしゃいます。今回の展示は、その中でも新しい取り組みだと思いますが、これまでの研究についてもお聞かせください」

斎藤氏：「我々の研究室では、これまで主に身体に関しての研究を行ってきました。身体情報学研究室という名称の通り、身体や身体運動に対して介入・拡張することを研究してきました。例えば、綱引きをしている人の力を、その人の後ろからアクチュエーターで操作するといった研究もしました。対戦している2人には、どのようにアシストされているのかが分からないように、後ろからうまく調整するのです。それによって、力の強い人と弱い人でも接戦となり、白熱した戦いができるような研究を手がけてきました(▲写真5▲)。

多様性という側面では、男性対女性、1人対2人、子供対大人など普段は本気で試合をしたら力の差が出てしまうようなシチュエーションでも、お互いに機械によって操作されていることをあまり意識せずに本気で戦い合えるようになります。

そういったコミュニケーションができると、これまで対等にコミュニケーションが取れなかった人同士でも自分にとって心地よい状態で相手とインタラクションできます。コミュニティが異なる人たちとのコミュニケーションも生まれ、自分で主体性を持って、モチベーションが高い状態でコミュニケーションが取れることが分かってきました。人と人との間のギャップをうまく調整してあげて、それをつなげるようなインラクションを作ることで、これまでコミュニケーションできなかった人同士のコミュニケーションがスムーズにできる状態を作れるのではないか、そう考えて今回は心への介入、対話の間を翻訳するというアプローチで進めています」

石戸：「綱引きのお話は非常に興味深いですね。平等か公平かという議論がありますが、公平な状態に持っていき、それぞれがそれを意識せずに本気で戦える環境を整備する。それによって自己効力感が高まる効果もあると思います。研究の効果測定としてどこに評価軸を設定しているのですか」

斎藤氏：「自己効力感と楽しかった点を評価しています。そのほか、我々が大事にしているのは、アクチュエーターなどの機械の存在をできるだけ意識させないことです。機械がアシストしていることが明示的に分かってしまうと、自分でやっている感覚が失われていってしまうので、どこまで機械のアシストを意識したかを評価軸として考えています。その他には、単純にコミュニケーションがどのくらい活発になったのかも評価軸としています」

石戸：「自己効力感を高める際、『自分でできた』という感覚をサポートすることが大事だと思います。それができると学習スピードも向上していくだろうと期待します。今回の展示でも心地よいコミュニケーションの実現とあわせて、コミュニケーションが増えることが実証されることも望んでいらっしゃるのでしょうか」

斎藤氏：「会話が増えることもそうですが、それだけではなく、今回は多様性にフォーカスをしています。表情やノンバーバル（非言語コミュニケーション）な情報が多いほうがスムーズにコミュニケーションできる人と少ない方が良い人とがいて、例えば自分が表情を作るのが苦手なら、それを機械がアシストしてくれることで相手には表情豊かに伝わり、無愛想だと思われないような、誤解のない会話が実現できるようになります。逆に、相手の表情を読むのが苦手な人たちは、さまざまな表情が会話に入ってくると、それらをノイズと感じ、コミュニケーションがうまくいきません。そういった人たちには、相手の表情を見ないでも済むようなシンプルな表現で、大事な表情だけを残してノイズとなるような表情はできるだけ減らしてあげるような編集ができると良いと考えています。つまり、コミュニケーションにとって大事な文脈は残しつつ、自分にとって心理的に圧迫になるような情報は減らし、心理的な安全性を担保したうえでコミュニケーションが取れる状態にすることを目指しているのです」

石戸：「コミュニケーションの難しさに対してのアプローチ方法として非常に大きな可能性を感じます。企業や学校の中にこの技術が浸透し、これまでコミュニケーション齟齬が起きやすかったところが改善され、より円滑な共創が生まれるような環境になっていったら素敵です。研究室にはさまざまな技術があると思いますが、これまでの研究の中で、他にニューロダイバーシティ社会の実現に役に立つのではないかと思われる事例はありますか」

斎藤氏：「我々の研究室では特に感覚や運動の共有をメインに研究していますので、人の視界を他の人と視界を共有しながら1つのものを見ることや、他の場所にいる人と視界を共有しながら活動することで知覚を共有・拡張し、新しいコミュニケーションの形が生まれないかという研究もしています。

今回、展示を見送ったものでは、1つの空間である人と自分とが同じものを見ている時、ある人の視点と自分の視点を交互に切り替えながら活動すると、コミュニケーションがどう変わるのかを明らかにする研究があります。『あの人は、これをこう見ていたんだ』とわかることで、そこにいる人同士の新しいコミュニケーションが生まれることを目指した研究です。相手の視点を知ること、感じることで多様なものの見方、世界の見方を実現できないかという研究です」

石戸：「非常に興味深いです。同じ空間にいて同じものを見ていると思っていても、まったく違うものを見ていることもありますし、錯視のように同じもの見ていてもまったく違うものをイメージしていることもあります。他の人が自分と同じ空間にいながらどういうものを見ているのか、お互いチェンジできることは非常に面白いですね。その研究では、他で被験者を集めて検証をされているのですか」

斎藤氏：「何度かインスタレーションという形で展示をしながら、そこで得られたフィードバックを解析して質的な評価をしながら、学会で発表する準備をしている段階です」

石戸：「視点を共有した時に行動変容や心理的な変化を示すデータも出ているのでしょうか」

櫻田氏：「現段階では質的な評価ですが、まずは人と人が視点を共有することに対して、どのような感覚を持ったのかを評価しています。また、VRゴーグルをかけてダイナミックに視点が切り替わるとVR酔いのような現象が起きることが多いのですが、同じものを見るというルールの中で視点を切り替えるとある程度、VR酔いが軽減されるようです。『人の視点が、どんどん入ってきても比較的自然に自分の体験として見ることができた』というフィードバックがありました。ある程度、機械の存在感を薄める設計としてもうまく効いていていることが分かっています」

石戸：「そうした研究成果が日常生活の中に取り入れられるようになると、多様な視点で世の中を見ることができるような気がして、楽しみです。最後にニューロダイバーシティ社会実現に向けての想いや今後の研究の抱負をお聞かせください」

櫻田氏：「我々は、ユーザーのダイバーシティをきちんと考慮して、それぞれの人が考える『自分にとって最も心地よい』コミュニケーションの形を大切にしています。全員を一定ラインに並べて同じものを共有するというのではなく、今回の展示のように『非対称ではあるが、それぞれの心理状態や特性を汲み取ったインタラクション、あるいはインターフェースを実現していけたらと考えています」

斎藤氏：「平等と公平は大事ですが、平等、つまり全ての人にとって同じルールの社会ですと『誰かが誰かに合わせる』ことが必要でしょう。そうした場合、合わせければいけない立場となるのは、おもにマイノリティと呼ばれる社会的に人数の少ない人たちです。マイノリティが多数派のマジョリティに合わせることが起きてしまうのです。そうした時に我々が研究しているテクノロジーを活用することで、誰もが自分にとって心地よい形で公平な状態を作れないか、そのことを目指して研究に取り組んでいます。

一方、このような支援をすることで、それが誰かに対しては負荷になってしまう、そういったトレードオフの関係についても配慮し、社会の支援制度としてテクノロジーが平等なものとして認知されるようにしなければいけません。それも我々の研究テーマです。さらに、我々の研究は人の心にアプローチするという意味で、人の内面や倫理的な側面に深くかかわります。慎重に研究をして進めていきたいと考えています」

石戸：「物理的なものは制約条件があり、どうしてもマジョリティに合わせる形で作られています。一方で、デジタル技術を使うと個別最適化された空間のデザインが可能となるからこそ、それぞれが心地よいコミュニケーションが取れるしくみが出てきて欲しいと思います。一方で、それが社会に入った時に起こりうるトラブルについても考えておかなければならないと思います。私たちも社会実装するところに重点を置いた活動をしていますので、皆さんの研究成果を社会に出していくところでご一緒できたらと思います。本日はどうもありがとうございました」