表情を「倍にする」と脳が共鳴する
「表情増幅アバター」が切り拓く
コミュニケーションの未来

B Labが主催する「ニューロダイバーシティプロジェクト」では、脳や神経の多様性を尊重し、誰もが自分らしく力を発揮できる社会の実現を目指しています。今回のニューロダイバーシティプロジェクト・インタビューシリーズでご紹介するのは2025年の「みんなの脳世界」に初めて出展された明治大学 理工学部 認知脳科学研究室 教授 嶋田 総太郎氏（▲写真1▲）の取り組みです。嶋田氏の研究室では、「笑う」「驚く」などの表情を増幅したアバターを活用することで、コミュニケーションがどう変わるのか、表情などの身体表現が共感や理解にどのように影響するかを脳メカニズムの視点で研究しています。「みんなの脳世界」での出展内容と日々の研究についてＢ Lab所長の石戸 奈々子（▲写真2▲）がお聞きしました。

＞＞　インタビュー動画も公開中！

「笑う」「驚く」などの表情を『倍にしてあげる』と
コミュニケーションはどう変わるのか

石戸：「嶋田先生には2025年に初めて『みんなの脳世界』に出展していただきました。『脳が共鳴する表情増幅アバター』という興味深い名称の展示でしたが、具体的にどのような展示だったのか、そしてこれまでの嶋田先生の研究内容についてお話を伺えますでしょうか」。

嶋田氏：「アバターを活用したコミュニケーションは今では珍しいことではなくなりつつあります。アバターに『入っている』人、つまり利用者にVRヘッドセットを被せると、その表情の変化をアバターに反映させることもできるようになっています。利用者が笑うとアバターも笑うのです。『みんなの脳世界』では、そこからさらに一歩進めて、笑う、驚くなどの表情をいわば『倍にしてあげる』とコミュニケーションがどう変わるのか、それを体験してもらいました。（▲写真3▲）

この展示のもととなった、私の研究室での実験について説明します。研究室では、バーチャル型CAのアバターとして表情が倍増するもの（Enhanced：200％）、利用者の表情そのままのもの（Normal：100％）、そもそも表情がまったく変化しないもの（None：０％）の3種類を用意しました。これらのアバターを使い、二人で協調しながら創造性課題に取り組んでもらいました。具体的には、例えば箸やコップなどを提示し、二人で相談しながらそれらの使い方をできるだけ数多く考え出してもらうといったことに取り組んでもらいました。

実験では、二人に創造性課題に取り組んでもらった後に、お互いに『社会的存在感』、相手の魅力『対人魅力』、バーチャルの世界での『身体的所有感』をどのくらい感じたかを調べました。すると、表情を加えたり、増幅したりしたアバターを使ったほうが、それぞれの値が高くなっていることが分かりました。つまり、相手の存在感を強く感じ、相手の魅力をより感じ、身体的所有感で示されるように自分自身の存在感をも強く感じるという結果となったのです。ここで、自分自身の存在感をも強く感じるようになるというのは、とても興味深いところです。

さらに、実験では参加した2人の脳活動も同時に計測しました。二者同時脳活動計測（ハイパースキャン）で、2人の脳活動がどれぐらい同期しているかを調べました。すると『右角回』（TPJ：Temporal-parietal junction）の領域の脳活動が、表情があることで強く同期することが分かりました。右角回は、社会性の認知と関係するとされる領野で、特に相手が何を考えているのかを想像し推論する社会的活動と深く関係していると考えられています。

この右角回が両者で同期するということは、お互いに相手の考えを深く理解しようとしているのではないかと考えられます。アバターに表情を加えることによって、コミュニケーションがより活発になるとともに、お互いのことをより深く理解しようとする脳活動が確認できたと考えています。

研究室での実験ではこうしたことが分かってきました。これらを踏まえ、『みんなの脳世界』では、アバターを使って2人でコミュニケーションをしてもらい、表情が増幅されるとどんな感じがするのかを体感していただきました」。

コミュニケーションが円滑に進み
脳が同期したときに「We-mode」が生まれる

石戸：「発達障がいと診断されている方の中には、ご自身の感情を表情として表出することが難しく、周囲から『表情が乏しい』と受け取られてしまう方もいらっしゃいます。こうした状況を踏まえ、嶋田先生の研究成果、なかでも表情を増幅するアバターを活用したシステムを活用することで、より円滑なコミュニケーションがとれる可能性があるのではないか。そのような考えから、『みんなの脳世界』へのご出展をお願いしました。そこであらためてお伺いします。嶋田先生が、表情を増幅させるアバターを活用した研究に取り組まれた背景には、どのような問題意識があったのでしょうか」。

嶋田氏：「私の専門分野では、『We-mode』という言葉があります。簡単に示すと2人以上で何かをしているときに味わう『みんなでやっている感』のことですね。『自分がやっている』というよりは『我々がやっている』という感覚です。このWe-modeがどうやって生まれるのか、どうやって醸成されるのかを知りたいと思ってさまざまな研究に取り組んできました。その過程で2人の脳活動が同期するとWe-modeが生まれてくること、We-modeが生まれると2人の脳活動が同期し始めるということが分かってきました。そこで、これをどうすればさらに促進できるのかを考えたとき、『コミュニケーションのときのお互いの表情が大切なのではないか』と思い至ったのです。

また、日本人は表情が控えめともされています。もうちょっと増幅してあげると、よりコミュニケーションが促進されるのではないかというアイデアもあって、やってみようかと取り組んだのが現在の研究です」。

石戸：「嶋田先生は『脳が同期する』とおっしゃいましたが、おかしな質問かもしれませんが、同期しやすい脳と同期しにくい脳はあるのでしょうか」。

嶋田氏：「それを直接調べる実験はしたことがありませんが、もしかしたらあるかもしれません。相手に合わせやすい人、合わせるのが苦手な人がいるかもしれませんね」。

石戸：「お話を伺っていて、とても興味深いと感じた点があります。これまでもコミュニケーション能力の重要性は繰り返し指摘されてきましたが、その定義は曖昧です。実際には、表情を豊かに作れる人や、その場の空気を素早く読み取れる人が『コミュ力が高い』と評価されがちだったように思います。

一方、嶋田先生の研究の中でWe-modeがどう生まれて醸成されるのかがもっと明確に分かってきたら、『こうすれば我々感を大きくできる』ということも明らかになり、それがコミュニケーション能力の新たな評価軸につながるかもしれないと感じました。嶋田先生の研究は、表情が豊か、空気を読めるといった従来のコミュニケーション能力の指標とされていたような前提を揺さぶることになるのでしょうか」。

嶋田氏：「そうした視点も興味深いですね。揺さぶることになるかどうかは分かりませんが、どうやったらWe-modeが形成されやすくなるかがもっと明確になれば、それを使うことでコミュニケーションが取りやすくなるかもしれません。ある種のコミュニケーションの補助ツールとしての役割を果たす可能性はあるかと思います」。

アバターに表情が付加・増幅されると
自分の存在感や自己効力感が高まる

石戸：「嶋田先生のご著書やWebで発信されているお考えなどを拝見していると、心や意識は最初からあるものではなく、身体や環境との関係性の中で立ち上がってくるものであると捉えていらっしゃると感じました。その理解は正しいですか」。

嶋田氏：「おっしゃる通りです」。

石戸：「ニューロダイバージェントと言われる方の中には、特定の感覚刺激や社会的な環境の中に置かれると、心や意識、意欲が立ち上がりにくくなってしまう人がいらっしゃいます。一般的にはその人個人の内的な特性と考えられがちですが、身体や環境との関係性によるところが大きいと理解できるのではないかと思いました。ニューロダイバーシティ視点では、『心が立ち上がりにくい人』ではなく、『心が立ち上がりにくい条件の中に置かれている人』と捉え直したほうが良いのではないか、そう捉え直すことでニューロダイバージェントの方々のお困りごとを嶋田先生の研究成果を含めてさまざまな技術でサポートできるのではないかと感じました。いかがでしょうか」。

嶋田氏：「とても面白い視点だと思います。お話を伺っていて思ったのは、まさに自分と世界、自分と他者との関わり合いの中で自己が創発してくるものだとすると、関わり合いをいかに促進するかに関係してくるのではないかということです。

さきほどお見せしたスライドに『身体所有感』とありましたが、要するにVRの世界のアバターに対して自分の身体であるような感覚が生まれてくるということです。この感覚がどうやって生まれてくるのかにも興味を持っていて、この実験でも参加者に聞いています。その結果、相手に表情が付加されることによって他者の存在感や魅力が高まると同時に、まさにその他者との関係性の中でアバターへの身体所有感、すなわち自分の存在感をも強く感じられるようになることがわかりました。自分と世界、自分と他者との関わり合いの中で自己感が出現してくることを、まさに示しているのだと思います」。

石戸：「表情を増幅するアバターでは、自分の表情が増幅されることで自分自身の存在感をも強く感じるようになるということですね。表情が一つ変わるだけで、相手にどう見られているかだけではなくて、自分がどういう人間なのかということも変わってくるとすると自己効力感の向上にもすごく大きく寄与すると思いました。どうでしょうか」。

嶋田氏：「素晴らしいご指摘ですね。自分が何かを話し、相手が表情を変えることで応えてくれるというのは、まさに自己効力感、コミュニケーションの効力感を高めてくれると思います。自分がしたことに対して相手が反応してくれることが自分自身の存在感を高めることにつながるのだと考えます。まさにおっしゃる通り、表情をエンハンスしてあげる技術によってその人の効力感、存在感を高める効果があるのではないかと思っています」。

石戸：「多くの人は『気持ちを切り替えよう』、『考え方を変えてみよう』などと心の内側をコントロールすることで自分のウェルビーイングを高めようと考えがちではないでしょうか。それに対して、じつは表情なども含めて身体を変えるだけでこれだけ心の持ち方が変わってくるというのは非常に興味深いですね。こうした知見は、すでにカウンセリングの現場などで活用されているのですか」。

嶋田氏：「実際にカウンセリングで活用されているかどうかは分かりませんが、研究は進められていますね。例えば、アバターになることで自分の気持ちだけでなく、能力も変わってくるといったこともいくつか報告されているようです。プロテウス効果と呼ばれています。例えば、スーパーマンのアバターになると、スーパーマンの特性がアバターを体験した人に反映され、体験後に困っている人を見かけると助けたくなるといったことがあります。アインシュタインのアバターになるとパズル課題の成績が上がったという報告もあります。アバターにはゲーム感覚でなれるのですが、アバターになった体験がその人に何らかの影響を与えるということは分かってきています。両刃の剣でもありますが、うまく使えばきっとセラピーや治療などで良い成果が見えてくるのではないかと考えています。実はそういう研究にもすでに取り組んでいます」。

一人ひとりの脳の特性が分かってくれば
違いを前提とした社会を設計できるようになる

石戸：「自己が固定化されたものではないと思えるだけでも、生きづらさがやわらぐ人も多いのではないか、先生の研究が持つ大きな希望を感じました。

一方で、ニューロダイバーシティの視点に立てば、人はみなそれぞれが違っていて、そのままの自分、ありのままの自分で良いのだという価値観もまた重要です。表情を加えたり増幅させたりしたほうが、コミュニケーションが円滑に進むとなると、それがいつしか社会的な評価に自らを合わせなければならないという社会的規範に転化してしまう可能性もあるのではないかと感じます。技術が選択肢であるはずのものを、事実上の標準へと変えてしまう、いわゆる同調圧力のようになる懸念についても、考えずにはいられません。どのように技術を活用すべきかといったことも含め、倫理的な観点から、どのような議論がされているのでしょうか」。

嶋田氏：「重要な指摘です。たしかに同調圧力のように感じてしまう人もいるかもしれません。そうなると逆効果ですし、十分に気をつけないとならないところです。

この技術は、ちょっとした動きであっても、それを相手に大きく伝えよう、伝わるようにしようというものです。同調圧力や他のプレッシャーなどでストレスを感じる人たちに対して、『ラクな気持ちで普段通りにしてくださって良いですよ』、『それでも相手には十分に伝わっていますよ』というように利用できると考えています。ストレスを軽減するような技術として発展させていけるのではないかと考えています」。

石戸：「なるほど。『本当はこう思っているのに、それがうまく伝わらない』とストレスを感じていた人にとって、表情を増幅するアバターは、いわば『眼鏡をかけると視力が上がる』ように、内面の感情を少しだけ翻訳し、外に届けやすくする装置なのですね。表情が補助されることで誤解が減ったり、関係がスムーズになったりするのであれば、それは非常に意義のあることだと思います。コミュニケーションの円滑化にアバターを利用している、利用できるケースとしては、どのようなものをお考えですか」。

嶋田氏：「例えば、企業などで複数人のチームで仕事をするとき、参加メンバーをアバター化することでアイデアが活発に出てきたり、コミュニケーションがよりスムーズになったりという効果はあると考えています」。

石戸：「嶋田先生の著書の中で、これまでの脳科学は『脳の平均』を前提にさまざまなことを研究してきたが、最近はその次、つまり平均から乖離した個性の領域での研究に移行してきているという指摘がありました。さらに、AIを使うことでクラスタリングも可能になるということでした。ニューロダイバーシティの視点では、個性・乖離が非常に興味深いところです。個性を科学するというのは、最新の脳科学ではどのように解釈されているのでしょうか」。

嶋田氏：「そこは、まさにこれからの研究分野ですね。これまでの脳科学は平均的な能力に対して脳のどの部位が主に関わっているのかを明らかにする、そういった研究が主流でした。個性や平均からの乖離を研究するにも、まずは『平均的には、どうなのか』が分かっていないとできないという理由もあったと思います。今後、『ここの部分がこれぐらい人と違う』といったことが計量化できるようになれば、AIを活用したクラスタリングも可能になるのではないかと考えています。

また、性格特性をアンケートや質問などを活用して分類する研究は、さまざまに行われています。学術的な研究もありますので、そうした研究と脳活動に関する研究をどうつなげていくのか、そこもこれからの研究分野になると感じています」。

石戸：「これまでの社会は、無意識のうちに『平均的な脳』を前提として設計されてきました。都市空間、商品やプロダクト、情報の提示方法、さらには学校や職場における評価基準に至るまで、多くは多数派の認知特性を基準に組み立てられてきたように思います。しかし、脳科学の進展によって、いわゆる平均からの乖離がある人の脳の特性をより理解できるようになったとき、社会の設計思想そのものが変わってくるっていう可能性もあるのではないかと思っています。つまり、『個人が社会に適応する』のではなく、『社会のほうが多様な脳に適応する』という発想への転換です。その視点でも、ぜひ嶋田先生のご意見を伺いたいのですがいかがでしょうか」。

嶋田氏：「あり得ると思います。例えば、脳をクラスタリングして、平均からの乖離の仕方が仮に4パターンあったとしたら、それぞれのパターンの人たちの行動特性などを考慮した社会のデザインがあると思います。必ずしも平均に合わせるのではなく、いくつかのパターンを想定して社会を設計していくという考え方は、あり得るでしょう」。

石戸：「私は、そこに大きな希望を感じます。ただし、『あなたの脳タイプはこれです』と即時に提示され、ラベルとして固定化されてしまうと、そこに危うさも感じてしまいます」。

嶋田氏：「その通りですね。とはいえ、例えば1万人の人たちに1万通りのパターンを考えて設計するのは難しいですね。やはり、大まかに何タイプかに分けて考えるというのは実用的には意味があるでしょう。それと合わせて、一人ひとりが違う人間である、個性があることを十分に考慮する、そのバランスが大切だと感じます」。

石戸：「脳科学の進化にともない、一人ひとりの違いを前提とした社会を設計できるようになるのではないか、とても興味深いところです。嶋田先生は脳科学をはじめ、さまざまな研究をされていらっしゃいますが、ニューロダイバーシティ社会の実現に向けて、どのようなことが実践、実現されると良いとお考えですか」。

嶋田氏：「非常に重要かつ難しい質問ですね。やはり、一人ひとり違う、いろいろな人がいるのだということを、脳をベースに理解していくことが、まずは大切だと思います。人間の脳が得意なこと不得意なことは脳の機能で分かってきています。そこを理解したうえで、どういうところに多様性、ダイバーシティがあるのか、あり得るのか、それらを脳の機能をベースに理解していくことが大切でしょう。

ある機能が強い人もいれば弱い人もいます。人はみな、そうした特性の組み合わせだと思いますが、その組み合わせにどのようなタイプやパターンがあるのか。少しずつでも分かってきて、少しでも多くの人が考えるようになれば、他者に対する理解が深まるのではないかと考えています」。

脳の働きをベースに個性を明らかにし
ダイバーシティ社会実現に貢献したい

石戸：「本日のお話を伺い、人の心の動きや感じ方などが、個人の内面や脳の働きだけで完結するものではなく、身体と環境との相互作用の中で立ち上がるという視点に、強い興味を抱きました。私たちのニューロダイバーシティプロジェクトでは、一人ひとりの個とその人に合った環境の調整の両方が重要であると考えています。嶋田先生の今後の研究で、それぞれの人の脳の特性に合った身体、個別最適化された身体や個別最適化された環境を作りだすことができるようになったら、一人ひとりがもっと自分らしく生きることができるのではないかとも思いました。そんな未来は描けますか」。

嶋田氏：「とても面白いと率直に思います。私の研究も少しはそんな未来に貢献できるのではないかと思いながら、お聞きしていました。

冒頭でお話ししたように、自分の感情を表情にしにくい人はいます。そういう人も『表情増幅アバター』のようなテクノロジーを活用することで、普段通りに話したり対応したりしても、いつもよりコミュニケーションがうまくいく、そういう状況は作れるのではないかと思っています。自分と社会や世界との接点は、やはり自分の身体ですよね。その身体を少し拡張してあげたり、モデュレーションをかけてあげたりすることによって、より生きやすいと感じてもらえる社会になる、そういう未来は描けるのではないでしょうか」。

石戸：「普段の自分のままでいながら、必要に応じて機能が少し拡張された『いろいろな身体も試せる』、そんな世界も面白いですよね。身体が単一のかたちに縛られるのではなく、状況や目的に応じて柔軟に拡張され得るとすれば、自己のあり方や他者との関係性もまた、より多様に開かれていきそうです。今回、嶋田先生は表情に着目して、それを増幅、拡張する研究を展開されました。今後、自己の捉え方や他者との関係性をより良くするために、表情以外にどういう部位や機能の拡張をお考えですか」。

嶋田氏：「実際に取り組んでいることでは、リハビリテーションへの応用です。例えば、歩行機能のリハビリをしている患者の方に、表情ではなく身軽に歩けるという身体機能を増幅・拡張するアバターを体験してもらうことで、プラスの影響を与えられないかという研究です。その他にも手先が器用な人、例えば医師や大工、職人などのアバターを体験させることで、指先や腕の運動機能のリハビリに応用できないか、そういった研究も始めています」。

石戸：「AIやロボットに対する捉え方について、日本は独特だとされています。人間の指示に従う単なる道具ではなく、ドラえもんのような友だちやパートナーに近いという考え方です。宗教観、漫画やアニメの影響も多大にあるようですが、身体拡張の研究では、そういった日本らしさ、日本独特のことはあるのでしょうか」。

嶋田氏：「個人的には、小さいころからロボットやアニメに触れている影響か、日本人は身体拡張に対して割とオープンであるという印象を持っています。西洋の方々はアイデンティティが強く、自分とは違う身体やアバターになることへの許容範囲がそれほど広くない可能性はあるのではないでしょうか。それに対して、日本人は自分とは違うアバターになることにそれほど大きな抵抗感はないように感じます」。

石戸：「なるほど、面白いですね。嶋田先生には2026年の『みんなの脳世界』にもぜひご参加いただきたいと思います。最後にニューロダイバーシティ社会の実現に向けてメッセージをいただいてお終いにしたいと思います」。

嶋田氏：「いろいろな人がいて、身体も心も一人ひとり違います。そうした中、脳の機能、脳の働きをベースにどのような個人差があるのか明らかにし、ダイバーシティを理解していく、そこに貢献したいと思いますし、貢献できたら素晴らしいですね」。

石戸：「私たちはテクノロジーによって身体を拡張することを、ニューロダイバーシティ社会を実現するための重要なアプローチの一つとして位置づけています。こういう説明をしても『それって、どういうことなの？』と聞かれることが多いのですが、先生の研究はそこをとても分かりやすく示してくださっています。コミュニケーションで困難を抱えている方々のもとに、こうした知見と技術が一日も早く届くこと心からを期待しています。本日は貴重なお話をどうもありがとうございました」。