人それぞれ異なる感性を脳波で可視化し人と人、人とAIのコミュニケーションをより円滑に
2025年3月25日
「みんなの脳世界2024～超多様～」では、ニューロダイバーシティ社会の実現に取り組むさまざまな企業・大学・研究機関の最先端の研究成果に触れることができます。NTT人間情報研究所では、人がモノをどう感じるのかといった感性を脳波で計測し、より円滑なコミュニケーションを実現しようという研究に取り組んでいます。NTT人間情報研究所の特別研究員の志水信哉氏（▲写真1▲）と中根愛氏（▲写真2▲）に、「みんなの脳世界」展を推進するＢ Lab所長の石戸 奈々子（▲写真8▲）が聞きました。
＜Member＞
NTT人間情報研究所 特別研究員
志水信哉
NTT人間情報研究所
中根愛、太田藍李、村岡慶人、児玉大樹
感性の違いを脳波で捉えてコミュニケーションをより円滑にする
石戸：「『みんなの脳世界』には2023年に続いての出展です。展示内容を含め、最新の研究内容について説明していただけますか」
志水氏：「我々のグループでは、感性コミュニケーションの実現を目指して研究開発を進めています。目指しているのは、人と人とのコミュニケーションにおいて、お互いの感じ方の違いや状態の違いに気づいて相互に尊重しあうことで、より豊かなコミュニケーションができるようになったり、考えていることが相手に伝わり、互いのことをよく深く理解できるようになったりすることで、共同制作による創造性が高まる、そんな世界観です。
感性という言葉にはいろいろな定義があると思いますが、我々は感性とは『物事に対する感じ方』や『心の中でのイメージ』また心の中だけでなく、外に対して『どう表現するのか』、これらを全て合わせて『感性』と呼んでいます。これらは人によって全く違うものです。この個人ごとの差異を捉えて、相手に伝達したり補ったりすることでコミュニケーションを円滑化する、創造性を強化する、最終的にはその人たちが集まって何かをするときのパフォーマンスを向上させる、そういったことを目指しています。（▲写真３▲）
研究している技術は、大きく3つあります。1つは、『感性の理解を支援する』技術で、相手が何をどう感じているのかをきちんと理解できるようにするものです。もう1つは、『感性の表現を支援する』技術で、例えば『赤』と表現してもいろいろな赤色がありますよね。どういう赤を伝えようとしているのかについて、表現を豊かにしてあげることで、正確に伝えられるようにできるのではないかと考え、表現を支援する技術を研究しています。 ３つめが『感性の特性を捉える』技術です。感性は人によって異なりますので、理解や表現を支援できたとしても、『どう捉えるのか』を深く理解しないと相互尊重、相互理解、創造強化を促せないと考えています。感性の違いを捉えることも重要な研究のターゲットです。
脳波を計測してモノの見方を推定する技術を紹介
その中でも私たちは、脳科学の知見や技術、方法論などを応用して感性コミュニケーションを実現しようという研究をしています。（▲写真４▲）
おもに『状態推定・可知覚化』という個々の感性を捉えて違いを理解する技術と、感性を評価してコミュニケーションに活かす『感性評価・生成AI応用』の技術を研究しています。生成AI応用では、人と人とのコミュニケーションだけでなく、人とAIとのコミュニケーションを豊かにするような技術を研究しています。
脳科学を応用した研究に取り組んだきっかけについてお話しします。コミュニケーションの研究領域においては、言語コミュニケーション、非言語コミュニケーション、これらを合わせたマルチモーダルコミュニケーションなどがずっと研究されてきました。ただ従来のコミュニケーション手段では、心の中を言語や非言語、記号として表現し、それを他者が解釈するという過程でかなりの情報が欠落してしまっているのではないか、表現できていないものがあるのではないか、表現するときに変わってしまうものがあるのではないかと感じていました。そこで、このような心の中の情報が言語や非言語、記号に加工されていない、より『生の情報』、脳の中にある人間がもともと感じたり捉えたりして理解したもの、つまり脳情報だろうと考えたのです。そうしたことが契機となって、現在の研究を開始しました。
その中でも、展示会では感性の評価・分析に関する取り組みについて紹介します。（▲写真5▲）
見たもの、聞いたもの、嗅いだものに対する捉え方や感じ方は、人によって異なります。この人による感じ方の違いをうまく表現することで、他者に知ってもらうことができないかと考え開発している技術です。いくつかの刺激を脳が受けたときに、『それぞれを同じように感じているとき、脳の反応も同じようになる』という主観の類似性と脳反応の類似性の関係が、さまざまな実験を通じて分かってきました。そこで、脳波や脳の反応の類似度を解析することで、何と何を同じように捉えているか、何と何を違うように捉えているかを可視化する技術を研究開発しています。
少し具体的に説明します。ある人にいろいろな野菜を見せると、キャベツは野菜、イチゴは果物と感じるとは思いますが、スイカはどうでしょうか。野菜だと言われていますが、果物だと感じる人もいます。人によって果物と似ていると感じているか、野菜と似ていると感じているのかが、脳の反応の類似性を元に分析をしてみようという取り組みになります。最近は、匂いの感じ方を対象に研究を進めており、主観的な類似度と脳波の類似度を比べると相関関係があることが分かってきています。こうした成果を踏まえ、脳反応の類似度で感じ方の類似度を測定することが技術的に可能なのではないかと考えているところです。
2024年の「みんなの脳世界」では、「脳波で捉える『あなたのモノの見方』というタイトルで出展します。（▲写真6▲）
野菜か果物かといった『カテゴリーをどう考えているか』というのではなく、『物事をどう見ているのか』を分析して可視化することができないかと考えて開発した技術です。
例えば、ある1枚の説明資料のスライドを見たとき、スライド全体のデザインが綺麗だなと思う人もいれば、何が書いてあるかという内容に着目する人もいるでしょう。何に着目しているのか、どこを見ているのかをお互いがきちんと理解し、意思の疎通が取れればコミュニケーションがより円滑になると思います。一方でお互いに違う着眼点で物事を見ているのに、それを知らないとミスコミュニケーションが起きてしまう可能性があります。そこで、どういうモノの見方をしているかを分析する技術を展示します。デモの体験では、簡単な脳波計をつけてもらい、ある画像を見てもらいます。計測した脳波から、画像の全体と詳細、どちらに認知がひきつけられていたのかを提示します。現状、脳の特性とまで言えるのかは分かりませんが、自身のアテンション（注目）の傾向を知るきっかけにできないかと考えています」
好き・嫌いや綺麗、クールなど主観評価と脳波の類似性を分析
石戸：「私も自分の脳の特性を知りたいです。錯視、例えば見方によってはおばあさんに見える絵が別の見方では若い女性に見えるといった、いわゆる『だまし絵』を考えたとき、どこに着目している人はおばあさんに見えて、どこに着目している人は若い女性に見えるということまで分かり、『こういう見方、こういう着目の仕方をしたら別の見え方になりますよ』ということまで言えるようになるのですか」
志水氏：「現在の技術では、まだ難しいのですが、ゆくゆくは『（脳波に）どういった反応が起きているときには、どう見えている』というのがわかるようにはなっていくと考えています。さらに、脳に刺激を与えることで目指す反応を起こしやすくするようなバイアスをかけるような技術も生まれてくるのではないかと考えています。ただ、実用化は難しいかもしれません」
石戸：「そうなると現在の研究では、錯視の見え方が違う理由はまだ解明できていないということでしょうか」
志水氏：「専門領域ではないのですが、ある程度は解明されている部分もあると思います。
先ほど話のあった、見方によって捉え方が変わる反転図形とは異なる種類の錯視ですが、興味深い研究があります。例えば実際は赤い丸はないのに、錯視によって赤い丸が見えてしまうような画像を見せたときの脳活動を調べたら、視覚野で赤い丸の情報がちゃんと生まれている、つまり脳としては視野に赤い丸が映っていると捉えているという研究成果があると聞いています」
石戸：「私たちは、多様性のある一人ひとりが自分の力を発揮しやすい社会を実現しようとニューロダイバーシティ社会の実現に受けて活動しています。発達障がいや精神疾患のある人たちは、そのモノの捉え方がさまざまな故に生きづらさを感じているということも指摘されます。志水さんたちの研究成果を踏まえると、『こういう思考の傾向がある人は、こういうようにするとより生きやすくなるのではないか』といったアドバイスができるようになる、その可能性があるということでしょうか」
志水氏：「我々の研究は、その人の脳の特性を知ってもらおうというものです。その特性に基づいて、生きづらさを感じている部分を知ってもらい、そこに注意することはできるようになると思っています」
石戸：「この研究の先に、社会に出していくときにどういう使い方を考えているのでしょうか？展望があればお聞かせください」
志水氏：「研究の現在地は脳活動を分析して脳の特性を知ってもらうところまでです。この先は、例えばモノの見方をトレーニングで変えてあげることができるのであれば、そのときの変える方向の指標として、我々の技術を活用し、トレーニングによってものの見方がきちんと変わったのかどうかを判断する、などといったこともできるようになると考えています。
これは、ニューロフィードバックと呼ばれている技術であり、適切な脳状態をフィードバクできるようにすることで、自分自身でものの見方を変えるトレーニングを効率的に実施することもできるのではないかと思っています。
また、我々の研究は人それぞれの受け取り方の違いを明らかにすることができます。これを用いることで、自身を含め隣で生活をしている様々な特性を持つ方が、ある事象に対してどのように感じているのか、どのように捉えているのかを示すことで相互の配慮を促し、生きやすい環境を作ることにつなげることができると考えています」
石戸：「今回の展示では、その人が『どこに着目しているのか』を脳波で計測するということでした。前回は野菜か果物かのカテゴリーをどう捉えているかということでした。他にも好みのファッションなどを見るという研究もあったかと思います。他にはどういうモノの見方に関して、どういった研究をしているのか、そして成果はどう出ているのか、教えていただけますか」
志水氏：「ファッションやラベル、絵画などを見てもらい、美しいと捉えているのかどうかなど心理的な側面での評価を脳波で計測する技術を研究しています。
なんらかの画像を見たときに美しいと思うのか、好きだと思うのか、綺麗だと思うのか、クールだと思うのか、現代風と感じるかオールドファッションと感じるのか、本当に人それぞれです。我々の実験では、参加者の方が画像を見た際に感じたことを形容詞で表現していただき、その評価・表現がされるときには脳のこの反応が現れているといったように、主観評価と脳波の関連を分析しています。
現状は、画像を見た際の主観評価は人それぞれであり、また、どのような形容詞に対して脳の類似性が見られるかも人によってだいぶ異なるというのが実際のデータから見えてきているところです。ただし、脳波の主要な成分を見ていくと、人によらず、特定の心理的な判断が脳波の類似性に表れるということが分析の結果で分かってきました。そこをきっかけに研究を突き詰めていこうと考えています」
感性を捉え人とAIや人とロボットのコミュニケーションの円滑化を目指す
石戸：「感性コミュニケーションの究極のかたちはテレパシーのようなものかなと思いました。感性コミュニケーションの研究がもう少し進んだ先には、どのようなコミュニケーションの姿をイメージしているのでしょうか」
志水氏：「例えば、人と話すときの緊張感について、『国際会議で発表したときの緊張感の半分くらいだった』と伝えても、相手は分からないでしょう。尺度が明確でないし、そもそも誰もが同じ尺度を持っているわけでもありません。また、国際会議での発表を誰もが経験しているわけでもありません。そうなると、言語化して伝えようとしても、伝わらないことがでてきます。
また仕事でのプレゼン資料を作り、上司に確認してもらったら「もうちょっとカッコ良くした方が良い」と言われたとします。上司のカッコ良いと自分が感じるカッコ良いが同じかどうかわからないまま修正すると、今度は「もうちょっとクールに」などと言われてしまう。そうなると、もう修正の時間が非常に無駄なのです。労力がかかるわりには、うまくコミュニケーションが取れてないのです。このようなときに、気持ち・考えがうまく伝わるようなコミュニケーションのあり方を考えています。
最近では生成AIで画像やデザインなども生成でき、その際には基本的に文字でプロンプトを書いて指示を与えますが、これがうまくできないと何度も何度も生成させなくてはならなくなります。自分が考えていることを、言語を介さずにAIに伝えられれば、そのAIの持っている能力を最大限に活用できるのではないかということも考えています」
石戸：「非常に面白いですね。なかなか言語化できない曖昧さを補完してくれたり、同じ言葉でも両者の感覚が違うものを相手に翻訳して伝えたりといったことが今後できるかもしれないということですよね。人間とAIとのコミュニケーションを考えたとき、脳科学を応用した技術を使って、生成AIに自分の意図をより伝えやすくするようなコミュニケーションのツールの開発も進めているのですね」
志水氏：「ゆくゆくは人とロボットとのコミュニケーションも視野に入れています。相手がロボットであれば、人間だと感じ取れないようなことを感じ取るセンシングデバイスも使えるようになるでしょう。こうした技術で、人とロボットのコミュニケーションもできるようになっていくのではないでしょうか」
石戸：「ロボットやAIなど機械に指示するときにも誤解がないように確実に伝えるような技術ができて、生成AIやロボットとコミュニケーションを取れるようになるのはいつ頃でしょうか」
志水氏：「難しい質問ですね。ロボットとのコミュニケーションとなるとわかりませんが、生成AIに脳の情報を伝えるという観点では、いろいろな粒度がありますが、好き嫌いなど分かりやすい反応であれば、近い将来には生成AIに伝えられるようになるのではと思っています。より複雑な情報となると、やはり5年や10年、もう少し長いスパンで考えていく必要があるのではないかと考えています」
石戸：「5年や10年という数字が出てくるくらい近い将来にできる可能性を秘めているということですね」
志水氏：「脳波ですべてを実現するのは難しいかもしれませんが、fMRIのような機械を使って分析することは進んできており、その知見が応用できるはずです。fMRIのような非常に大がかりな機械ではなく、簡易なデバイスで取得可能な脳波を使って、どこまで分析できるか、それほど時間がかかるものではないと信じて技術開発していきたいと考えています」
怒っている、喜んでいるなど心理状態も可視化しコミュニケーションを円滑に
石戸：「研究の方向性として、ある感情や心理的状態、怒っています、喜んでいますといった感情や心理状態を分かりやすく伝えて、コミュニケーションに活用する、コントロールするようなことも可能なのでしょうか」
志水氏：「まず、感情や心理状態を分析・伝達することについては、倫理的な側面も考慮する必要があると考えています。その上で、コントロールするのは難しい側面があるのかもしれませんが、アプローチによってはコミュニケーションで相手に伝わりやすくすることはできるようになるのではないかと感じています。我々の中で研究している技術では、内面の心理状態や感情が脳の状態として表れており、脳波として計測することができるようになってきています。
ただし、怒っている度合いをマークのようなもので可視化すると、今度はマークが意味することの受け取り方が人によって違ってくるので、うまく状態を伝えられない可能性もあります。また、怒っている度合いがどのように脳波として表れるのかの個人差もあるため、客観的な尺度を用いて「怒っている度合い」を推定し、表現することは、逆に誤解を生んでしまう可能性があると考えています。そこで、我々のメタバースコミュニケーション支援の研究では、脳の状態そのものをパラメータ化し、その情報が内面状態を反映しているものとし、オーラのように色や量で表現することで、特定の指標に基づく分析・数値化を行わないかたちにして、間接的に相手を理解するための手掛かりを増やすことで、相手の状態をより理解できるようにする研究も進めています。（▲写真7▲）」
石戸：「私たちがニューロダイバーシティ社会の実現に向けて取り組んでいる中では、例えばASDの人で本人はまったく怒っていないのに相手には怒っているように伝わってしまったといった悩みもあります。そういったコミュニケーションの齟齬を防ぐための利用も考えていますか」
志水氏：「はい、考えています。我々の社内では、そういった取り組みもしています」
石戸：「ニューロダイバーシティ社会の実現に関係するような研究成果は、他にもあるのでしょうか」
志水氏：「人とのコミュニケーションを考えたとき、やはり曖昧な表現が問題になることもあると思います。本人は曖昧に話しているつもりはないのに、曖昧に受け取られてしまうとうこともあるでしょう。今回、ご説明したような脳科学に基づいて内面の状態をセンシングするような技術ではないのですが、そういった曖昧な表現を会話の中から拾ってあげてフィードバックしたり、その会話の中で『今の発言が曖昧に取られる可能性がある』というのを分かるようにしたりして、言い直しを促すなど、その場でのコミュニケーションがより円滑になるような技術の開発を進めています。今実現できる技術を組み合わせてコミュニケーションを支援するシステムを作り上げようとしています」
石戸：「例えば、塩を少々、といったような表現を具体的な分かりやすい言い方に置き換えてくれるとコミュニケーション齟齬も起きにくいのかなと思いました。もう1つ伺いたいのですが、コロナ禍になってバーチャルでのコミュニケーションが増えたことで、感性コミュニケーションを考えるにあたって何かしらの影響がありましたか」
志水氏：「正直にいうと明確に変化したというのはあまりないかと感じています。ただし遠隔コミュニケーション、バーチャルコミュニケーションになったときに、より感性コミュニケーションが使えるのではないか、役に立つのではないかと感じています。オンラインだとタイムラグがあったり、表情が読み取りにくいという課題があったりします。そういったときに感性コミュニケーションがどう適用できるのかは研究テーマとしてあり、例えばメタバースコミュニケーション支援という研究が進んでいる背景でもあります」
心の内が可視化されるリスクにどう対処するか今後の感性コミュニケーションの方向性
石戸：「お互いに色々と分かり合えること、それぞれの違いを知ってリスペクトできる関係も大事だと思いますが、一方で、わかってしまう、知ってしまったからこそ憎しみが生まれたり、分断が生まれたりすることも起きてしまうと思います。その視点で感性コミュニケーションが考えていることがあれば、教えていただければと思います」。
志水氏：「研究をしていると、伝わって欲しくないモノまでが伝わってしまう可能性も見えてきて、そのリスクについてのコメントも多方面からいただいています。例えば、メタバースコミュニケーション支援では、『これまでなら作り笑いをしておけば大丈夫だったことが、脳波を可視化されることでバレしまう』と良いコミュニケーションにならないのではといったことです。
私自身は研究をしていて、知ること・知られることで分断などが生まれることもあるかもしれないですが、それらを知らずに分断が生まれるよりはよっぽどいいのではないかとも感じています。いろいろな捉え方をする人がいることを正しく知ることがまずは大切で、『他者を正しく理解することで悪いことは絶対ない』と思っています。そのことは一つの信念として研究を進めています」
石戸：「力強いお言葉です。それを踏まえて、今後のニューロダイバーシティ社会実現に向けての抱負、メッセージをお願いします」
志水氏：「脳波を使った研究には正直、難しさがありますが、一方で技術は日進月歩です。特にAIや生成AIの技術でいろいろなことができるようになったことで、人と人、生身の人間のコミュニケーションをより豊かにしようという研究の重要性がますます高まっていると感じています。今後、とても重要で必要とされる研究領域であると考えています。
脳波を使う研究は倫理的な側面も含め、いろいろと難しいのですが、究極的には誰もが平等 に使える技術になっていくべきであると思っています。まさにニューロダイバーシティの世界観です。そこで使える技術になることを目指しながら今後も研究開発に取り組みます」
中根氏：「私自身は、自分の心の中のことが伝わってしまうこと、相手の心がわかってしまうことについて、実はネガティブに考えていて、同じような考えを持つ方が多いのではないかと思っていました。
ところが、実際に研究の中でインタビューをしてみると、老若男女関わらず、半数ぐらいの方々が『全然構わない』というニュアンスで回答されていたのです。対面コミュニケーションを基本に考えると、内面が分かってしまったら嫌だというのが当然あったと思いますが、コロナ禍や技術の発展を経てコミュニケーションの方法が変わってきたことで、人の意識も変わってきているのかもしれません。
オンラインの相手の気持ちなどは、その時々に適したかたちで共有できたほうが、より充実したコミュニケーションが実現できるだろうし、メタバース空間で初対面の相手とコミュニケーションをとるときには、相手の意図や気持ちが伝わることで安心感を得ることができるかもしれません。
技術を高めるだけではなくて、人がどういうようなコミュニケーションをとりたいのか、どういう社会を実現していきたいのか、といったいったことも含めて、シーンやツールに合致した技術開発をしていきたいと思っています。
こういったコミュニケーションの方法の充実や一般化は、ニューロダイバーシティ社会の実現に大きく寄与すると考えています」
石戸：「お二人のとても熱い思いを聞かせていただいき、私もニューロダイバーシティ社会の実現にさらに取り組もうと勇気が出ました。ありがとうございました」
