触って感じる放送の未来 ニューロダイバーシティを支える触覚メディアの可能性
2024年12月10日
「みんなの脳世界2024～超多様～」では、ニューロダイバーシティ社会の実現に取り組むさまざまな企業・大学・研究機関の最先端の研究成果に触れることができます。NHK放送技術研究所（以下、NHK技研）では、テレビ放送に触覚などあらたな感覚を付ける研究に取り組んでいます。NHK技研の半田 拓也氏（▲写真１▲）に、展示内容と触覚の研究に取り組んだ経緯、最新の研究成果などについて、「みんなの脳世界」展を推進するＢ Lab所長の石戸 奈々子（▲写真5▲）が聞きました。
＜MEMBER＞
NHK放送技術研究所
半田 拓也
NHK
東真希子、柳原耕平、水谷沙耶、界瑛宏、菊地幸大、内田翼、加納正規、澤畠康仁、小峯一晃
＞＞ インタビュー動画も公開中！
箱に触れると伝わってくる聴覚・触覚の情報から「なにが起きているのか」を想像する
石戸：「NHK放送技術研究所は、今回、初めて『みんなの脳世界』への出展ですね。展示内容と最新の放送技術の研究内容、ニューロダイバーシティへの取り組みについても教えてください」。
半田氏：「NHK放送技術研究所（以下、NHK技研）は国内唯一の放送技術に関する研究機関で、テレビやラジオ、映像技術、音声技術、伝送技術などを中心に研究開発をしています。私はハプティクスを専門にしていて、数年前からNHK技研の中で触覚の研究を始めています。映像の表現技術はかなり発達してきており、NHK技研では聴覚や触覚、嗅覚も含めてクロスモーダルやマルチモーダルと呼ばれる技術を駆使して、メディアとして伝えたいことをどう伝えていくのかを研究しています。そうした中、NHK技研では触覚の研究者の数も少しずつ増えています。
今回の展示についてご説明します。タイトルは『はこのなかでは何がおきている？』です。（▲写真2▲）
NHK技研のキャラクター『ラボちゃん』が白い箱を持っています。このようにブースでは、来場者に箱を持っていただき、その箱の底面や側面などで起こる振動などをもとに、箱の中の世界で起きていることを想像して、言葉や絵で表現していただきます。箱に触れると振動による触覚が伝わります。その感覚をもとに物語を第三者視点で想像してもらい、実際にみなさんには、どう感じていただけたのか感想を聞こうと考えています。
もちろん我々が作ったコンテンツとして、このような物語というような正解はあります。これまでも、その正解と想像された物語を照らし合わせて、『その通りだった』、『違っていた』という評価をしていました。やはり、さまざまな感じ方をする人がいますので、そこを率直に聞いてみたいというのが『みんなの脳世界』への出展のモチベーションです。 この画像は『NHK プラスクロス SHIBUYA』という、2024年9月16日まで渋谷にあったスペースで展示した時の様子です。（▲写真3▲）
右の写真の箱では、振動に加えて温度も出せるようにしています。振動による触覚と温度を感じられる箱の展示となっていて、映像コンテンツに合わせて振動することで、その箱の中でまるで小人があばれているような感覚を得ることができるほか、お茶碗やコップに見立てると、その中にお茶が注がれて温かい、あるいは炭酸の飲み物が注がれて冷たいという感じが体感できます。
『NHK プラスクロス SHIBUYA』に展示した時には、付箋に感想を書いていただき、自由に貼ってもらうことをしました。（▲写真4▲）
『箱を触ると振動で状況が分かるようになっていたのがすごく興味深かった』、『中身を当てるのが楽しかった』という感想をいただくことができ、視覚に障がいがある方からは『これで映画館でもこういう風に楽しめるといいな』というようなコメントをいただきました。
このようにコンテンツの作り方次第で、さまざまなことを体験できますが、『みんなの脳世界』の展示では、我々が作ったコンテンツを『こんなストーリーです』とあまりおおっぴらにはせず、さまざまな人に体験いただいて、『こんな感じだった』という感想を率直に聞きたいと考えています。具体的にどのようなことがイメージできたかを来場者とインタラクションをしながら、今後の研究に繋げていきたいと考えています。
実は、この左側の白い箱は、単に箱全体が振動するのではなく、４つの面のそれぞれに細かく振動する振動子が付いています。例えば右側を『とんとんとん』と小人がノックすると、右側だけが震えます。底面を『バタバタ』と歩くと下の面だけが震えるという感じで、どの面に何が起きているかが手に取るようにわかる仕組みです。
一般的には1カ所を振動させるとその振動が全体に伝わってしまい、どこが震えているのか特定するのが難しいのですが、このデバイスでは震えている場所がわかるのが特徴です。椅子に座っていて登場人物が受けた衝撃を体感するものや、バーチャルリアリティで自分が体験した振動が伝わるものは多いのですが、このデバイスは、テレビ的に引いた観点で、舞台の上で起きている、あるいは画面の中で起きていることを客観的に第三者視点で楽しめる触覚の物語を作ることができるものとして、我々も期待しています」
テレビで触った感覚が伝わると番組の作り方も変わってくる
石戸：「触覚の研究者がNHK技研で増えていったのは、将来、触覚も伝送されていくようになる世界が実現するということでしょうか」
半田氏：「少なくとも私はそう思っていますが、その手段が放送波になるのかどうかは、わかりません。触覚にも受動的に感じるものと、自ら触ってワニのゴツゴツした感じや猫のふわふわとした感じを確かめるようなインタラクションにより感じるものがあります。受動的な触覚なら、音声信号と同じように椅子を震わせるようなことは技術的にできると思います。そのあたりは可能性があると思っています。インタラクションが生じる感覚については、さまざまなユースケースを考えながらインターネットやIoTなどを活用し、できることをいろいろと模索しています」
石戸：「触覚には、対象物とインタラクション、相互作用があるので、その対象物の材質をテレビでどう伝送するのかと思って聞いていました。先ほどの箱について、第三者視点で触覚を感じられるデバイスとして期待しているというのは、伝えやすさを考えたときに、この方法がテレビ視点だと伝わりやすいというところに落ち着いたということなのですか」
半田氏：「そうですね。テレビで伝えやすいこともあります。また、『触覚をつける』となると、『今ある映像や音声に、さらに触覚をつけるとより楽しめる』という考え方が多いと思います。しかし、先ほどの箱のようなデバイスが普及したら、テレビのコンテンツの作り方も変わってくるのではないかと思っています。
現在、私たちのチームでは体験から考えるということを意識していて、こういう体験をメディアでして欲しいというところを起点にして、『どういう技術が必要になるのか』という考え方で研究するようになってきています。」
石戸：「先ほど、視覚や聴覚に障がいがある方の感想がありましたが、さまざまな方々に楽しめるコンテンツになっていると感じました。NHKの役割として全国浦々、全ての人にあまねく放送を届けることがあると思います。私たちもニューロダイバーシティ社会の実現を目指しており、視覚と聴覚ではない感覚で伝えることも一つの手段だと考えています。NHK技研では、ニューロダイバーシティの視点でどのような研究をされているのでしょうか」
半田氏：「もともと私が触覚の研究を始めたときも視覚障がい者の方に点字でデータ放送の内容を伝えるところからスタートしています。NHK技研の中でも緊急ニュースなどをCGで伝える手話CGの研究もしていますし、字幕を音声で読み上げるなど、人に優しい研究は伝統的に続けてきました。現在も主にAIの技術を使って『スマートプロダクション』という部で継続しています。ユニバーサルサービスやアクセシビリティの研究をしており、ニューロダイバーシティの取り組みと親和性があるのではないかと思います」
石戸：「2023年の『みんなの脳世界』にはNHKの番組からの出展がありました。NHKは社会でのムーブメントが起こるよりも前に社会に問題提起するような番組を多く作られています。NHK技研では、NHKの番組からのフィードバックを得て技術を開発するということがあるのでしょうか」
半田氏：「NHK技研では少し先のことを研究しています。8Kをはじめとして先端的な技術を使い放送でできることを広げていくなど、どちらかというとシーズの研究に近いところもあると思います。技術を突き詰めてできることを増やしていく研究をしていると言えると思います。 例えば、数多くのカメラで撮ることによって、自由なカメラワークを実現する『ボリューメトリック撮影』などは、NHKの制作側とも連携しながら研究をしていますが、普段番組ディレクターが考える映像や音声は、基本的には今の技術や仕組みの中で伝えようとするものです。次の技術、新たな技術を使ったコンテンツについては、NHK技研がまずは技術を開発し、その技術を活用するようなコンテンツを作るとなったときに一緒にできないかと模索をするという感じで、普段から番組制作と一緒に取り組むというのはなかなかできていません」
触覚には視聴者の視点・立場やコンテンツの文脈を
ガラッと変えてしまうインパクトがある
石戸：「NHKには全国津々浦々に放送を届けていくのと合わせて、最先端の技術開発に期待したいと思っています。視覚や聴覚以外の感覚の放送では、世界の研究の中で『こういう面白い研究をしているところがある』、『こういう研究が進んでいる』といった状況を教えてください」
半田氏：「世界的にはやはりMITなどが知られていますが、メディアに対して触覚を付ける研究では、慶應義塾大学大学院メディアデザイン研究科（KMD）の南澤 孝太先生が先進的な研究をしています。メディアに対して触覚や嗅覚などを使う点では日本は進んでいるのではないかと考えていますが、海外だと、アルス・エレクトロニカのようなアートよりのところや、ユーザーインターフェースやコンピューターとのインタラクションの領域では、かなり進んでいる部分があると思っています。一方、コンテンツを作って発信する側のメディアが、そういう研究に取り組んでいるという意味では、NHK技研は日本で唯一の放送技術の研究所ですので、その役割も大きいと認識しています。
だからこそ、今後、触覚や嗅覚を付けていくにあたって、『こういうように作ってはいけない』という視点でも、きちんと研究をしていく必要性を感じています。映像の領域では、例えば光の点滅の危険性など、さまざまな研究がされています。一方、同様のことが触覚や嗅覚を付けていくケースでは、まだ研究しつくされていません。触覚には立場をガラッと変えてしまうなど、コンテンツの文脈を劇的に変えてしまう可能性があります。このような危険性や可能性は積極的に研究していきたいと思っています」
石戸：「その危険性とは具体的にどういうものでしょうか」
半田氏：「例えばNHKで中立的にコンテンツを放送するというときに、触覚の付け方を作為的にしてしまうと、どちらかの立場の人の気持ちになりやすい危険性があるかもしれません。
映像の世界では、カメラワークでどちらかのショットを増やしたり、カットを長めにしたりするほか、どちらの視点かがわかるような映像を差し込むことで、『どちらの主観的立場に立っているのか』を明示する映画的な技法は長い時間をかけて研究されてきました。触覚は、それに打ち勝ってしまうようなインパクトのある効果を持つ可能性があります。例えば、チャンバラで切った切られたというシーンで、どちら側の触覚を出すかで見ている人の気持ちが変わるでしょう。切られた側になるか切った側になるか、それを変えてしまう可能性があるのです。
先ほどお話しをした箱のデバイスでは、第三者視点なので引いた目で見られるのですが、主観的な触覚に関しては気を付けないといけないと思います。今の4DXの映画はまだその技法が確立はされていないという印象を受けますので、残された研究課題があると思っています」
石戸：「確かに1つの感覚を足すことによって臨場感が増し、リアリティも増すのですが、それゆえに感情移入しやすくなってしまい、文脈が変わってしまう可能性がありますよね。だからこそ、主観というより客観的な視点での触覚の使い方にNHK技研としてはこだわっていらっしゃるのですね」
半田氏：「そうですね。そこは重要なファクターではないかと考えています」
2030年～2040年頃にかけて触覚が伝わるテレビの実現を目指す
石戸：「触覚が伝わってくるテレビ放送が実現されるのは、どのくらい先のことだとお考えですか」
半田氏：「NHKでは将来を見据えて『Future Vision』を発表しています。そこでは、2030年頃から2040年頃にはこのような未来が実現するというビジョンが示されています。その中に触覚に関する記載もありますので、 2030年頃から2040年頃には何かできないかと思っています。
一方でもっと身近なところでは、スマートフォンに既に振動子が搭載されていて、音楽を振動付きで配信するサービスも始まっています。そういったところは、もう少し早く実現する可能性はあります。振動の触覚が伝わるテレビの実現は割と早いと思うのですが、形がわかる、柔らかさがわかる、温かみがわかるようになるには、もう少し先だと思います」
石戸：「ユニバーサルサービスを提供されているNHKだからこそ考えていらっしゃる、ニューロダイバーシティ社会実現に向けてどういうことをすべきなのか、そこにあたって技術がどのように貢献できるのか、ご意見をお願いします」
半田氏：「ニューロダイバーシティという言葉自体も色々な捉え方があると思います。昔だとお茶の間に家族全員が集まり、一緒に同じコンテンツのテレビを視聴していましたが、今では一緒にリビングにいたとしても、それぞれがスマートフォンなど他のコンテンツを視聴しながら会話をするということが起きています。必ずしも全員が同じコンテンツを視聴するわけではなく、受け取り方も違うと思います。NHKでも複数のチャンネルがありますし、数多くのコンテンツを毎日放送していますが、多様なコンテンツやデバイスも含めて展開していくことで、一つの正解ではなく、受け取り方がそれぞれ異なる人たちがお互いにコラボレーションやコミュニケーションをして、さらに良い影響が生まれるといったところにテレビメディアや技術の役割があると思っています」
石戸：「テレビには皆がリビングに集まって観るといった良さもありますが、その一方で、観たい番組も違えば、好ましい音量なども含めて視聴の仕方が違う中、個別最適化された放送を実現しつつ、みんなでそれを共有できるような仕組みが生まれてくると面白いなと思いました」
半田氏：「そうですね。個人化が進みすぎてしまうと、フィルターバブルの問題なども指摘されてきます。そこで、例えばニュースにしても自分が関心のあることだけを知るのではなく、自分が普段、気づかないようなコンテンツに、ふとした瞬間に触れられることをサポートする技術の開発など、さまざまな課題や可能性があると思います」
石戸：「おっしゃる通りですね。個別最適化といったときに、耳障りの良いコンテンツだけを届けるのではなく、『この人は、このような偏りがあるから、この番組を観た方がいいのではないか』と視野を広げられるようなレコメンデーション機能を追加するなども含めて考えていくことが大切ですね。『好きというだけではない最適化』を目指すと、このような問題も改善できるのかなと思いました。最後に一言、今後の研究の抱負いただけますか」
半田氏：「これまでの研究でも、いただいたさまざまな意見を踏まえながら、狙いや課題を明確にし、高い意識を持って取り組んできました。より多くの方々、さまざまな年代や考え方の人たちに、触覚に関する展示を体験いただき、私たちの研究内容に触れていただくことで、思ってもみなかったような意見や感想も出てくると思います。その意見を研究にフィードバックしながら、さらに面白いコンテンツや驚く体験が作れるように研究を進めていきます」
