隔月刊行ふるえ　Vol.4 まなざし [特集2] 実際に体験している人よりも、周りから見ている人の方が強く触感を感じている可能性がある

「プロジェクタ応用工学」という新しいジャンルのなかで、プロジェクションを使いながらさまざまな研究を行っている大阪大学岩井大輔准教授。コミュニケーション科学基礎研究所の西田眞也主幹研究員（上席特別研究員）が領域代表を務める新学術研究領域「多元質感知」の総括班メンバーでもあります。今回は投影映像と、触感の関わりについて伺いました。

研究のきっかけはサーモグラフィカメラ

—もともと、投影を使った研究をやってみようというきっかけはどのようなものだったのですか？
もともとは、熱を計測するサーモグラフィカメラを使って、インタラクティブなシステムを構築しよう、というところからです。サーモグラフィカメラって面白いカメラで、見たこともない世界が見えるので、とりあえず色々なものを撮ってみようと思いました。実験してみると、いろいろと面白くて。

たとえば、メガネは普通の世界だと透けて見えるじゃないですか。だけど、サーモグラフィの世界だと、透過しないので、真っ黒で見えないんですね。コップのなかに水を入れて、そこにお湯をたらすと、コーヒーのなかにミルクを入れたようになったりとか。ライターをちょっとつけただけでも、炎はすごく小さいのに、サーモグラフィでみるとものすごい勢いでメラメラとなっているわけですよ。そういうのが面白かった。

かぶりものはなるべくしたくない。やっぱり自分の目で見たい

—そこから、どういうきっかけでプロジェクションに？
  人間が物に触ったときに熱が残るというのも、当たり前なんですけど、そのカメラで見ると「あ、そういうことあるよな」という驚きがあるわけなんです。綺麗に手型が残るんですよ、何秒か（編注：第2号“ぬくもり”も参照）。これは接触センシングに使えるなと思ったのが、きっかけですね。触ったところがわかるなら、プロジェクションと組み合わせて何かインタラクティブなシステムを考えられるんじゃないかと。
  何か、物の存在というか……物の見た目を変えることができるというのは面白いな、というのもありましたね。

—インタラクティブであれば、プロジェクターにこだわる必要はあまりないですよね
  スマートフォンみたいなもので実現する場合と、グーグルグラス（Google Glass）みたいなもので実現する場合、オキュラスリフト（ヘッドマウンティド・ディスプレイ Oculus Rift）みたいなもので実現する場合もありますよね。　

  そのなかでプロジェクターって、結局、着用しなくていい、というのが大きいですよね。持たなくていい、とか。皆が見える、というのも大きいです。やっぱり、わざわざかぶりたくないし、スマホもずっと持っていたらしんどいじゃないですか。ただ、プロジェクションは立体像は出せないですし、色が合わないとか、位置合わせが大変とか、そういう問題はたくさんありますけど（笑）。そういう短所をどうにか克服するように、ということで基礎研究をやっています。　

  ヘッドマウンティド・ディスプレイなどをかぶってしまえばいいかも、とも思いますが、やっぱり「自分の目で見たい」というのが僕自身のモチベーションとしてあるんですよね。なので、不利ではありますけど、できるところまでやってみたいです。

工学的アプローチよりも、光学的アプローチが好き

—投影の面白さ、というのはどのあたりにあるのでしょう？
この世の中、そんなに全てが虚構だとは言わないですけれど……何か工学的に問題を解決したいと思ったときに、基本的にモノをつくるじゃないですか。触れるものとか、動くものとか。　

そうではなく、映像みたいなもので、世界が作れないかなと思うんですよね。世界の見た目がぱっと変わってしまった瞬間に、他には何もいらなくて。世界観としては、※インセプションみたいなものができたら、やっぱり面白いですよね。

—そうしたアプローチのなかで、印象に残っている研究はありますか？
  「実影に映像が浮かび上がるテーブルトップ型コンピュータ」ですね。それはけっこう好きですね。マニアックな研究ですけど（笑）。これはまったくコンピュータでのセンシング処理を入れない、というコンセプトでやっているのですね。なので、完全に光学的に実現しています。簡単に言うと、手をかざした影の部分だけに映像が映る、という研究です。影に映像を出す、というのは東京大学の苗村健先生もすでに行っていて、そこがヒントになっています。　

  これ、普通にやると成立しないんです。半透明のテーブルにその下から投影している映像を消すために、上から補色を投影します。こうすると、テーブルに影を作ったらそこに映像が浮かび上がります。ただ、影を作ったもの（例えば手）の上に、補色が見えてしまうんです。なので、その補色をまた消すために、もう一回、別のプロジェクターで上から補色の補色、要は元の映像を投影するのですが、そうすると今度はその映像が影を作らなくても出てしまう……というややこしい状態です（笑）。そこで偏光フィルムを使って、どちらかのプロジェクターの光は、テーブル面に届かないようにしているんです。　

  そのようにして、影のあるところにしか意味のある情報が出なくて、影じゃないところは出ない。選択的に投影する情報が切り替えられるようにしてあるわけです。こういう光の原理を利用したものが好きなんですよね。

実影に映像が浮かび上がるテーブルトップ型コンピュータ。手をかざすと、影の部分にだけ模様が現れる

システム図。上下方向に補色で打ち消し合う映像と、さらに上方向の映像を消すために3台目のプロジェクターと偏光フィルムが使用されている

映像で作る「気持ち悪さ」。ドットが皮膚のように感じられたときに、何かが起こる

—触覚を操作する、ということについては、どうお考えですか？
  結局、触覚にいきつくんじゃないですか。僕はけっこう視力が弱くて、本を読んでいたりすると、ものすごいうっとおしいんですね。目とか耳とかって、いずれかは弱くなっていくと思うんです。だけど、皮膚の感覚というのはずっと残っていくのかなぁ、と思っています。

—光を使って、何か触覚的なものを感じさせるというアプローチはありうるのでしょうか。
  擬似触覚というのは、プロジェクションに限らずたくさん研究されていますが、プロジェクションの場合ってそういう効果が少し弱いんですよ。最近では、ドットとかパターンを人間の手に投射していたりします。手を動かしたときに、動きに合わせて投影したドットが動くのですね。ある瞬間に逆方向にドットが動いたり、同じ方向にちょっと早めに動いたりとか。

  そういうことをして、抵抗感のような感覚が変化するかな、というアプローチがひとつです。なかなか客観的にはデータが出ないのですが、主観としては「あ、なんだか気持ち悪！」みたいな感じ。これをなんとか増幅する方法がないかと考えています。ドットの動きが手の動きにぴったりとハマるとすごくいい感じになるんですよね。本当に効果があるのかどうかは現段階ではわからないですけど、ドットが皮膚のように感じられたときに、何かが起きるんじゃないかと。

周りで見ている人の方が、効果を強く感じている！

—それは、手の動きに対してちゃんとトラッキングされていて、自分の身体の一部だと認識できている、というイメージでしょうか。
そうですね。もしかするとですけど、実際に体験している人よりも、体験している人を周りから見ている人の方が強く効果を感じている可能性はあるんですよ。触覚を視覚的に変える場合には、周りから見ている人は、体験している人が何を触っているのかということを視覚でしか想像できないので……。

昔から思っているのは、マウスポインタで、人の顔をなぞると、けっこう生々しくないですか？（笑）あの感覚が、僕が視覚で触覚を感じる原体験なのです。操作にあわせて物体の視覚情報が変化するのを見たとき、その本人より、周りの人の方が、物体が柔らかくなっているように感じたり……そんなことも起こるのでは、と予想しています。

【インタビュー／構成／文：大屋友紀雄】

岩井大輔
大阪大学大学院基礎工学研究科准教授

すべての照明がプロジェクタに置き換わり、身の回りのあらゆる面がピクセルで覆われる時代の到来を見越し、プロジェクションマッピングに関わる様々な基盤・応用技術の研究開発を行っている。2007年、大阪大学にて博士（工学）を取得。2013年より同大学基礎工学研究科の准教授を務めている。この間、バウハウス大学(ドイツ)やETH(スイス)においても研究を行っている。