「テクノロジーとアートの融合で生まれた集合的メディア“SWARM”

NTTの研究所では、アルス・エレクトロニカ・フューチャーラボとの協働を通じて、“SWARM=群れ”という新しい表現メディアを生み出しました。2016年に始動したプロジェクトはどのような過程を経て現状にたどり着いたのか?キーパーソンのお二人にその経緯と背景となるコンセプトを聞かせてもらいました。


NTTサービスエボリューション研究所 研究主任。2009年よりヒューマン・コンピュータ・インタラクション関連、特にバイタルセンサーの研究開発に携わる。2012年から2013年までマサチューセッツ工科大学メディアラボ客員研究員。現在、2020エポックメイキングプロジェクトにて、アルス・エレクトロニカ・フューチャーラボとの共同研究を始めとした複数プロジェクトに取り組む。

アルス・エレクトロニカ・フューチャーラボCo-Director。オーストリアのリンツ在住。アルス・エレクトロニカのアーティスト、キュレーター、リサーチャーとして活動。新アルス・エレクトロニカ・センターの立ち上げ、企画展・イベントのディレクションのほか、アート・テクノロジー・社会を刺激する「触媒的」アートプロジェクトの制作、研究開発、企業・行政へのコンサルティングを数多く手がける。

SWARMとは?

SWARMとは、六角形のLEDモニターを上部に搭載した走行ロボット「グラウンドディスプレイボット」など、多数のディスプレイデバイスが連携してひとつの群れのように機能するテクノロジー、およびそれを利用した表現のこと。グラフィックや映像を表示しながら、あたかも群れ(=SWARM)のように動くことで、さまざまな表現を可能としている。コミュニケーションツールであると同時に、情報を表示する集合的メディアでもある。NTT サービスエボリューション研究所とアルス・エレクトロニカ・フューチャーラボにより開発された。

エポックメイキングなコラボレーションの始まり

—どのようなきっかけで、このコラボレーションに参加するようになったのでしょうか?

千明:私はもともとヒューマン・コンピュータ・インタラクション分野の基礎研究を行っていました。拍動を計測するセンサーの開発など、アートに比べるとカタい仕事です。ただ2016年に、東京オリンピックを見据えた「2020エポックメイキングプロジェクト」に参加することになりました。NTTの通信やICTの技術を使って、イベントをメモリアルなものにするというミッションのプロジェクトです。その中で、NTTの研究所の技術とアートの融合を進めたいという話が持ち上がり、アルス・エレクトロニカ・フューチャーラボとのコラボレーションが始まりました。

—アルス・エレクトロニカ・フューチャーラボについて、教えてください。

小川:まず母体となるアルス・エレクトロニカについてですが、これはオーストリアのリンツ市を拠点とする文化芸術機関のことです。特にメディアアートの分野で先駆的な取り組みを行っていることで知られています。1979年よりフェスティバルとしてスタートし、コンペティションのほか、常設展示スペースのアルス・エレクトロニカ・センターも運営しています。

その中にあるアルス・エレクトロニカ・フューチャーラボは、独自に研究開発を行う集団です。各自がクリエイターでもありますね。私はそのラボのCo-Director を務めています。2007年にリンツに移住しましたが、ちょうどICTやメディアアートの世界が大きく変革する時期に、アルス・エレクトロニカに関わることができました。

千明:コラボレーションがスタートしてすぐの、2016年の9月のアルス・エレクトロニカ・フェスティバルで何かしてみようということになりました。2週間ほどの間、リンツに合宿状態で取り組んでいました。そのときに展示したのは、「Ars Wild Card+」と「変幻灯」の2つでした(写真1)。

「変幻灯」は、人間が自然な動きを知覚する際に働く視覚メカニズムの科学的知見を応用し、ポスターなどの静止した像に様々な動きの印象を与える技術。

—フェスティバルに参加してみての印象はどうでしたか?

千明:やはり日本でのイベントとは文化が違うと感じました。ただし、モノの作り方や進め方に関しては共通点が多かったですね。フューチャーラボのメンバーはパフォーマンスが高く、短い期間だったのですが、うまく進めることができました。

小川:コラボレーションを進めていく上で、まずはお互いのカルチャーを共有するようにしました。あとから振り返ってみても、メンバーと深く交流できたし、うまくいったと思います。

空間をメディアにする取り組みとコンセプトの深化

—その後の活動はどのようなものですか?

千明:次に実施したのは、東京でのワークショップです。フューチャーラボのメンバーが来日し、お台場エリアなどを一緒に歩いてみて、写真を撮ったり、どんなことができるか話し合ったりしました。例えば「東京の空をインフラやメディアにできたらいいね」といったアイデアが出てきました。

小川:そのアイデア自体は、フューチャーラボのドローンを使ったプロジェクト「Spaxels」のコンセプトともリンクしています。Spaxelsとは「Space(空間)」と「Pixel(画素)」を組み合わせた造語です。最初に一般に向けて披露したのは、2012年のアルス・エレクトロニカ・フェスティバルで、LEDを搭載した49機のドローンを制御し、夜空に立体映像などを描きました。おそらくそれが、世界で初めての屋外型のドローンショーでした。

そういった取り組みと、先ほどのワークショップでの考察を組み合わせて生まれたアイデアが、Spaxelsを応用した空間型の情報サイネージです。例えば、ドローンを飛ばして、人々を誘導するインフラにするといった試みです。

千明:2017年2月のNTT R&Dフォーラムで、そのアイデアを具現化した「SkyCompass」の展示を行いました(写真2)。そして、その内容をブラッシュアップしたものを、9月のアルス・エレクトロニカ・フェスティバルで披露しました。R&Dフォーラムでインキュベートして、それを改良したものをアルス・エレクトロニカのフェスティバルで展示。さらに一般の人やクリエイターからフィードバックをもらって、次につなげていくという流れでした。また、その過程で、コンセプトも少しずつ変化していきました。

「SkyCompass」は、空中とそこに浮かぶドローンをメディアとして扱い、LEDなどを利用して案内や誘導を表示するサービスコンセプト。(NTT R&Dフォーラム 2017)

—具体的にはどのような変化があったのでしょうか?

小川:ちょうどその頃、ドローンがどんどん普及し、各地で一度に飛ばすドローンの数をどれだけ増やすかという競争のようになってきていました。その量の競争に乗っていくのか、それとも質的に異なることを追い求めるのかという瀬戸際でした。またフィジビリティ(実現可能性)の問題もありました。日本の空でのドローンイベントは、規制や許諾などの面でいろいろと大変なんですね。そんな中、量の競争ではなく、新しい領域に踏み出していくことになり、現在のSWARM(=群れ)というコンセプトも生まれてきました。

「Spaxels」
ドローンによる空間のピクセル化

LEDを搭載した複数のドローンを飛ばし、空に図形などを描く「Spaxels」。アルス・エレクトロニカ・フューチャーラボが開発したプロジェクトで、SpaxelsはSpaceとPixelを組み合わせた造語。ラボCo-directorの小川氏によれば、「モニター上のピクセルが空間に出てきて、それが制御できたら面白いのでは」というシンプルかつ突飛な発想から生まれたとのこと。このSpaxelsが最初に披露されたのは2012年。アルス・エレクトロニカ・フェスティバルが開催されるオーストリアのリンツ市ドナウ川上空で49機のドローンが飛行しさまざまなパターンを空間に展開した。

集合的メディア“SWARM”の誕生

—SWARMとは、どのようなものなのですか?

千明:Spaxelsでは、空を飛ぶドローンが空間のピクセルを構成し、それがたくさん集まることで空間的なメディアとなりました。SWARMでは、それを空だけでなく、地上だったり、水中を含めた環境全体に拡張し、空を飛んだり、地上を走ったり、水の中を移動するたくさんのディスプレイデバイスが連携し、ひとつの群れのように機能することで集合的なメディアとして機能させるということです(写真3)。特に現在は、ディスプレイを搭載し地上を走行するグラウンドディスプレイボットの開発を進めています。

地面を走るグラウンドディスプレイボットや空中を飛ぶドローンなどの複数の群れを組み合わせ、集合的メディアとして扱うSWARM。(NTT R&Dフォーラム 2018)

小川:SWARMの特徴として、単に大きなモニターを置くのではなく、移動する物体自体をメディアとして機能させ、それによって何かが「いる」感覚を生み出して環境を“Animate”(生命化)することが挙げられます。つまり、生命的な環境を作り出すのです。そして、それぞれのディスプレイデバイスはオートメーション(自動)ではなくオートノミー(自律)だと考えます。オートメーションは限られた枠の中で制御された機械というイメージですが、オートノミーは枠からはみ出ることもある生物のような存在というイメージです。

千明:スケーラビリティがあるということも重要なポイントです。SWARMは自律的なディスプレイデバイスが集まって作られるメディアなので、場所に合わせて適応的に数や距離を変更できます。ある意味、空間に制約がある日本向けの技術と言えるかもしれません。

小川:SWARMは、それまで培ってきた技術の積み重ねではありますが、「こうしたい」という未来の目標を起点にした、いわゆるバックキャストの過程から生まれたものでした。でもそれが、NTTがアルス・エレクトロニカと出会って獲得したアートのランゲージ(言語)だと思います。

—アートのランゲージとは何でしょう?

小川:例えば、2019年のアルス・エレクトロニカ・フェスティバルのテーマから読み解くとわかりやすいかと思います。そのテーマとは「Out of the Box ― The Midlife Crisis of the Digital Revolution」というものでした。つまり、既成概念というBox(箱)に閉じこもって安住してしまう状況から飛び出すことを指しています。この安住できる場所から動こうとしないという「Crisis(危機)」は、われわれのラボもそうですし、NTTをはじめとする世界中の大企業が直面している問題でもあります。そのBoxから抜け出して前に進むにはどうすればいいのか? そこではアートが大きな役割を果たすと考えています。アートは未来に向けて今考えなければいけないことを問うものであり、NTTはアルス・エレクトロニカと協働するなかでその考え方を得ていったのではないでしょうか。

SWARMを構成するグラウンドディスプレイボットの仕組み

—グラウンドディスプレイボットについて教えてください。サイズはどれくらいのものなのでしょうか?

千明:ボットひとつのサイズは直径が78cm、高さは30cmほどあります。重さは44.3kgで、ひとつひとつに結構存在感があります。ただし、移動速度はけっこう速いんです。最高速度は秒速8m、つまり時速だと約28km/hとなります(写真4)。

小川:開発コードネームは「ボルト」だったんです。ウサイン・ボルトのボルトですね(笑)。もちろん、最高速度で動かすことはほとんどありませんが。

「グラウンドディスプレイボット」
全高:30cm
外径:78cm
重量:44.3kg
最高速度:7.8m/s
加速:1.5m/s²
バッテリー:24V / 15A / 420Wh
最小稼働時間:1時間

「グラウンドディスプレイボット」は上面がディスプレイとなっており、移動しながら情報を表示するメディアだ。複数を組み合わせることで、全体で大きな画像を表示したり、移動とディスプレイ表示を組み合わせて動きのあるグラフィックの演出をしたりすることができる。

—制御はどうやって行っているのですか?

千明:ボットたちは常にベースステーションから信号を受けていて、それに従って動いています。ボットの位置のトラッキングに関しては、よく使われている「OptiTrack」というシステムを採用しています。ボットに赤外線マーカーを付け、複数設置したカメラがマーカーを認識してボットの位置を把握する仕組みです。制御に使用しているソフトウェアはオリジナルで、フューチャーラボで使われてきたものをプロジェクトメンバーがアップデートしました。先ほどのSpaxelsのソフトウェアがベースとなっています。

小川:グラウンドディスプレイボットは形状が六角形なので、蜂の巣のように組み合わせて並べることができます。例えば、ボットを隙間なく並べて複数のディスプレイで大きな絵を描くことも可能です。車輪の形状や駆動部にはオリジナルのアイデアが盛り込まれていて、どの方向にも動けるようになっています。そのため、フォーメーションを組んだまま横に移動したりすることも可能なんです。

アーティストとのコラボで広がる可能性

—昨年の日本科学未来館のイベントでも、SWARMが展示されていましたね。

千明:2019年7月に行われた「スポーツ観戦の再創造展」ですね。以前のフォーラムで行ったようなプレゼン・デモ形式とは違い、ショー形式になっていました。スポーツ選手の動きをコンテンツとしてディスプレイへの表示や動きに使用した部分や、2人のメディア・アーティストとのコラボレーションの部分もあります(写真5)。

(5-1)映像を映し出しながら人の周囲をグラウンドディスプレイボットが取り囲む演出。(5-2)中山晃子氏とのコラボレーションの様子。(5-3)和田永氏とのコラボレーションの様子。

—コラボレーションの目的は何ですか?

小川:このイベントでは、SWARMのメディアとしてのクリエイティブな方向性での可能性を探るという意図がありました。アーティストにパフォーマンスのツールのひとつとして使ってもらったわけです。参加してくれたアーティストは、和田 永氏と中山晃子氏です。

和田氏はこれまで、ブラウン管テレビなどの古い電化製品を楽器として使用する作品発表やそれを使ったパフォーマンスを行ってきました。考えてみると、テレビは前回の東京オリンピックでシンボルでした。一方SWARMは、そのテレビ(=ディスプレイ)が自律的に動いてしまう。そういったツールを使ってどのような新しい表現ができるのかというテーマだったんです。実際のパフォーマンスでは、彼がブラウン管のテレビを打楽器のように叩き、そのリズムとSWARMが有機的にシンクロしていくようなシーンを作り出しました。

千明:中山氏は、さまざまな素材を液体と混ぜながらリアルタイムにエフェクトを生み出し、その様子を高精細なカメラで撮影、モニターに表示するといった作品を制作しているアーティストです。SWARMを使うことで、その映像がディスプレイから現実空間にどのように染み出すのか、そういったテーマでパフォーマンスを依頼しました。会場では、SWARMが水のキャンバスになったようなアーティスティックな空間を作り出していました。SWARMというメディアが、単なるコミュニケーションのツールというだけではなく、新しい表現の媒体としての可能性があるということが確認できたイベントとなりました。

—SWARMは集合的なメディアであると同時に、アートの素材にもなり得るということですね。

小川:そうですね。それ以外にも、例えばソーシャルなインフラストラクチャーなど、さまざまなポテンシャルを備えていると思います。

千明:同感です。基本的には、イベントで活用するという目的でNTTとフューチャーラボが取り組んできたSWARMですが、それ自体が今後の情報通信メディアの新たな可能性を秘めていて、進化はまだまだ止まらないと感じています。今後、皆さんに別の形で披露することを楽しみにしています。

SWARMの来歴
2016年9月 アルス・エレクトロニカ・フェスティバルで「Ars Wild Card+」と「変幻灯」を展示
2017年2月 NTT R&Dフォーラムで「SkyCompass」を展示
2017年9月 アルス・エレクトロニカ・フェスティバルで「SkyCompass」を展示
2018年2月 NTT R&Dフォーラムで「SWARM ARENA」を展示
2018年9月 アルス・エレクトロニカ・フェスティバルで「SWARM ARENA」を展示
2019年7月 「スポーツ観戦の再創造展」でグラウンドディスプレイボットを使用したパフォーマンス

Copyright © NTT