デジタルコンテンツエキスポ、InterBEE2021に行ってきた

投稿日 | In

11/17に幕張メッセで開催されたInterBEE2021とDCEXPO2021へ行き、最新のメディア技術とコンテンツ技術を学習してきた。(特にDCEXPO)
展示物一覧

特に、印象に残った8つのブースについて感想と考察を述べていく。

  • See-Through Captions
  • ホログラムコンタクトレンズ
  • 味覚ディスプレイ
  • リアルタイム映像伝送による無線LED制御システム
  • Imagraph
  • Morphing Identity
  • 空中映像用結像光学素子
  • 空中立体結像装置(Spacial)

See-Through Captions

これは近年のリアルタイム自動キャプション技術と透過ディスプレイを組み合わせた技術だった。
透過ディスプレイ技術自体は存在するものの、やはりユーザビリティが低いからか価格が高いからか商業化されていることは少ない。そうした中で、普及させるための素晴らしいユースケースだと感じた。
私は、人の話を聞き取って文章として理解することが苦手なため、このようなキャプション技術はありがたい。
透過ディスプレイなので反対側には反転した文字が写ってしまうが、許容できるだろう。

ホログラムコンタクトレンズ

今回のデモでは、コンタクトの奥にある一枚のフィルムが重要な展示物であった。フィルムにはABCDEFという文字が焼かれており、コンタクトまで目を近づけると結像されたイメージを見ることができた。
会場には偏光フィルムや光空間位相変調フィルムを用いたホログラムコンタクトレンズのシステム概要図が展示されており、おぉこうすれば確かに実現できる…と感動した。
ただ、実用化にはブレイクスルーが起こらない限り10年以上かかりそう…

味覚ディスプレイ

DCEXPO開催中、ちょうどACM ISSも開催されていた。ISSのZoom上で味覚ディスプレイの宮下先生を見かけたため、一度お声をおかけしたくブースに行ったが、１５時をまわったため展示時間を終了しており体験はできなかった😅
ただ、宮下先生とはほんの少しだけお話をできたため満足☺️

リアルタイム映像伝送による無線LED制御システム

こちらも、DCEXPOで拝見したかった展示の一つ、mplusplusさんのLEDフラッグ。
WS2812Bを使用したLEDフラッグを利用したことはあるが、これだけ大量のLEDを制御したことはないため どのように信号を捌いているのか探りたく、少しお話させていただくことができた。
本展示では、LEDフラッグ等のディスプレイをリアルタイムに生成している新規技術の展示だった。
使用技術はFPGA、HDMIによる映像伝送などだそう。従来の映像表示では、事前生成した映像を各端末に仕込んであり、時刻同期で再生していたが、今回は信号をリアルタイムに生成し、低遅延で伝送することができたそうである。体感の遅延としては10フレーム以下？という感じだった。
以上から推測するに、おそらくraspberryPiなどで受信or生成した映像をHDMI経由でFPGAに伝送、FPGAにてDMX512信号に変換していると考えられる。また、使用しているLEDは一般的に用いられるマイコン内蔵チップLEDだった。(謎の技術を使っていなくて安心した☺️)

Imagraph

ImagraphはLEDマトリクスから光ファイバによって目の付近まで高輝度で光を送り、瞼(まぶた)ごしに映像を提示するシステムである。その提示される映像の色味は全体的に青みがかっている。これは、瞼を透過させるため、赤みがかってしまうことから逆算して青くなっている。つまり、白色の光を瞼越しにみたら赤くなってしまうから、青みを乗算させることで白く見えるように調整している。
これは、百聞は一見にしかずを地で行くような展示だった。 そもそも、人間は現実の世界をすべてのオブジェクトを3次元で捉える。2次元の映像も３次元空間上のディスプレイに二次元空間が展開されていることを認知した上で没入しているため、根源は3次元にある。
しかし、Imagraphで投影される映像に３次元はなかった、おそらく人生で初めての2次元映像体験であった。 Imagraphで投影される映像は解像度が非常に低く、なにかが見えるというわけではない。

ただ、確実に色のグラデーションは存在していて、視覚が働いていることを実感した。そして、目をつぶっているにも関わらず映像が脳に送り込まれる感覚と眩しさを感じた。
距離感や空間、オブジェクトの認識が無い視覚世界はVRやその他の手法ではおそらく難しく、全く新しい映像提示手法だった。

Morphing Identity

Sony CSLの笠原俊一さんの展示。このシステムは二人用、はじめはディスプレイに自分の顔が写っているが、時間の経過とともに段々と相手の顔にモーフィングされていく。
さらに、相手の顔であるにも関わらず、自分の表情に応じた顔画像が生成されて写っている。つまり、鏡越しに映る自分の顔だけが自分でない状態となる。このとき、自分自身のアイデンティティはどこにあるのか、を考えさせられる。表情や動きを作り出しているのは自分であるにも関わらず、そこに映るのは誰が見ても私ではない。ならば、自分を構成するものはどこにあるのだろうか。
また、本システムはTouchDesignerによって構成されている。Pythonを組み合わせて画像処理などを行っていると考えられるが、マルチスレッドに対応していないTouchDesignerでどのように実現しているのか、気になり笠原さんに直接伺うことができた。すると、なんと5つのTouchDesignerを同時に起動させて連携させているとのことで驚いた。Pythonのsubprocessでシェル越しにTDを起動、それぞれのTDはTouch OUTなどで連携することで高FPSを保ったまま運用されていた。刻みタッチという手法だそう☺️
さっそく、現在制作しているシステムに応用させていただいている🙇‍♂️

空中映像用結像光学素子

こちらは、パリティ・イノベーションズ社さんのパリティミラーである。図のように、空中に映像を結像することのできるディスプレイである。２面コーナーリフレクタアレイ(DCRA)と呼ばれる構造によって実現されている。このDCRAはプラスチック樹脂であると思われるため、おそらくこれの金型が存在する…
まさにその金型の製法こそが技術の塊なのだと思われる。

空中立体結像装置(Spacial)

これは、装置から手前に飛び出して空中立体映像が見えるものである。
はじめは、一体どんな超技術を使用して実現させているのかと思った。
例えば、Looking glassなどの裸眼立体視ディスプレイと上記のDCRAを組み合わせれば、Spacialが実現できるかもしれない…?

以上で、DCEXPOで学んだこと、感じたことのメモを終わりにする。
今回の展示会は新しい感覚、体験、知識をたくさん摂取することができた貴重な機会だった。
今回得た知識や考え方を論文に還元していきたい🦾

最後に、DCEXPOの帰りに聴いたAiobahnさんの曲を一つ