NTTの最新技術が、バーチャルと歌舞伎がリアルタイムで共演する「超歌舞伎」を実現した。通信技術の低遅延を生かし、遠く離れた場所にいる人物の動きをリアルタイムで立体的に表現。デジタルと伝統文化の融合によって新たな演出手法が生まれつつある。
デジタルと融合「超歌舞伎」実現
NTTの最新技術で、バーチャルと歌舞伎のリアルタイムの共演が実現した。
NTTが5日に公開したのは、次世代通信技術「IOWN」の新しい活用方法で、歌舞伎と最新技術を掛け合わせた「超歌舞伎」の舞台で導入する。
丹羽うらら記者：
遅れのない通信技術で、スムーズでリアルタイムなコミュニケーションをとれます。
次世代通信技術「IOWN」は、遠く離れた場所にいる人物の動きを、遅延なくリアルタイムで、立体的に表現することができるのが特徴。
さらに、舞台には中村獅童さんのデジタルツイン「獅童ツイン」が登場。少ない本人の音声データでも、その人の声に近い音声を作り出す技術が活用され、受け答えだけでなく、人工知能(AI)がその場で英語への翻訳もする。
NTTは、これらの技術が新たなコミュニケーション方法や、自分の活躍の場を広げるものとしての活用が期待できるとしている。
現実×仮想の新しい演出方法
「Live News α」では、暮らしを変えるテクノロジーに詳しいIoT NEWS代表・小泉耕二さんに話を聞いた。
堤 礼実 キャスター：
歌舞伎とデジタルのコラボレーション、どうご覧になりますか。
IoT NEWS代表・小泉耕二さん：
テクノロジーの目線でいうと、今回はIOWNという次世代ネットワークを使った表現が興味深いです。
ボーカロイドの初音ミクを演じる人は遠くにいても、IWONのネットワークが非常に低遅延なので、現場で踊っている歌舞伎役者と同期した動きを行うことができています。
演者の方々も、動きの呼吸が合わないとやりづらいのではないかと思うのですが、実際は、ちょっとしたずれを気にすることなく、演じられたのではないかと思います。
ほかにも、撮影した映像から特定の人物だけを抽出して、舞台上のディスプレイにリアルタイムで投影して「分身の術」を実現する演出もあるということで、面白いと思います。
堤 礼実 キャスター：
音声についても、楽しい試みがあるようですね。
IoT NEWS代表・小泉耕二さん：
3D映像で作られたデジタル上の中村獅童さんが、ご本人の声で、英語を発音している様子もみられます。
これは、音声にあわせて仮想空間上の中村獅童さんの顔を動かす技術と、音声合成といって、中村獅童さんの声で英語を発話する技術が一体となったものです。
堤 礼実 キャスター：
新しいデジタルの活用が進む一方、課題などはあるのでしょうか。
IoT NEWS代表・小泉耕二さん：
最近、声に合わせて顔の動きを動かす技術が登場し、有名人の顔写真をつかった詐欺事件も起きています。
今回の口の動きと音声を合成するような技術は、そういったところに利用される可能性もあり、デジタル透かしを入れるなど、対応が検討されています。
こういった問題が出る一方で、現実の演者と仮想空間上の演者を掛け合わせることで、新しい演出方法も生み出されています。
VRヘッドセットなどで没入感を
堤 礼実 キャスター：
デジタルの活用によって、小泉さんはどのような演出を期待しますか。
IoT NEWS代表・小泉耕二さん：
個人的には、大画面に高精細の映像を映し出すことで、現実世界と仮想空間のコラボをよりダイナミックに行う、さらにはVRヘッドセットや触覚フィードバックの技術を使うことで、より没入感のある演出を実現できるようになるのではないかと思います。
新しい技術の使いこなしによって、エンターテイメントの世界での表現が、より一層深まる可能性を感じます。
堤 礼実 キャスター：
文化を継承していくには、その時代に合った何かが必要だと思います。歌舞伎という日本の伝統文化に、現代のデジタルというテクノロジーが掛け合わさることで、新たな可能性が見えてきそうですね。
（「Live News α」12月5日放送分より）
