強豪アイルランドを破った日本の歴史的勝利で盛り上がりを見せるラグビーワールドカップ。各地のパブリックビューイングは、多くの人で賑わっていた。

そんな中、スポーツ観戦が劇的な変化を遂げていることをご存じだろうか?

映像なのに、まるで目の前で試合をしているかのような超リアル空間を再現する最新デジタル技術の登場によって、会場に行かなくても臨場感たっぷりに試合を楽しむことができるのだ。

めざましテレビの「ココ調」では、進化するスポーツ観戦の最前線を調査する。

カメラ5台の映像を1つに…幅17m!超ワイド合成映像

2019年5月に行われたJリーグのヴィッセル神戸vs鹿島アントラーズの試合。スタジアムで観戦しているかのような光景だが、観客が見ているのは映像で、幅17m、高さ4mの超大型スクリーンを使った「デジタルスタジアム」だ。

このスポーツ観戦技術を開発したのは、NTT横須賀研究開発センタ。実際に目の前で映像を流してもらうと…

藤井弘輝アナウンサー:
うお~!えっ何これ!?目の前で試合しているみたい!どうやって撮ってるんですかね、これ?

この記事の画像(20枚)

スクリーンいっぱいに映し出された野球の試合映像。実は、これは1つのパノラマ映像ではない。

NTTサービスエボリューション研究所 宮武隆主幹研究員:
NTTで研究している「Kirari!」という4Kカメラ複数台(の映像)をつなぎ合わせて、パノラマ映像をつくる「超ワイド映像合成技術」という技術です。高解像度で、本当にそこにいるかのような体験ができると…

超ワイド映像合成技術は、5台のカメラで撮影した映像を1つにつなぎ合わせたもの。

しかし、スクリーン間近で映像をよく見てみても…

藤井弘輝アナウンサー:
おそらくこの辺に映像の境目があるはずなんですが、全くわからないですね

NTTサービスエボリューション研究所 宮武隆主幹研究員:
5台のカメラを両方ともちょっと被るように撮影して、その被ったところを見えないようにつなぎ合わせるということで、1台のカメラで撮ったかのようなものが高解像度でご覧いただけます

実物の卓球台×AIで超リアルな立体映像を実現

さらに、もう1つ驚きの技術があるというので、案内してもらうことに…

ステージの上に置かれていたのは、なんの変哲もない卓球台。

しかし、ここに驚きの仕掛けがあった!

NTTサービスエボリューション研究所 宮武隆主幹研究員:
お願いします!

すると卓球をプレーする選手の姿が浮かび上がってきた…

藤井弘輝アナウンサー:
ええ~っ!人がいる!卓球台は?

NTTサービスエボリューション研究所 宮武隆主幹研究員:
本物です

藤井弘輝アナウンサー:
人は…?

NTTサービスエボリューション研究所 宮武隆主幹研究員:
映像なんです、実は…

NTTサービスエボリューション研究所 宮武隆主幹研究員:
普通にカメラで撮った映像から、人の部分だけをリアルタイムに切り取るという技術です。本物の卓球台を置いておけば、別会場で卓球をやっている方の映像を遠隔地でも中継で、卓球をそこでやっているかのように楽しむことができます

これぞ、NTTが5年をかけて開発したという超リアルな臨場感を味わえる「被写体抽出技術」

普通に撮影した映像からAIが人の形を検出。そこから一度、粗めに人を切り出し、最後に自然に見えるように背景と人の境界線をなめらかにすれば、動いている人だけをキレイに切り出すことできる。

また、切り出した人物に影をつけて、より立体的に見せることもリアルタイムで出来るという。では一体どうやって普通の映像を本物の卓球台と組み合わせて立体的に見せているのだろうか?

卓球台に近寄ってみると…

藤井弘輝アナウンサー:
あっ下に映像がある!

NTTサービスエボリューション研究所 宮武隆主幹研究員:
透明なフィルムで出来ている鏡が置いてありまして…

観客とステージの間に斜めに設置したハーフミラーに映像を反射させることで、映像が立体的に浮かび上がって見える仕組みなのだ。

藤井弘輝アナウンサー:
会場行かなくてもいいどころか、こんな近くで見られる席ってなかなかないですよ。だってこれ、審判の角度ですもんね。パブリックビューイングの進化形じゃないですけれども…夢の世界ですよね

NTTサービスエボリューション研究所 宮武隆主幹研究員:
これからスポーツのイベント、例えばオリンピックとか他の大きな大会であったりとか、あとは音楽ライブとかで、遠隔でもそこにいるかのような形で楽しんでいただけるような技術をこれからどんどん世の中に広めていきたいなと思っています

陸上・フェンシングにも最新技術が波及

そして現在、ドーハで行われている陸上の世界選手権で初めて実用化されたのが、スターティングブロックに設置された2台の超小型カメラ「セイコーブロックカム」だ。

スタートを待つ緊張感あふれる選手の姿を真下から見ることができたり、ゴールに向かう後ろ姿を見ることもできるようになった。

一方、来年のオリンピックに向けて実用化を目指しているのが、フェンシングの素早い剣先の動きを可視化するシステム「フェンシング・ビジュアライズド」

これにより、観戦していても早すぎてよく分からなかったフェンシングが、誰でも楽しめるようになるという。

瞬時にリプレーをCG合成しボールの動きを可視化

続いてのスポーツ観戦最新技術を調査するため、ココ調取材班は大阪市にある丸善インテックアリーナ大阪へ向かった。

連日、熱戦が続くワールドカップバレー2019。女子に続いて10月1日からは男子大会が開幕し、強豪イタリアを相手に見事、日本が勝利した。

そんな中で注目を集めているのが、今回、この大会で初めて導入されたリプレー映像で使われているCGだ。ボールの動きを示す軌跡やスパイクの高さなどを可視化し、これまでとは違う楽しみ方が出来るようになった。

一体、どんな仕組みになっているのだろうか?

パナソニック コネクティッドソリューションズ社 イノベーションセンター 井村康治さん:
パナソニックが開発した「3Dトラッキング」システムで、この会場内で計算しております

そのシステムを特別に見せてもらうと、そこにあったのは普通のパソコンのみ。

藤井弘輝アナウンサー:
もっとたくさんの機械がズラッと並んでいるかと思ったら…

意外にもシステムはシンプル。会場内に設置された4台のカメラで試合を撮影し、その映像をパソコンでAIが解析・数値化しているのだ。

パナソニック コネクティッドソリューションズ社 イノベーションセンター 井村康治さん:
(4台のカメラで)ボールの動きを全部捉えておりますので、選手がサーブをするとボールが動いているところに赤い丸が追従し、その座標データを(CG担当に)送信して画像を作ります。AIを使った画像解析でボールの場所を瞬時に検出できるようになりましたので、こういった技術が可能になりました。

実際の試合中に3Dトラッキングシステムの様子を見てみると…

藤井弘輝アナウンサー:
ボールに赤い点がしっかりついていますね。ボールを必ず追いかけていますよ!

スローで見てみると、確かにボールの位置を正確に把握し、赤丸がボールを追いかけていることがわかる。

さらに、チームの判別や背番号、プレー内容なども同時にAIが解析する。

そのデータを中継車へ送信し、そこでボールの軌道などのCGを自動で作成。実際のプレー映像に合成して、放送に載せているのだ。

藤井アナが「3Dトラッキング」の実力を体験

リプレー映像CGの仕組みがわかったところで…

藤井弘輝アナウンサー:
この3Dトラッキング、どのくらいの速さで数値が出せるのか?私がバレーボールをやって実際に確かめてみたいと思います!

堺市立堺高等学校バレー部の3人とワールドカップバレーのスタッフ協力のもと、実際のコートをお借りして検証することに。

(※バレー部員がサーブを打つ)

スタッフ:
(数値)はい、出ました

ココ調取材班:
えっもうですか?いま打ったばっかりですよ!

スタッフ:
打ってから1秒以内には計算完了します

なんと、計測までの時間はわずか0.87秒!ぼほリアルタイムで計測できている。そのため、藤井アナウンサーがスパイクが決まって喜んでいる間に…

スタッフ:
リプレー出ます!

藤井弘輝アナウンサー:
うわースゴイ!もう!?早い!レシーブが上がってトス、私のスパイク決まった!なめらか~!こんなに早く出るんですね。たった今やったばかりですよ

リアルタイムでプレーを計測しているからこそ、プレー終了後すぐにCGを合成して放送することが可能なのだ。

パナソニック コネクティッドソリューションズ社 イノベーションセンター 井村康治さん:
将来的には、他の競技への活用というのもありますし、選手ごとのパフォーマンスの改善・強化といった目的にも使えると思いますので、そういったところに活用していきたいと思います。

FIVBワールドカップバレーの男子第2戦、日本と世界ランク4位のポーランドとの試合は、10月2日午後7時から生中継。ぜひ、最新の3Dトラッキングシステムにも注目して応援してほしい。

(「めざましテレビ」『ココ調』10月2日放送分より)

(「めざましテレビ」特設サイトでは、「今日のココ調」など人気コーナーのコンテンツが無料で楽しめます!特設サイトはこちら