臓器が空中に浮く! “現実”と”バーチャル”をミックスした『複合現実《MR》医療』

『VR/AR医療』はまだまだ進化する!「複合現実医療」のパイオニア・杉本真樹医師に聞く

田代尚子
カテゴリ:テクノロジー

  • 「VR」を超える「複合現実医療」テクノロジーで、医療は革新的に変わる。
  • 最大80名のチームで、同時に同じ患部情報を共有できる。
  • 患者一人一人の体内を知り尽くす!これが未来の”Personalized Medicine 個別化医療"。

臓器が空を飛ぶ!『複合現実 Mixed Reality』の手術ナビゲーション

VRと言えばゲームをイメージする人が多いかもしれない。しかし、実はゲーム分野よりかなり前から医療分野でのテクノロジーは進化していた。その中でも世界に先駆けて様々な開発を続けてきたVR医療のパイオニア・杉本真樹医師(国際医療福祉大学大学院)に話を聞いた。杉本医師は、VR医療をさらに革新させ、今や、単なる「仮想」のみならず「現実」と「仮想」をミックスした「複合現実:Mixed Reality」の時代に突入したというのだ。
まずは、この動画を見ていただこう。

これは、オペ中の医師たちの目に映っている患者の体内の映像だ。まさに今からメスを入れようとしている臓器や骨、血管が、空中に浮かびあがっているのがわかる。チーム全員で患者の体内の状態を現実空間で立体視し、位置情報を共有することで「どこから、どのようにメスを進めて腫瘍に到達し、どのように切除または縫合をするのか」を、執刀前に同時に確認できるというのだ。臓器と臓器の位置関係、腫瘍と血管の距離感などを、立体的に正しく空間認識できる凄腕の手術ナビゲーションテクノロジーだ。これにより手術の精度が格段に上がるだけでなく、若い医師も難易度の高いオペにも挑戦できるようになる。モニターやタブレットに触れる必要がないため、滅菌作業が減らせることも大きなメリットだという。

術中には、モニター画面と体内患部の隔たりをなくす為、プロジェクターで皮膚上に直接3D画像を投影して臓器と血管を患者本人にぴったり合わせるイメージ・オーバーレイ手術も可能だ。これらの技術により、手術の成功率が高まるだけでなく、手術時間も短縮、患者の負担が軽減できることは言うまでもない。

次の動画を見て頂こう。上記の映像を共有しながらオペをすすめている医師チームの映像だ。

医師団が何やら空中に向かって手を動かしているのがわかる。頭部に装着しているのが、その「複合現実」を可能とするホロレンズだ。不透明なグラスに3D画像を表示し、センサーやカメラも内臓されているため、バーチャルなデータを現実空間に表示することが可能なのだという。この技術を開発し、さらに手術も担当しているのが杉本医師だ。

最大80人で、臓器の情報を同時に共有。ジェスチャーとボイスで臓器が動く!

複合現実のテクノロジーは、手術ナビゲーションとして活用されるだけでなく、医療教育や患者への説明へも有効に活用される。

これは、ホロレンズをかけた複数の人数で、一つの臓器情報を共有しているトレーニング映像だ。指示者が「膵臓!」と言えば、参加者全員の視線が「膵臓」に集中していることがわかる。同じレンズを装着すれば、最大で80名まで同じ情報が共有できるそうだ。また、ジェスチャーとボイスコントロール機能があるので、指や声の指示で、臓器を大きくしたり小さくしたり、鼓動を聞いたりすることが可能となるのだ。
このトレーニングで患者情報を共有した上、3Dプリンターで作成した臓器を使って手術トレーニングを行えば、実際に臓器にメスを入れるシミュレーションも可能となり、出血や失敗も体験できるのだ。

「Learning is experience. Everything else is just information. (学習とは体験することだ。体験のない学習は単なる情報にすぎない。)〜アルベルト・アインシュタイン〜」

アインシュタインのこの言葉を頻繁に引用する杉本医師。長年医師として患者と向き合ってきた経験からゆえの言葉だろう。

臓器の中に潜入。臓器の中を360度ぐるっと歩く時空を超えた体験。

「Learning is experience. 」
体験が必要なのは、医師だけではない。患者も体験を通じて自身の体内の状態を知ることで病への理解が深まり、現実を直視することができるようになるというのだ。次にご覧頂くのは、ある患者の体内に人が没入している映像だ。


私自身もVIVEというHMD(ヘッド・マウント・ディスプレイ)を装着し没入体験をしてみた。(映像は杉本医師)臓器のまわりを360度歩いたり、上からも下からも眺めるのはまさに時空を超えた体験。臓器や血管、問題となる患部などが手に取るように理解できる。患者は自分の身体の中で何が起きているのか。どうして、手術が必要なのか。手術をすれば、どこにメスが入り何が良くなるのか。自分の身体を知る良い機会となる。

「患者自身が己を知る。病を現実のまま直視し、受け入れて理解することで初めて、本当の意味で、病を克服することになるんですよ。」と語る杉本医師。意外にも、病気で臓器を取り除いてしまった患者が、手術の後に、術前の自分の体に没入体験をすることで、初めて本当の意味で、自分の新しい人生を歩み始めることが可能になるのだという。

医療はまさに、個々人に対応した治療法を提供する個別化医療(Personalized Medicine )時代に突入した。次回は、CTやMRIなどの2Dの診断データを、無料で3Dに変換するテクノロジーを紹介する。



動画提供:杉本真樹 HoloEyes(株)