新しいメガネに買い換えようとした時、裸眼では視力が悪く「試着した自分の姿がよく分からない」と困った経験はないだろうか。似合っているかどうかの判断が難しいこともあるかもしれない。
そんなメガネユーザーの悩みを解消してくれそうな装置がある。
それが「バーチャルメガネ試着装置」だ。
この装置は、普段使っている度付きのメガネを着用したままで、“試着”したいメガネを選ぶ（メガネのQRコードを読み込ませる）と、自身の顔が映るモニター上では、着用しているメガネが消えて選んだメガネに変わり、“3Dバーチャル試着”ができるというのだ。
実際には度付きメガネを着用しているので、自分の試着した姿をモニターでしっかり確認することができる。顔を左右に動かしても試着メガネがついてくるので、横からの見え方もわかる。
開発したのは、人工知能の研究開発などを行う株式会社ネフロックとAIを活用した新規事業開発などを手掛ける株式会社KAZAK。独自の学習エンジンを用いたAI技術を活用しており、「バーチャルメガネ試着装置」に関する特許も1月に取得した。
「メガネ オン メガネ」の状態で、自分のメガネをかけたまま、他のメガネの試着ができるのは、視力の悪い人にはとても嬉しいことのはず。
なぜこのような装置を開発したのだろうか？ そして、具体的にはどのような技術を駆使しているのだろうか？ 接触を避けたいコロナ禍にも対応していると言えるが、詳しい仕組みを株式会社ネフロックの担当者に聞いた。
着用中のメガネをリアルタイムで映像から消す
ーーこの装置はどういう仕組みなの？
当技術は、ディープラーニングを用いた独自の画像生成・変換・除去エンジンにより、着用中のメガネをリアルタイムで映像から消しメガネ無しの画像を生成しており、その上から他のメガネを3Dバーチャル試着することができるプログラム・装置です。
リアルタイムに行われるので、試着したいメガネを次々に変えながら、ストレスなくスムーズに試着を行うことができます。
ーー開発したきっかけは？
ネフロックでは2014年頃からディープラーニングを用いたAI技術に注力し、開発に取り組んで参りました。そのAI開発の流れの中でご縁があり、今回の特許を共同で手掛けたKAZAK社と企画を株式会社ジンズ様に持ち込み、2016年に開発を成功させたのが、”メガネの似合い度を判定するAI「JINS BRAIN」“です。
その後、2018年には画像ではなく”映像”のAIによるリアルタイム処理エンジンの開発に成功し「リアルタイムな映像処理AI」の可能性を考えていました。
中でも、周囲のメガネユーザーの声やSNS等でも度々話題になっていた「試着しても見えない」というニーズに注目し、どうすればそれを解消できるかアイデア出しを続けていた時、ジンズ様から試着の悩みに関するご相談があり、本格的に実用化を目指す流れとなりました。
ーー本格的に開発を開始したのはいつ？
本格的な開発に着手したのは2019年初旬です。渋谷PARCOが次世代デジタルファッションビルへとリニューアルするにあたり、ジンズ様も最先端テクノロジーを取り入れた新しい購買体験を提供する次世代店舗としての出店が決まりました。
2019年11月OPENの新店舗での実用化に向け、新たな試着体験を提供するこの技術の実用化を本格的に進めることになりました。
世界初だからこその3つの困難
ーー装置の特徴を教えて
従来のバーチャルフィッティング技術では、着用しているものが見えている状態でその上に画像を合成したり、アバターを生成して試着したりという方法が主流でした。
しかし、当技術ではリアルタイムで映像から特定の物体を取り除き、その上からバーチャル試着をすることができる世界初の技術により、実際の試着に近い、今までにない自然なユーザー体験を提供することが可能になったことです。
通常、近視用レンズでは目が小さく、遠視用レンズでは目が大きく見えるため、店頭の度無しのレンズでは目の雰囲気が変わってしまいます。
この装置では、もともとの度入りのメガネを着けたままなので、度入りのレンズを着けたときの目の大きさで試着することができます。
ーー開発で大変だったことはある？
一度築いた方法をやめてまたイチから手法を検討して開発し直すなどたくさんの失敗と試行錯誤を経て、最終的な独自の手法へとたどり着きました。やはり一番大変だったことは「いかに着用中のメガネを消すか」です。
世界初の技術であるがゆえの困難が、大きく分けて3つありました。
1：適切なデータがないこと
一般的に、「メガネをしている顔」の画像から「メガネをしていない顔」の画像を生み出すには、その双方のペアとなる画像データを準備して学習する必要があります。しかし、そういったデータは当時存在しませんでしたし、物理的に用意するのがほぼ不可能だと思われていました。
2：適切な論文や先行技術がないこと
ネフロックでは常に最新の研究論文をリサーチし、実験をして最適な方法をカスタマイズして開発を進めております。その中でも今回の技術は、相応するような論文や先行技術がなかったため、様々な論文を独自に組み合わせて実験を重ねました。
3：精度が重要であり、かつその指標がないこと
ユーザーにとって違和感なく使っていただけるクオリティを目指す必要があったため、精度向上を図り続けました。初の技術であるがゆえに、目指すべき精度の指標も特に存在しない状況だったため、いかにユーザー目線でクオリティを判断するかが重要でした。
ーーこだわった部分はどこ？
最もこだわったのはユーザー体験です。ユーザー視点での設計を重視しました。技術視点での最適な方法と、ユーザー視点での最適な方法は全く異なる可能性があります。
開発側にとっては好都合でも、ユーザーにとっては試着するのが面倒であまり使われないかもしれない。つくりたい体験イメージを描いた上で、「ではメガネを外さずに実現するにはどうすれば良いか？」を検討していきました。
また、仕上げの段階でもユーザー視点での評価にこだわりました。精度は当然重要、でも遅延が大きいと快適なユーザー体験とは言えないため、速度と精度の絶妙なバランスを取ることを工夫しました。
ーー完成した装置を実際に使用してどうだった？
開発者以外のメガネユーザーの社員が実際に店舗で使用した際、以下の感想をもらいました。
「長年の悩みだったことが解消され、店頭でのメガネ選びが楽しくなった」
「姿が見えにくいこと以外に、店頭の度無しのメガネを試着して似合ったと思っても、実際に出来上がった度付きのメガネを掛けると雰囲気が変わってしまうという経験が多々あったが、この装置を使えばその問題が起きないところがとても良かった」
さらに担当者は、「現在、新型コロナウイルスに伴う意識や行動の変化により、ユーザーにとっては試着への心理的なハードルが上がり、販売員にとっては消毒等の作業負荷が加わっている状況が推察されます。バーチャルフィッティングの導入は、両者の負担を軽減する新しい試着のあり方として期待できます。」と語ってくれた。
多くのメガネユーザーが抱えていた悩みが解決されそうな「バーチャルメガネ試着装置」は、現在JINS渋谷パルコ店に導入されているという。新型コロナの影響で、たしかに実際に試着することへのハードルは上がっていることだろう。そのような観点からも「バーチャルメガネ試着装置」は今後、注目されていくかもしれない。
【関連記事】
家にいながら度付き眼鏡を作れる！メガネスーパーの「リモート視力検査」はコロナ禍にぴったり
メガネが曇りにくいマスクを「靴工房」が開発…ピッタリ装着できる秘密には“靴職人の技術”があった
写真2枚撮るだけで“ぴったりサイズ”の服を提案？「そごう・西武」が売り場にスマホアプリを導入したワケ
