JALの担当者に聞いたMS「HoloLens」の使い道

2017年01月13日更新

法人市場にMixed Reality上陸

現実世界と仮想の世界を組み合わせて新たな空間を形作る複合現実や、完全に仮想的な空間を作り上げる仮想現実の世界がいよいよ本格化してきた。日常の空間の拡張や加工が可能なツールが生み出す新たな体験は、ビジネスシーンにおける価値創造の在り方をリアルに変えていきそうだ。

MR, AR Mixed Reality, Augmented Reality

透過型のグラス越しに見る世界には、いつもと違う景色が広がっている。現実に情報が付加され、複合されたその視野を利用すれば、この世界はさらに豊かになるはずだ。可能性は、ビジネス、教育、観光などあらゆる領域に及んでいく。

現実と仮想の世界を融合

マイクロソフトが発表した「HoloLens」によって、複合現実(MR:Mixed Reality)という言葉や概念に注目が集まり始めている。MRという概念は、ヘッドマウントディスプレイ(HMD)上に完全な仮想空間を構築する仮想現実(VR:Virtual Reality)と、HMDやスマートグラス越しに見える現実の世界にさまざまな情報を付加する拡張現実(AR:Augmented Reality)との中間に位置づけられる。

仮想現実は完全な仮想空間を構築するため、場所に依存しない。一方、ARは現実世界に情報を付加するため、場所に依存する。その中間のMRは、場所に依存せずに現実と仮想の世界を融合させられる技術になると言えそうだが、実際にはMRとARの境界は曖昧だ。それではMRを実現すると謳うHoloLensでは何ができるのか。すでに2015年の夏からマイクロソフトと共同でHoloLensを利用した業務改革に取り組んでいる日本航空(以下、JAL)の事例が参考になる。

JALは、競合他社との差異化を実現するイノベーションを起こすために、常に最新技術に注目している。これまでにもGoogle GlassやiBeaconとスマートウォッチの活用、IoTの実証などを進めてきた。その中で、2015年に発表されたHoloLensもまた、「JALのイノベーションを実現するツールになるのではないか」(日本航空商品・サービス企画本部業務部業務グループグループ長速水孝治氏)と考えた。そこで実際にマイクロソフトと共同で2015年の夏からプロジェクトを開始。2016年の春に、JALの業務に最適化されたHoloLensのアプリケーションを開発して検証を進めている。アジアで初、エアライン企業としても初の試みだ。

ホログラムを訓練に活用する

(左)日本航空商品・サービス企画本部業務部業務グループグループ長速水孝治氏、
(右)日本航空商品・サービス企画本部業務部業務グループアシスタントマネジャー澤雄介氏。

JALが注目したHoloLensはそもそもどのような製品なのか。マイクロソフトの説明では、自己完結型ホログラフィックコンピューターとある。これは、製品自体にWindows 10が搭載されていて、単体でホログラムの描画が可能なことを意味している。つまり、アプリケーションを利用するためにPCやスマートフォンと接続する必要がなく、ワイヤレスで活用できるのだ。スピーカーも内蔵されていて音を出すことも可能。また、センサーによって装着者の位置を把握することで、レンズ越しに見えるホログラムの投映位置を固定化したりできる。操作は装着者の指の動きや音声などを認識して可能にする。もちろんバッテリー駆動だ。

このような特性を備えるHoloLensは、JALの業務にどう使えるのか。導き出した答えが運航乗務員と整備士の訓練への活用だった。「当初は訓練以外にも、顧客サービスや貨物郵便などの用途を想定していましたが、MRを実現するHoloLensのもっとも効果的な使い方が、訓練への活用でした。ARでもVRでもなく、MRだからこそできる活用形態をマイクロソフトとともに目指したのです」(日本航空商品・サービス企画本部業務部業務グループアシスタントマネジャー澤雄介氏)

JALが開発したHoloLens用アプリケーションのメニュー画面。

なぜ訓練だったのか。JALが訓練における課題として抱えていたのは、実際の機体を利用した訓練の機会を創出することが難しいこと。運航乗務員の訓練においては、シミュレーション装置も活用されているが、訓練を受けるためにはシミュレーション装置が設置されている場所まで行かなければならず、順番待ちなども生じる。かといって、高価なシミュレーション装置を何台も設置するわけにはいかない。「新人の運航乗務員は、模造紙にコクピット内部の様子を書いて、計器やスイッチ類の場所を覚えたりしていますが、リアルなコックピットとのギャップはどうしても生じてしまいます」(澤氏)

整備の訓練においても、航空機が運航していないスケジュールを活用しているが、訓練時間が限られてしまう。教科書に掲載されている写真では裏側などの細部がわからないこともある。

こうした課題を抱える中でJALは、HoloLensを利用すれば、実際の機体と同様のリアルなホログラムで運航乗務員や整備士の訓練が可能になると考えたのだ。「リアルな飛行機をどこでも見られるようにする、がメインコンセプトでした」(澤氏)

自身の体を見ながらシミュレーション

ボーイング737-800型機運航乗務員訓練生用トレーニングツールで見えるコックピットのイメージ。

JALが実際に開発したのは、「ボーイング737-800型機運航乗務員訓練生用トレーニングツール」と「ボーイング787型用エンジン整備士訓練用ツール」だ。運航乗務員訓練生用のツールでは、ボーイング737-800型機のコックピットがHoloLensを通して現実の空間にホログラムとして浮かび上がる。精細なコックピット内の計器・スイッチ類の操作を自らの体を使ってシミュレーションできるようになる。

「コックピットにおける操作手順を学習する際には、自身の手を使って行うことが非常に重要です。体に覚えさせる必要があるからです。MRを実現するHoloLensならば、現実の空間にコックピットを浮かび上がらせることができるため、計器やスイッチ類と自身の手を確認しながらの訓練が可能になります。この点がMRの良さですね。ホログラムを見ながら教科書や書類も確認できます」(速水氏)

ボーイング787型用エンジン整備士訓練用ツールで見えるエンジンのイメージ。

エンジンの整備士訓練用ツールでは、エンジンの構造や部品名称、システム構造などをホログラムで自由に学習できるようになる。教科書に掲載されている平面図と異なり、立体的なホログラムで学べるため、効果的な学習が可能だ。「エンジンの構造に加えて燃料の流れ方などもホログラム上で再現できるため、教科書などではイメージしにくい部分も体感的に学習できます。また、HoloLensは視線を認識するため、視線を使った操作が可能ですが、その視線を利用した訓練も実現します。高度な技術を持ったベテラン整備士の視線を訓練用ツールに取り入れることで、ベテラン整備士の視線の流れを学べるようになるのです」(澤氏)

アプリケーションの開発においてもチャレンジがあった。エンジンのホログラムをCADデータなしで作り上げたのだ。「エンジンのCADデータはエンジンメーカーが所有しているため、当社にはありません。そこで、航空機のエンジンをカメラで360度撮影して、そのデータからホログラムを作成したのです。写真の撮影枚数は数万枚に及びましたが、最も構造が複雑なエンジンのホログラムを作ることができたので、他の部分も作れると判断しました」(速水氏)

実証は進められていて、利用者からも「これなら使える」という声が挙がっている。JALでは二つのアプリケーションの開発をさらに進めて実用化を目指すとともに、そのほかの領域でのHoloLensの活用を検討していくという。

ARのあるべき姿

シリコンOLED(有機EL)を採用したスマートグラス「MOVERIO BT-300」。
従来製品では実現できなかった表示枠を意識させない映像表現を可能にした。商用モデル「BT-350」は2017年2月から発売開始予定。

「真のARを実現した」――。セイコーエプソンビジュアルプロダクツ事業部 HMD事業推進部部長の津田敦也氏は、ARを実現するスマートグラス開発のノウハウの結晶である「MOVERIO BT-300」について、こう断言する。

現実世界を拡張できるスマートグラスをこれからさらに普及させるためには、グラスの存在を意識させなくすることが重要だ。それにはグラス越しに見ている現実世界と付加される情報との一体感を高めたり、装着時の負荷を軽減させていく必要がある。

エプソンが提供するMOVERIOの従来モデルでは、グラスの視野の中に現実世界と情報の境目がうっすらと見えていたため、一体感が少し薄らいでいた。そこで同社は、この課題を解決すべく、新しいモデルであるBT-300の光学エンジンに、エプソン独自の0.43型超小型高精細カラーのシリコンOLED(有機EL)ディスプレイを採用した。これによって、MOVERIO越しに見る現実世界とMOVERIOのグラス上に表示される情報の境目がなくなり、現実世界と情報が一体化して見えるようになっている。

BT-300の視野イメージ。現実世界と情報の境目がなく一体化して見える。

また、装着時にストレスがかからないように、BT-300では前モデル「BT-200」と比較して約20%の軽量化を実現させた(ヘッドセット重量 BT-300 約69g、BT-200 約88gで比較。ケーブル、シェードは含まず)。また、重量配分などで装着性を向上させて長時間装着してもストレスなく使用できるようにしている。これらの進化を果たしたBT-300は、「AR製品のあるべき姿に到達しました」と津田氏は自負する。

BT-300の商用モデルである「BT-350」は、商用利用向けに堅牢性や装着性を最適化させて、操作性と運用面の機能を強化したモデルとなる。前モデルを販売する中で、法人用途でも活用したいという多くの要望を受けて開発した。

セイコーエプソンビジュアルプロダクツ事業部
HMD事業推進部部長津田敦也氏

世界遺産富岡製糸場で活躍

現実世界にさまざまな情報を付加できるARは、法人市場においてどのように利用されているのか。MOVERIOシリーズを継続して開発してきたエプソンではすでに300社以上の引き合いがあるが、その中で、農業や観光の例を紹介している。

農業では、技術伝承の用途でMOVERIOシリーズが利用されている。MOVERIOを装着した農作業者が見ている視野が、MOVERIOのカメラを介して自宅にいる高齢の名人が見ているPCに投映される。名人はPCの映像上で摘果すべき果実にカーソルを合わせて指示を送る。すると、農作業者のMOVERIO上にその指示が表示される――。ARを実現するMOVERIOを利用すると、このように離れた場所で同じ映像を見ながら、指示を出したり受けたりできるようになる。工場作業などでも同じような使い方が可能だ。

観光ではどのように使われているのか。例えばMOVERIOは、世界遺産に登録された富岡製糸場の観光案内システムとして採用されている。MOVERIOを装着した観光客の視野に明治5年稼働当時の製糸場内の様子や工女が建物内を歩く様子、古写真、錦絵などを投映する。現在の富岡製糸場をMOVERIO越しに見ながら、さらに稼働当時の状況のCGや映像などを重ねて見られるのだ。歴史の理解を楽しみながら深められる試みである。現在は事前予約制で実施されている。

この取り組みは、近畿日本ツーリストと凸版印刷が共同で実施している。近畿日本ツーリストはウェアラブルデバイスをはじめとする最先端技術と旅を融合させたスマートツーリズムを推進する。スマートツーリズムでは、失われた文化財や街並みをはじめ、さまざまなシーンにおける復元・再現で、仮想世界と現実世界が融合する複合現実感を味わえる新たな観光手法などが提案される。

このような取り組みを実現するツールとしてMOVERIOのようなAR製品に注目が集まっている。津田氏も「現在の現場にいながら、見ている視野を過去にまで拡張できるARは、観光産業との相性がいいですね」と話す。歴史的な観光名所が多く訪日外国人も急増している国内において、こうしたARを活用した取り組みは非常に有効だろう。

子どもたちは魔法のメガネと呼ぶ

ドローン用のアプリを使えば、ドローンのカメラで撮影した映像をリアルタイムで確認できる。

エプソンがMOVERIOの活用で力を入れているのが文教市場だ。すでに地元の小学校でMOVERIOを利用した授業が行われている。例えば、MOVERIOを装着した状態で星空を見ると星座の解説が表示されるアプリケーションを利用して、星空の理解を深める課外授業が実施された。

津田氏はこれからの学校で必要なのは総合的な学習だと考えている。理科の授業でプレゼンを行うような場合、ベースは理科の内容になるが、プレゼンのシナリオ作りには国語の能力も必要になる。そうした視点による学習のハブとして地元の小学校ではMOVERIOが活用されている。取り組みの一環として、エプソンと生徒たちは一緒にアイデアソンやハッカソンを開催した。MOVERIOを授業でどのように活用していくかを真剣に議論し、生徒たちが考えたものが実際にMOVERIOのARで表現されている。そのような取り組みの中で生徒たちは、MOVERIOのことを“魔法のメガネ”と呼ぶようになった。MOVERIOを使った生徒たちが感じている驚きや喜びが、魔法のメガネという表現につながっている。

また、ARデバイスであるMOVERIOは、VRのように視界がすべて閉ざされない。そのため、装着しながら他の生徒や先生とコミュニケーションがとれる面も魅力だという。生徒たちがMOVERIOを市役所や老人ホームなどに持ち出して、自分たちで考えたコンテンツを市民やお年寄りとコミュニケーションをとりながら説明したりするような取り組みも始まっている。

このような使い方が可能なMOVERIOには、専用のアプリケーションダウンロードサイト「MOVERIO Apps Market」も用意されている。ラインアップの中には、例えば、DJIのドローンのカメラ映像をMOVERIOで見られるようにするアプリケーションもある。これらのアプリケーションとMOVERIOを一緒に提案できれば、さらに市場を拡大させられると津田氏は考えている。