Deep Learningを用いた隠消現実感透明人間体験
　自分の体が透明になった体験ができる隠消現実感システムです。深層学習を応用しています。HMDを被るとカメラで撮影した外界がリアルタイムで見えますが、自分の手や腕は透明になっている様に見えます。深層学習を用いて手の影になっている領域の映像を推定・再構成しており、単に手の部分を一色で塗りつぶしただけのシステムや、完全なＶＲ環境での体験よりも、高いリアリティで透明人間になった感覚を体験できます。


ビデオはこちら（左がカメラの生映像、右がHMDに提示される深層学習で処理した映像）
透明人間体験の例　InvisibleMan.mp4 (14.6MB)

Deep Learningを用いた深度画像の精度向上・超解像
　通常のカラー画像に加えて被写体までの距離も測ることができる深度カメラ(RGB-Dカメラ)は、トラッキングや3次元再構成など、様々な応用が考えられていますが、取得される深度画像（距離画像）は抜け落ちが多く、ノイズが多く含まれています。本研究では、深層学習を用いて深度画像のノイズの減らすと共に、解像度を上げる研究を実施しています。

拡張現実感を用いた非接触での高さ表示
　拡張現実感を用いれば機器や配管の大まかな高さを短時間で直感的に把握できます。本計測ツールでは、カメラ(XTion Pro Live)を環境にかざすだけで非接触で機器や配管の高さを表示可能です。ビデオでは、環境にレーザを照射しているかのように見えますが、タブレットPCの画面に表示されたカメラ画像の上に拡張現実感の要領でリアルタイムで25cm間隔の等高線を描いています。


ビデオはこちら
拡張現実感を用いた非接触での高さ表示例　EnhanceHeightPerception.mp4 (24.6MB)

拡張現実感を用いた放射線の可視化
　放射線は裸眼では見えませんが、センサでは計測することができます。センサで計測した結果を拡張現実感を用いて可視化すれば、放射線分布を直感的に理解できます。


ビデオはこちら
拡張現実感を用いた放射線の可視化例　RadiVis.mp4 (24.3MB)

拡張現実感を応用した解体廃棄物の運搬・仮置作業検証支援
　大型の機器を解体する場合、一旦、機器を土台から切り離し、作業スペースまでクレーン等で移動後、細断する方が望ましい場合があります。しかし、通路が狭く、作業スペースも限られている場合には、これから解体しようとしている機器が通路を通過できるのか、作業スペースに仮置できるのか、仮置できたとしても作業員が作業するスペースを確保できるのか等を事前に確認する必要があります。また、解体に伴い発生した廃棄物を格納する為のスペースは十分あるのか等も事前に確認する必要があります。解体対象機器や作業現場は、複雑な形状をしていますので、これらを事前に判断することは結構難しい作業です。
　仮置・運搬作業検証支援システムは、拡張現実感を用いて、これらの事前検証を解体の作業現場で直感的に実施できるようにしたシステムです。本システムでは、まず、３次元レーザレンジファインダを用いて作業環境と解体対象機器の３次元形状データを取得します。その後、作業現場でマーカを貼り付けた箱を移動したり、スタイラスペンでタブレットＰＣ画面を操作したりして、仮想的な解体対象機器の位置と方向を設定します。すると、３次元レーザレンジファインダを用いて取得した形状データを用いて、解体対象機器と作業環境の間の接触判定が行われます。接触した箇所は、赤色や黄色のペンキのようなものをカメラ映像上に重畳表示することによって提示されますので、直感的にその箇所を見つけることができます。

　

拡張現実感を応用した原子力発電プラントの解体作業支援
　　原子力発電プラントは、その運転が終了した際には解体する必要がありますが、一般の化学プラントやビルの様にダイナマイトや重機を用いて一気に解体するというわけにはいきません。事前に綿密に計画を立て、その計画に従って手作業で１つ１つ解体していくと共に、廃棄物を管理するために進捗を確実に記録する必要があります。原子力発電プラント内は、非常に複雑な構造をしていますので、計画を立てることや、作業の進捗を記録することは結構難しいのですが、以下の研究では、拡張現実感を応用した支援システムを開発することにより、これらの作業をより直感的・簡単に実施できるようにすることを目指しています。

１．解体作業計画立案支援システムの開発
　　解体作業の準備の際には、作業現場に足場を置いたり、粉塵が飛散しない様にグリーンハウスと呼ばれる防塵ハウスを設置する必要があります。このシステムでは、拡張現実感を用いることにより、実際の作業の現場で、どこに足場を置くべきか、どこにグリーンハウスを置くべきかを直感的にシミュレーションすることを可能にしています。シミュレーション結果から、足場やグリーンハウスを作成するのに必要な材料がどのくらいかも求めることができます。
　　以下は、このシステムの使用例です。作業員が足場やグリーンハウスを置きたい場所にマーカを置くと、まさにその場所に足場やグリーンハウスが設置されている様な映像がリアルタイムで合成されます。映像の視点位置や方向は自由に変更できます。

　

ビデオはこちら
解体作業計画立案支援システムの動作例　DecomPrepare.mpg (47.2MB)

２．解体作業実施支援システムの開発
　　解体作業では、どこをどの順番で解体するかが事前に決めまれますが、紙の上に書かれた指示書だけからこれらを理解するのは結構大変な作業です。また解体作業の進捗状況も、３次元で正確に残す必要がある場合には、紙とペンを用いた記録方法では結構大変です。このシステムでは、Ａ．解体手順参照支援、Ｂ．解体進捗記録支援の２つの支援を実現しています。
　　Ａ．解体手順参照支援では、解体対象物をカメラで写すと、解体対象物の映像の上に、「次に解体するべき箇所」「既に解体が終わった箇所」「解体してはいけない箇所」を色分けした３次元モデルが、位置を合わせて重畳表示されます。ユーザは、この重畳表示された映像を見ることにより、次にどこを解体するべきかを直感的に理解することができるようになります。
　　Ｂ．解体進捗記録支援では、１日の作業が終わった後で、解体対象物をカメラで写すと、その日の作業を開始する前の状況の解体対象物の３次元モデルが、実際の解体対象物に位置を合わせて重畳表示されます。ユーザは、実世界の解体対象物と、重畳表示された３次元モデルの間で違っているところを電子ペン（スタイラスペン）で示すことにより、今日一日で解体した箇所を直感的に記録することができるようになります。
　　以下は、このシステムの使用例です。

　

ビデオはこちら
解体作業実施支援システムの動作例　DecomRef.mpg (20.8MB)

屋外広域トラッキング（屋外景観シミュレーション）
　　屋外でトラッキングする方法としては、Inverse Kinematics GPSを使う方法がありますが、機器が大きく高価です。遠近両用マーカと、マーカ位置自動計測システムを用いれば、屋外で高精度なトラッキングができる環境を安価・容易に構築できます。マーカ位置自動計測システムは、環境に配置した遠近両用マーカの位置と方向を自動的かつ高精度に計測するシステムで、マーカ１個あたり約３０秒で計測することができます。この技術を用いれば、家の新築・改築のイメージを体験する屋外拡張現実感環境を容易に実現できます。

　

ビデオはこちら
屋外広域トラッキングの動作例（家の景観シミュレーション）　OutDoorAR.mpg (14.8MB)

音楽を体験できる拡張現実感環境
　部屋の中にあたかも音楽が「存在」しているかの様な感覚を体験できるシステムです。音楽に合わせて躍動するフルフレームＣＧと３Ｄ音響を用いることで、「音楽の中を歩き回る」という体験ができます。拡張現実感と言うと通常は視覚を用いたものが多いですが、この研究では、視覚と聴覚の両方を対象としています。ノルウェーの大学（AHO; Oslo School of Architecture）との共同研究です。



　

　

こんな形でも実現しています。（共同研究者Halvor氏へのリンク）　　ビデオ(YouTubeへのリンク）

拡張現実感を用いた仮想建築物の可視化
　上記円形マーカを用いてカメラ位置をトラッキングすることにより、コンピュータで生成した仮想の建築物を実在する建築物の上に重畳して表示させることができます。新しい建物を立てた場合や、増築した場合に、景観がどのように変わるかを予め直感的に確かめることができます。
　この技術は、ノルウェーハルデンにあるエネルギー技術研究所とオスロにあるオスロ建築大学に採用されています。現在、廃墟になっている中世の教会を仮想的によみがえらせるプロジェクトが進行中です。
　プロジェクトのホームページはこちら（残念ながらノルウェー語です。）

ビデオはこちら
ノルウェーエネルギー技術研究所の拡張　OsAlle.m1v (13.1MB mpeg)

拡張現実感とRFIDを用いた原子力プラントの系統隔離作業支援
　　拡張現実感技術とRFID技術を組み合わせた作業支援システムの開発研究です。系統隔離作業に拡張現実感を適用する場合の最適な情報提示デバイスの比較評価実験も行っています。

ビデオはこちら
疑似バルブの探索タスク実験　SearchPseudoValve.mpg (17.2MB mpeg)
ＡＲ技術を用いた探索タスクの支援　SearchWithARSupport.mpg (18.1MB mpeg)
ＡＲ技術を用いた探索タスクの支援(４分割)　SearchValve.mpg (11.0MB mpeg)

レーザポインタを用いたプリント基板作成支援システム
　　レーザを用いて部品の取得元と挿入先を自動的に示すことによりプリント基板の作成作業を支援するシステムです。

ビデオはこちら
システム動作例　PCBMakingSupport.mpg (15.4MB mpeg)