村山 真大
「複数の画像を利用した深層学習によるデプス画像のリアルタイム精度向上」

 
 RGB-Dカメラで撮影して得たデプス画像は、多くのノイズが含まれ、計測値が不正確である場合が多い。本研究では、リアルアイムにデプス画像を高精度化する手法の実現を目指し、複数のデプス画像を入力とする深層学習による新たな高精度化手法を開発することを目的とした。具体的には、まず、連続画像からピクセル毎にデプス値のノイズを低減することで高精度なデプス画像を作成するアルゴリズムを開発した。本アルゴリズムは、既存手法より正確に高精度化でき、データセットの作成に適したアルゴリズムであった。次に、このアルゴリズムによって高精度化したデプス画像を用いて、高品質な学習データを作成する手法を開発した。既存手法で作成したデータセットより実際のRGB-Dカメラのノイズ特性を含んでおり、また、より容易にデータ数を増やすことができるため、ネットワークにノイズの特性を学習させるのに適していることが分かった。最後に、複数の画像を入力とし、リアルタイムにデプス画像を高精度化できるネットワークを開発した。フレーム間の情報を効率的に処理するための様々な手法を用いて、複数の異なる構造のネットワークを設計し、単一の画像を入力とするネットワークより処理結果の精度を向上させることができた。