静止画像から3次元画像を作る

2020-04-21

We propose a method for converting a single RGB-D input image into a 3D photo, i.e., a multi-layer representation for novel view synthesis that contains hallucinated color and depth structures in regions occluded in the original view. We use a Layered Depth Image with explicit pixel connectivity as underlying representation, and present a learning-based inpainting model that iteratively synthesizes new local color-and-depth content into the occluded region in a spatial context-aware manner. The resulting 3D photos can be efficiently rendered with motion parallax using standard graphics engines. We validate the effectiveness of our method on a wide range of challenging everyday scenes and show fewer artifacts when compared with the state-of-the-arts.

Deeplにて翻訳

本研究では、RGB-Dの単一入力画像を3D写真に変換する手法、すなわち、元の画像では見えない領域に幻覚的な色と奥行きの構造を含む新しい画像合成のための多層表現を提案する。本研究では、明示的なピクセル接続性を持つレイヤードデプス画像を基底表現として使用し、空間コンテキストを考慮した方法で、閉塞した領域に新しい局所的な色と奥行きのコンテンツを反復的に合成する学習ベースの塗り潰しモデルを提示する。得られた3D写真は、標準的なグラフィックスエンジンを用いて、モーションパララックスを用いて効率的にレンダリングすることができる。我々の手法の有効性は、日常の様々な困難なシーンで検証されており、最先端の手法と比較しても、アーチファクトが少ないことが示されている。

はーすごい。Pythonのようですがソースコードも公開されている模様。