インテグラルイメージング？ (Integral imaging)
前回は3次元画像化の一手法であるホログラフィーについて簡単に触れました。
今週はマイナーな手法である現在筆者のメインの研究テーマについて解説します。
それはインテグラルイメージング(Integral Imaging)と呼ばれる手法です。
インテグラルフォトグラフィー(Integral Photography)とも呼ばれます。
ライトフィールド(Light-field)といったほうが知名度あるんですかね…
一時期、撮影後にピント合わせが可能なカメラとしてLYTRO社が販売したライトフィールドカメラが世間を賑わせました。え、賑わってないって？気持ちはわかります。 3年前で筆者も当時はこの研究をしていなかったので、ふ~んぐらいのものでしたが、私の知る限りで民生品になった当分野の製品はまだこれぐらいです。 親戚の技術であればNintendoが販売している3DSや、全くご存じないと思いますが東芝のテレビ なんかも挙げられます。 自分も今確認しましたが、東芝のページは我々の研究のメリットが書いてあってなかなか良いページですね。 もうじぶん記事書くのやめていいですかね(ﾉД`)
大雑把にいいところをまとめますと、
- 特別なデバイスを装着することなく裸眼で立体視が可能(原理的には単眼でも可)
- フルカラーでの映像表現が可能
- 複数人での視聴が可能
逆に問題となる点は以下のとおりです。
- 3次元映像の解像度が低い(鮮明ではない)
- 奥行方向の解像度が特に悪い
- 視野角が狭い
今回はインテグラルイメージングの大まかな原理と上記の原因がなんとなーく分かればバッチリです。
インテグラルイメージングの撮影原理
東芝の3Dディスプレイはテレビ用なので、水平方向のみに光を屈折させる「レンチキュラーレンズ」とよばれるかまぼこ状のレンズを使っていました。しかし、伝統的な(？)インテグラルイメージングではレンズアレイとよばれる複眼状のレンズを使用します。
様々な視点の画像…太字になっているためか気になる部分ですね？ 簡単な理解のためには視差(正確には両眼視差)が最も良いでしょう。 視差とは人間の眼のように2つの視点から同じ対象を見たときの映像位置の違いです。 この視差は近いものほど大きく、遠いものほど小さくなります。 目に手を近づけて片目を交互に閉じたり開いたりすると、見える位置がずれているのがわかると思います。 逆に月を見ながら同様のことをすると全く動いた感じがしません。
視差が理解できればもうインテグラルイメージングを理解できたのも同じです。 先程の写真には多くの視差情報が含まれています。 あらゆる視点から見える視差が凝縮されていると思うと、なんだか3次元映像になりそうな気がしてきましたね！
インテグラルイメージングの3次元映像の作り方
あらためて先程の写真を見てみると、隣り合うレンズの画像間でよく動いているものが近く、そうでないものが遠くにあるはずです… が、ぱっと見わからんですよね！ しかし視差がどこかに存在することだけは確かです。 ここは写真をちょっとずつずらして重ねるのが手っ取り早そうです。さっそくやってみましょう
おぉ！！なんかみえますね！！(三文芝居)映像は焦点位置が手前から奥へと移動しており、これはカメラがフォーカスを合わせるときと同様の現象です。 焦点位置の遷移から、どうやら金ピカの猿が手前に、そして奥に車が続いているっぽそうですね。
しかし、なんだか映像があまり鮮明ではないような…と思った方はえらい。 多視点写真は一眼レフで撮ったぐらいの解像度(2048px四方)なのですが、一つ一つの視点をずらして重ねているので、3次元映像の解像度はレンズ数が増えるほど落ちます(すべてが完全に重なると205px四方)。
ではレンズ数を少なくすればいいのかというとそんなうまい話はなく、そうすると非合焦位置でデフォーカス(ボケ)が得られなくなり、なんだか不自然な映像になります。
今回使用したプログラムは次回解説します。 プログラムの腕に覚えのある方はこちらに元画像を置いたのでご自由に料理してください。
ホログラフィーとの違い
ホログラフィーは位相を干渉縞に変換することで記録していました。 干渉縞は光の位相をほぼ直接変換したような形で記録できます。 対してインテグラルイメージング(ライトフィールド)は位相を多視点画像内の位置情報に変換することで記録しており、あまり厳密ではない変換手法です。
よって3次元画像の情報量や精度という点ではホログラフィーに軍配が上がります。 しかし、それを補って余りある利点がフルカラーでの表現が容易、レーザー光源が不要という2点です。 なんといってもインテグラルイメージングはレンズアレイさえ用意すれば(なくともカメラを動かして撮影することで)、スマートフォンのカメラでも記録できます。
まとめ
- インテグラルイメージングはレンズアレイを通して光の位相を位置情報に変換して記録する
- フルカラーで容易に記録できる
- 3次元映像の解像度はレンズアレイのレンズ数に比例して低くなる