ヘビでもわかるライトフィールドカメラの原理 その1.2 リフォーカスの原理

前回ライトフィールドとはなんぞやを説明した。
空間を飛び回る光は様々なパラメータで表されるが、それを光線の進行方向のみの４Dで表すこととして簡略化するところまで話した。

ライトフィールドカメラではこの4D light fieldたるものを取得することになっている。
ではこの4D light fieldとは何かを具体的に説明しよう。

4D light fieldの表し方には2つの方法がある。
1．2-plane方式
2．Location-angle方式

2-plane方式は２つの面を定義して光線Lが横切る4つ座標を、

Location-angle方式は１つの平面を定義して、光線Lが横切る座標qと角度pをパラメータとする。

Ngさんの論文では前者を採用しているのでここでもそれに従う。

更にヘビでも分かるくらい簡単にするために２Dにまで落とす。すなわち２つの面の内xとuの２つのみを考える。

では単レンズを用いたカメラ内2Dライトフィールドがどのようなものか見ていこう。

この図はある１点でた光がレンズで再び１点へ結像する様子である。

それではまず２つの面を定義する。

一つはレンズの位置にu面を、

もう一つは結像する位置にx面を定義する。普通のカメラではx面に撮像素子（センサー）が置かれる。

この光線の状態を(x,u）空間にプロットしてみよう。

赤い光線はｘ座標は変化しておらず、u座標が変化している。

すなわちセンサーの同じ場所に到達する光線だが、レンズのどこを通ったかが異なる。

このときxはセンサー上の場所を表すが、uはxにどの「角度」で入ってくるかを表しているとも言える。

実際には赤い光線以外にも別のｘに結像する光もある。（水色で表現）

センサーのあるピクセルの値はどのようになるだろうか？

これはある座

標ｘに入ってくる光を、すべて足し合わせれば良い。

すなわちピクセル値はセンサー上の点ｘにおいて、光強度を角度uに関して積分したものである。

このように積算された信号が絵として読み出されるわけである。

続いてフォーカスがずれた場合についてのライトフィールドを見てみよう。

光線は１点に集まるもののセンサーの手前で結像してしまっている場合を考える。

図の一番上の光線に着目する。

u面上は先ほどと同じ位置を通るがx面では少し下側に到達する。

これをプロットすると下図のようになる。

つまりフォーカスがずれた場合にはライトフィールドは斜めに傾くことになる。

フォーカスのずれ具合によって傾きが変わってくるのである。

この時センサーの出力はどうなるだろうか？

センサーは否応なしに、そこへ到達する様々な角度からの光線を積分するので、

やはり今回も先ほど同様、u方向に積分した値になる。

本来ピントがあっていれば隣の画素に到達するであろう光線も積分してしまうので

ピンぼけ画像はぼやけてしまうのである。

普通のカメラは場所ｘでどれくらい光が入って来るかは記録するが、

それがどんな角度から入ってくるかまでは記録していないのである。

言い換えれば否応無しに積分されてしまって角度uの情報が失われてしまっている。

ヘビより感の良い人はもうライトフィールドのカメラの原理が分かったかも知れない。

もし上のプロットにおいて積分する方向を自由に選択できるとしたらどうだろうか？

それはすなわちピント位置を自由に変化させることに相当する。

光線がどこを通ってどこに到達するか（すなわちxとu）を記録しておき、

それをデジタルで自由に操作することによって、リフォーカスする（ピント位置を自由に変える）ことができるのである。

これがライトフィールドカメラの原理である。

ではどのように角度情報を記録するのだろうか？

実は100年も前にアイデアは出されてあったようだ。

次はその原理について説明しよう。