Image: Apple

手の中の一瞬で、ものっすごい処理が走ってる。

スマートフォンは長い道のりを越えて、現在みんなが持ち歩く最高のカメラへと進化してきました。画素数向上、レンズの追加、光学ズーム、手ブレ補正などなどあらゆる面でのアップグレードによって現在の形に成長してきましたが、最近の進化のほとんどはソフトウェア側で起こっています。

スマホのカメラで撮った写真には、大量の情報が付いてきます。ライティングとか色、強さ、フォーカスなどなどです。これら追加のデータがあることで、撮った後から写真をいろいろいじれます。

コンピュテーショナル・フォトグラフィーの時代に入った今、ユーザーが1回シャッターを押すだけで、スマホ内部では複数の写真を撮っています。複数の写真をアルゴリズムが見比べて色やフォーカスなどを調整し、さまざまなスマートな加工を可能にしています。これらスマートな加工の内容やその裏にある機械学習の方法はメーカーによって違いますが、広く使われている技術はいくつか共通のものがあります。

露出のバランス

ハイダイナミックレンジ（HDR）は、TVとか動画ストリーミングとか、スマホのカメラでも使われるようになってしばらく経ちました。HDRの目的は、画像の暗い部分でも明るい部分でも、きちんとディテールが見える状態にすることです。たとえば屋内で明るい窓を背にした人は逆光で真っ黒になりがちですが、そんな撮り方でもきちんと人間も背景もディテールが見える写真にする、ということです。

Googleが説明してるように、スマホの処理速度が速くなり、アルゴリズムも賢くなるにつれて、HDRもどんどん進歩して、より自然にバランス良い写真ができるようになっています。また以前はシャッターを切らないとどういう写真に仕上がるかわかりませんでしたが、今ではリアルタイムにプレビューも可能です。

大量の画像データを学習することでアルゴリズムの精度も高くなり、写真のいろんな部分を切り貼りする方法も改良されました。ユーザーから見ると、複数の露出の写真をバラバラにして切り貼りしたようには見えず、ただ一瞬でスナップした1枚の写真のように自然な仕上がりになっています。

ボケ具合の調節

ポートレートモードは、コンピュテーショナル・フォトグラフィーの中でも初期にリリースされた技術のひとつです。ポートレートモードで撮れる写真も、HDR写真同様にますます美しく、狙い通りにできるようになりました。複数のレンズや深度センサー（搭載してるスマホの場合）からの情報がニューラルネットワークの処理を経て、写真のどの部分をボケさせたくて、どの部分はボケてはいけないのかが割り出されます。

ポートレートモードでも複数の画像を組み合わせて使い、画像間の微妙な違いを見分けることで、どの被写体がカメラに近くてどの被写体が遠いかを推測し、それによってどこをボケさせるかを判断しています。このアルゴリズムでは、そもそもポートレートモードにふさわしい写真かどうかの判定もしています。

最近のアップデートでは、たとえば画像のどの部分が他の部分よりシャープか（つまり被写体がどんな距離関係にあるか）といった情報を追加して精度を高めています。毎年の進化は、目に見えて表れています。スマホのカメラはより多くのディテールを捉え、新たな情報を取り込み、AIの処理能力もどんどん高まっています。

進化の源泉はソフトウェアだけじゃありません。iPhone 12ProでLiDARが搭載されたことで、より多くの深度データが素早く取得できるようになりました。こうしたハードウェアのアップグレードは、ソフトウェアの進化とともに続いていきます。

暗所撮影

ここ数年の暗所撮影技術の飛躍は目覚ましいものがありますが、それもやっぱりだいたいはコンピュテーショナル・フォトグラフィーの範疇です。HDRと同じように、複数の設定で撮った複数の写真を切り貼りしてなるべくディテールを表現しつつ、ノイズは最低限に抑えるやり方です。この種の処理はものすごくうまくできるようになったので、最近では夜の写真をほとんど昼間みたいに見せることだって可能です。

ここで妥協しているのは、時間です。暗所撮影モードは、光をなるべくたくさん捉えるために、通常より長い時間が必要です。Google Pixelの天体撮影モードでは、撮影を始めてから写真ができるまでに数分かかることもあり、また撮影中はPixelをしっかり固定する必要があります。

時間がかかったり、スマホを固定しなきゃいけなかったりという制約があっても、最近じゃミドルレンジスマホでも星空の写真が撮れるなんて…ちょっと信じられないくらいです。天体撮影モードではふたつのニューラルネットワークが組み合わさって、ひとつは光のかすかな点を拾い上げる役割、もうひとつはホワイトバランスの調整のような微妙な問題を解く役割を担っています。

ニューラルネットワークもつねに進化し、写真のどこが何なのかをより賢く認識できるようになっていて、暗い環境でフォーカスを決めたり、真っ暗な空と真っ黒な山を見分けたりが可能になっています。なので、明るい青空の中にいきなり星がまたたいてるような写真にならないんです。

複数をひとつに結合、他にもいろいろ

コンピュテーショナル・フォトグラフィーの利点はそれだけじゃありません。複数のフレームをアルゴリズムで分析する技術は、ノイズを減らしてよりシャープな写真を作ることにも使えて、AppleのDeep Fusionはまさにそれをしています。複数の露出で撮った写真を分析し、よりくっきりしたディテールを出せるフレームを選び、何なら個々のピクセルのレベルまで細かく見ています。最終的にできる写真では、複数のスナップからそれぞれ一番良い部分を取り出し、つなぎ合わせています。

ピクセル・ビニングもこれに関連する技術で、フラッグシップスマホのカメラにからめて聞いたことがあるかもしれません。これは、カメラセンサーが捉えた複数の画素の情報を使い、マスターとなる超正確な1ピクセルを作り出す技術です。その結果できる写真は、画素数は言われてるスペックより小さくなるかもしれないんですが、従来よりもっとシャープでクリアになるはずです。

そんなわけで最近のスマホでは、何百万、何千万という画素をミリ秒単位で、ものすごい勢いでさばいています。それを可能にしているのが、最近のフラッグシップスマホに詰め込まれたパワーです。同じ技術によって、デジタルズームも光学ズームと同じくらい使えるものになりました。こうしたコンピュテーショナル・フォトグラフィー技術と、それを支えるプロセッサやメモリは、プレミアムスマホをミッドレンジやお手頃スマホから差別化する要素になっています。

写真の後処理は自分でやりたい、スマホのアルゴリズムなんかより手動でやったほうがいい、と考える人のために、多くのスマホでRAWフォーマット（Apple ProRAWも含め）が使えるようになりました。でもコンピュテーショナル・フォトグラフィーは今やほとんどのスマホに入っていて、多くの人はスマホ写真の進化に満足しています。できあがった写真が目で見たものと多少違ったとしても、まあこんなもんかなと。