3DGSを理解する 第3回：3DGSと2DGSは何が違うのか？ ―「2D」の意味を正しく理解する

前回の記事では、フォトグラメトリ3DGSの技術的な背景を比較しました。

今回は、3DGSから派生した技術の中でも、特に重要な 2D Gaussian Splatting（2DGS） を取り上げます。

2DGSとは？

3DGSについて調べていると、「2DGS」という名前を目にすることがあります。

名前だけを見ると、3DGSが3次元の技術であるのに対して、2DGSは2次元画像を扱う技術なのだろう、と考えるかもしれません。

しかし、実際にはそうではありません。

2DGSも、3次元空間に存在するシーンを表現する技術です。

では、3DGSと2DGSは何が違うのでしょうか。

今回は、その違いを理解するとともに、「2D画像のためのGaussian Splatting」とは何なのかについても整理していきます。

3DGS：3次元Gaussianでシーンを表現する

まずは、3DGSの仕組みを簡単に振り返ってみましょう。

3DGSは、2023年にKerblらによって発表された技術です。

複数の写真から3Dシーンを表現し、撮影時とは異なる視点からの画像を高速に生成できます。

その特徴は、シーンを大量の3次元Gaussianの集合として表現することです。

Gaussianは3次元的な広がりを持つ

3DGSで使われるGaussianは、空間中に広がりを持つ楕円体のような形をしています。

それぞれのGaussianは、位置、大きさ、回転、不透明度、色などの情報を持っています。

これらを大量に配置することで、建物や人物、風景などの見た目を表現します。

例えば、壁を表現する場合を考えてみましょう。

壁の表面に沿うようにGaussianを配置すれば、壁の見た目を再現できます。

ただし、Gaussian自体は3次元的な広がりを持っています。つまり、壁の表面だけでなく、その前後にも一定の広がりがあります。

この性質は、画像の見た目を再現するうえでは便利です。

一方で、物体の表面を正確に表現するという観点では、問題になることがあります。

3DGSの課題：Gaussianと物体表面は必ずしも一致しない

3DGSは、複数の視点から見た画像が一致するようにGaussianの位置や形状、色などを最適化します。

しかし、画像の見た目が一致することと、実際の物体表面が正確に再現されることは同じではありません。

例えば、壁の表面を再現するために配置されたGaussianが、必ずしも壁の表面にぴったり沿っているとは限りません。

Gaussianは厚みを持つため、視点によっては奥行き方向の不整合が生じることがあります。

その結果、見た目は自然でも、そこから取り出した形状には歪みや凹凸が残る場合があります。

つまり、3DGSは新しい視点からの画像を高品質に生成することに優れていますが、正確な表面形状を復元することには課題があるのです。

2DGS：平面状のGaussianでシーンを表現する

こうした課題に対して提案された技術の一つが、2D Gaussian Splatting（2DGS）です。

2DGSは、2024年にHuangらによって発表されました。

その最大の特徴は、3DGSで使われる3次元的なGaussianの代わりに、平面状のGaussianを使うことです。

3D Gaussianと2D Gaussianの違い

3DGSのGaussianが、空間中に広がる楕円体だとすれば、2DGSのGaussianは、空間中に配置された薄い円盤のようなものです。

この円盤は、厚みを持たない平面状の要素として扱われます。

それぞれのGaussianは3次元空間内に位置を持ち、向きや大きさも設定されています。

つまり、2DGSは2次元の画像を扱う技術ではなく、3次元空間内に平面状のGaussianを配置して、3Dシーンを表現する技術なのです。

なぜ平面状のGaussianを使うのか？

理由は、物体の表面をより正確に表現するためです。

例えば、建物の壁を考えてみましょう。

壁は基本的に平面です。

3DGSでは、厚みを持つGaussianを組み合わせて壁を表現しますが、2DGSでは、平面状のGaussianを壁の表面に沿うように配置できます。

これにより、Gaussian自体が物体表面を表す要素として機能しやすくなります。

また、2DGSでは、光線と平面状Gaussianの交差を利用したレンダリング処理を採用しています。

さらに、深度の歪みや法線の整合性を考慮する最適化も取り入れています。

これらによって、画像の見た目だけでなく、表面形状もより正確に再現することを目指しています。

2DGSの特徴

2DGSの特徴をまとめると、次のようになります。

• 平面状のGaussianを使って3次元シーンを表現する
• Gaussianを物体表面に沿わせることを目指す
• 深度や法線の整合性を考慮する
• 新しい視点からの画像生成だけでなく、幾何形状の復元も重視する

もちろん、2DGSも万能ではありません。

薄い物体や複雑な形状、反射の強い素材など、対象によっては再現が難しい場合があります。

また、2DGSは3DGSの完全な上位互換というわけでもありません。どちらが適しているかは、最終的に何を実現したいかによって変わります。

ここで注意：「2D画像のためのGS」も存在する

ここまで説明した2DGSは、3次元空間内のシーンを表現する技術でした。

しかし、Gaussian Splattingには、もう一つ異なる使い方があります。

それは、2次元画像そのものをGaussianの集合で表現する方法です。

このような技術の一例として、GaussianImageがあります。

GaussianImageとは？

GaussianImageは、2024年に発表された画像表現・圧縮の手法です。

この技術では、2D Gaussianを使って画像そのものを表現します。

それぞれのGaussianは、画像平面上の位置、広がり、色などの情報を持っています。

これらを画像平面上に配置し、合成することで元の画像を再現します。

つまり、GaussianImageでは3次元空間内の物体や表面を表現するのではなく、2次元画像を表現しているのです。

2DGSとは何が違うのか？

ここが今回の重要なポイントです。

2DGSとGaussianImageは、どちらも平面状のGaussianを使います。

しかし、Gaussianを配置する空間と、表現しようとしている対象が違います。

• 2DGS： 3次元空間内に平面状Gaussianを配置し、3Dシーンの表面を表現する
• GaussianImage： 2次元画像平面にGaussianを配置し、画像そのものを表現する

名前に「2D」が含まれているため混同しやすいのですが、両者は目的も仕組みも異なる技術です。

GaussianImageは、2D画像のためのGaussian Splattingの具体例として理解するとよいでしょう。

3DGS・2DGS・GaussianImageを比較する

ここまでの内容を整理してみましょう。

この比較から分かるように、2DGSの「2D」とGaussianImageの「2D」は、意味が異なります。

2DGSの2Dは、Gaussianの形状を表しています。

一方、GaussianImageの2Dは、表現する対象が2次元画像であることを表しています。

この違いを理解しておけば、名前が似ている技術を混同することはなくなるでしょう。

まとめ

今回は、3DGSと2DGSの違いを中心に、GaussianImageについても紹介しました。

重要なポイントは次の3つです。

• 3DGS： 3次元的な広がりを持つGaussianで、3Dシーンを表現する
• 2DGS： 3次元空間内に配置した平面状Gaussianで、3Dシーンの表面を表現する
• GaussianImage： 2次元画像平面上のGaussianで、画像そのものを表現する

特に覚えておきたいのは、2DGSの「2D」は、2次元画像を意味するのではないということです。

2DGSも3DGSと同じく、3次元空間内のシーンを表現する技術です。