Tìm hiểu 3DGS – Phần 0: Ảnh trở thành không gian 3D như thế nào? — 170 năm thử nghiệm và phát triển

Nhiếp ảnh không chỉ để tạo ra hình ảnh, mà còn là một “công cụ đo lường”

Ngày nay, chúng ta đang dần có thể tái tạo các tòa nhà hay phong cảnh thành không gian 3D chỉ từ những bức ảnh chụp bằng smartphone, mà không cần đến các thiết bị chuyên dụng.

Gần đây, một công nghệ có tên 3D Gaussian Splatting (3DGS) đang nhận được nhiều sự chú ý. Đây là công nghệ có thể tạo ra hình ảnh không gian ba chiều từ nhiều bức ảnh, mang lại cảm giác như thể người xem đang thực sự có mặt tại địa điểm đó.

Nghe như vậy, có thể nhiều người sẽ nghĩ đây là một công nghệ hoàn toàn mới, chỉ trở nên khả thi sau khi AI xuất hiện. Tuy nhiên, trên thực tế, nỗ lực tạo ra không gian ba chiều từ ảnh đã có lịch sử hơn 170 năm.

Nguồn gốc của ý tưởng này có thể được truy ngược về chính thời điểm nhiếp ảnh ra đời.

Sự ra đời của nhiếp ảnh và khởi nguồn của photogrammetry

Nhiếp ảnh được công bố vào năm 1839

Một trong những sự kiện quan trọng khi nói về lịch sử công nghệ nhiếp ảnh hiện đại là việc công bố kỹ thuật daguerreotype vào năm 1839.

Công nghệ nhiếp ảnh này do Louis Daguerre, người Pháp, giới thiệu và mang tính đột phá vì cho phép ghi lại hình ảnh của đối tượng dưới dạng một bức ảnh.

Trước khi nhiếp ảnh ra đời, con người đã có những kỹ thuật sử dụng camera obscura để chiếu hình ảnh phong cảnh hay công trình kiến trúc. Tuy nhiên, khả năng cố định khung cảnh thành một hình ảnh và lưu giữ nó như một bản ghi là một thay đổi rất lớn.

Và khi nhìn thấy công nghệ mới này, một số người đã bắt đầu đặt ra một câu hỏi.

Đó là:

Liệu có thể sử dụng ảnh để đo hình dạng và kích thước thực tế của vật thể hay không?

Ý tưởng đo đạc bằng ảnh

Hai nhân vật thường được nhắc đến như những người tiên phong của photogrammetry là Aimé Laussedat, một sĩ quan quân đội kiêm kỹ sư người Pháp, và Albrecht Meydenbauer, một kiến trúc sư người Đức.

Khoảng từ năm 1849, Laussedat bắt đầu nghiên cứu phương pháp khảo sát địa hình bằng ảnh và hình phối cảnh. Ban đầu, ông cũng sử dụng một thiết bị quang học có tên camera lucida để vẽ hình, còn các thí nghiệm sử dụng máy ảnh thực sự được bắt đầu từ khoảng năm 1852.

Ông tìm cách sử dụng ảnh để đo vị trí và hình dạng của địa hình cũng như các công trình.

Trong khi đó, Meydenbauer bắt đầu nghiên cứu việc đo đạc công trình kiến trúc bằng ảnh vào khoảng năm 1858.

Người ta kể rằng ý tưởng về đo đạc bằng ảnh của ông xuất phát từ một trải nghiệm nguy hiểm trong quá trình trực tiếp đo một công trình.

Việc trực tiếp đo các bề mặt của một tòa nhà ở vị trí cao vừa nguy hiểm vừa tốn nhiều công sức.

Vì vậy, ông nghĩ rằng nếu có thể chụp ảnh tòa nhà rồi đo kích thước và hình dạng từ những bức ảnh đó, thì có thể giảm bớt nhu cầu phải trực tiếp đo tại hiện trường.

Đây cũng là một ý tưởng có nhiều điểm tương đồng với việc tạo kho lưu trữ số 3D cho di sản văn hóa và các công trình lịch sử ngày nay.

Sự ra đời của thuật ngữ Photogrammetry

Thuật ngữ Photogrammetry mà chúng ta sử dụng ngày nay xuất hiện trong tài liệu vào năm 1867.

Từ này được kết hợp từ “Photo”, nghĩa là ảnh, “Gram”, mang nghĩa ghi chép hoặc vẽ, và “Metry”, nghĩa là đo lường.

Nó mang ý nghĩa là một kỹ thuật đo lường bằng ảnh.

Photogrammetry vào thời điểm đó không sử dụng máy tính để xử lý hình ảnh như ngày nay.

Người ta chụp ảnh, sau đó sử dụng các mối quan hệ hình học và các thiết bị quang học để xác định vị trí cũng như kích thước của đối tượng.

Dù vậy, ý tưởng cốt lõi về việc tái tạo hình dạng của thế giới thực từ ảnh vẫn giống với photogrammetry hiện đại.

Chỉ trong vài thập kỷ sau khi nhiếp ảnh ra đời, con người đã bắt đầu sử dụng ảnh không chỉ như một phương tiện ghi lại hình ảnh, mà còn như một công cụ để đo lường.

Tại sao mắt người có thể nhìn thấy chiều sâu?

Khi tạo ra không gian ba chiều từ ảnh, có một manh mối quan trọng đã được con người biết đến từ lâu.

Đó chính là đôi mắt của chúng ta.

Hãy thử một thí nghiệm nhỏ.

Nhắm một mắt lại và nhìn vào ngón tay trước mặt. Sau đó, đổi sang mắt còn lại.

Bạn sẽ thấy vị trí của ngón tay dường như dịch chuyển một chút.

Mắt trái và mắt phải quan sát cảnh vật từ hai vị trí hơi khác nhau. Não bộ sử dụng sự khác biệt nhỏ này để cảm nhận khoảng cách và chiều sâu của vật thể.

Nói cách khác, trong cuộc sống hằng ngày, chúng ta cảm nhận không gian ba chiều bằng cách sử dụng hai hình ảnh khác nhau do mắt trái và mắt phải nhìn thấy.

Liệu cơ chế này có thể được áp dụng vào photogrammetry hay không?

Nếu chúng ta chụp hai bức ảnh từ hai vị trí hơi khác nhau, có thể tính toán chiều sâu dựa trên sự khác biệt về vị trí của vật thể trong từng bức ảnh.

Đây chính là nguyên lý cơ bản của stereo photogrammetry.

Phương pháp này về sau cũng được áp dụng cho ảnh chụp từ trên không.

Các bức ảnh được chụp từ máy bay sao cho những ảnh liền kề có một phần khu vực chồng lên nhau.

Khi quan sát các cặp ảnh này theo kiểu lập thể, chúng ta có thể đọc được độ cao thấp của địa hình hoặc chiều cao của các tòa nhà.

Khả năng đo đạc một khu vực rộng lớn theo không gian ba chiều từ trên không, trong khi khó có thể quan sát toàn bộ khu vực đó từ mặt đất, là một bước tiến lớn đối với việc lập bản đồ.

Tuy nhiên, để xác định đúng hình dạng, cần biết chính xác vị trí chụp ảnh, hướng của camera và đặc tính của ống kính.

Không phải chỉ cần chụp thật nhiều ảnh là tự động có thể tạo ra một mô hình 3D chính xác.

Máy tính đang so sánh điều gì giữa các bức ảnh?

Theo thời gian, nhiếp ảnh chuyển từ phim sang kỹ thuật số.

Sự xuất hiện của ảnh kỹ thuật số cũng tạo ra một thay đổi lớn đối với photogrammetry.

Nhờ máy tính, chúng ta có thể tự động tìm các đặc điểm xuất hiện trong ảnh và so sánh chúng giữa nhiều bức ảnh khác nhau.

Ví dụ, hãy tưởng tượng chúng ta chụp nhiều bức ảnh của một tòa nhà.

Một bức ảnh cho thấy phía bên phải của một cửa sổ. Một bức khác chụp cửa sổ từ chính diện. Một bức nữa cho thấy cửa sổ từ một vị trí xa hơn.

Con người có thể nhìn các bức ảnh và nhận ra rằng: “Đây là cùng một cửa sổ.”

Máy tính cũng thực hiện một quá trình tương tự, bằng cách tìm những phần có thể đóng vai trò như dấu hiệu nhận biết, chẳng hạn như góc cửa sổ, hoa văn trên tường hay đường viền của một biển hiệu.

Khi phát hiện những điểm chung xuất hiện trong nhiều bức ảnh, máy tính sẽ bắt đầu tính toán vị trí mà từng bức ảnh được chụp.

Đây là lúc công nghệ SfM（Structure from Motion） xuất hiện.

Nếu dịch trực tiếp, tên gọi này có nghĩa là “khôi phục cấu trúc từ chuyển động”.

Dựa trên mối quan hệ vị trí giữa các feature point xuất hiện trong nhiều bức ảnh, SfM ước tính camera nằm ở đâu, đang hướng về phía nào, đồng thời tái tạo cấu trúc ba chiều tổng quát của cảnh vật.

Điểm thú vị là không nhất thiết phải ghi lại trước vị trí của camera khi chụp.

Bằng cách so sánh các bức ảnh với nhau, máy tính có thể suy ngược lại vị trí mà từng bức ảnh được chụp.

Chỉ bằng việc chụp ảnh, chúng ta thậm chí có thể suy ra camera đã di chuyển như thế nào.

Có cảm giác như dấu chân của người chụp đã được để lại bên trong những bức ảnh.

Những điểm trong ảnh biến thành một tòa nhà như thế nào?

Nhờ SfM, chúng ta đã biết được vị trí của camera và cấu trúc tổng quát của cảnh vật.

Tuy nhiên, ở giai đoạn này, kết quả vẫn chỉ là một tập hợp các điểm khá thưa.

Mặc dù đã chụp một tòa nhà, các điểm có thể chỉ xuất hiện ở những vị trí đặc trưng như góc cửa sổ hay hoa văn trên tường.

Như vậy vẫn chưa đủ để tái tạo đầy đủ hình dạng của tòa nhà.

Do đó, cần một quá trình so sánh ảnh chi tiết hơn.

Hệ thống đối chiếu những vị trí giống nhau xuất hiện trong nhiều bức ảnh và ước tính khoảng cách đến các vị trí đó.

Thay vì chỉ sử dụng một phần nhỏ các đặc điểm trong ảnh, quá trình này cố gắng sử dụng càng nhiều pixel càng tốt để tái tạo cấu trúc ba chiều.

Công nghệ này được gọi là MVS（Multi-View Stereo）.

Nếu SfM có vai trò xác định vị trí của các camera đã chụp ảnh, thì MVS sử dụng thông tin đó để tái tạo bề mặt của cảnh vật với độ chi tiết cao hơn.

Có thể hình dung rằng SfM giống như việc đặt các mốc khảo sát xung quanh một tòa nhà, còn MVS sử dụng những mốc đó để điền chi tiết hình dạng của tường, mái và các bề mặt khác.

Tập hợp các điểm thu được theo cách này được gọi là point cloud.

Nếu kết nối các điểm lại để tạo thành các bề mặt, chúng ta sẽ có mesh, dùng để thể hiện bề mặt của công trình hoặc địa hình.

Nếu tiếp tục áp màu sắc và hoa văn lấy từ ảnh lên bề mặt, kết quả có thể trở nên khá giống với vật thể thật.

Một trong những phần mềm giúp các quy trình này trở nên dễ tiếp cận hơn là COLMAP.

Khi đưa nhiều bức ảnh vào, COLMAP có thể thực hiện từ việc phát hiện feature point, ước tính vị trí camera cho đến tái tạo cấu trúc ba chiều.

Đến giai đoạn này, giấc mơ lâu đời về việc tạo ra không gian 3D từ ảnh đã trở nên khá thực tế.

Tuy nhiên, một vấn đề khác cũng bắt đầu xuất hiện.

Chỉ cần biết hình dạng là đủ sao?

Điểm mạnh truyền thống của photogrammetry là tái tạo hình dạng của vật thể.

Tường của tòa nhà nằm ở đâu, mái có hình dạng như thế nào, mặt đất cao thấp ra sao.

Những thông tin như vậy có thể được tái tạo dưới dạng ba chiều.

Tuy nhiên, khi nhìn một cảnh vật trong thực tế, thứ chúng ta cảm nhận không chỉ là hình dạng.

Ánh sáng phản chiếu trên cửa kính, độ phản xạ của kim loại, ánh sáng xuyên qua lá cây, hay ánh sáng dịu của buổi hoàng hôn.

Tất cả những yếu tố đó cũng là một phần của cảnh vật mà chúng ta nhìn thấy.

Việc tái tạo chính xác hình dạng và việc tái tạo một cảnh vật trông giống như ảnh thật thực chất là hai bài toán khác nhau.

Một công nghệ tiếp cận vấn đề này theo một hướng mới là NeRF（Neural Radiance Fields）, được công bố vào năm 2020.

NeRF không trực tiếp tạo bề mặt 3D bằng polygon.

Thay vào đó, nó sử dụng neural network để học màu sắc và ánh sáng sẽ được nhìn thấy như thế nào tùy theo vị trí trong không gian và hướng quan sát.

Cơ chế này có thể nghe hơi kỳ lạ, nhưng có thể hiểu đơn giản như sau:

Dựa trên những bức ảnh đã chụp, máy tính học rằng:

“Nếu nhìn vị trí này từ hướng này, nó sẽ có màu sắc như thế nào?”

Nhờ vậy, hệ thống có thể vẽ ra cảnh vật từ những góc nhìn thực tế chưa từng được chụp.

Ví dụ, nếu đã chụp mặt trước và mặt bên của một tòa nhà, hệ thống có thể tạo ra hình ảnh nhìn từ một góc nằm giữa hai hướng đó.

Nó có thể tạo ra một góc nhìn mới, như thể đang lấp đầy khoảng trống giữa các bức ảnh.

NeRF nhận được rất nhiều sự chú ý nhờ khả năng tạo ra hình ảnh có độ chân thực cao như ảnh chụp.

Tuy nhiên, quá trình render đòi hỏi tính toán và đôi khi mất nhiều thời gian.

Ngay cả khi có thể tái tạo một cảnh rất đẹp, việc hiển thị đủ nhanh để người dùng có thể tự do di chuyển trong không gian như trong game vẫn không phải là điều đơn giản.

Thay vì “vẽ” vật thể 3D, hãy lấp đầy không gian bằng những hạt nhỏ

Ba năm sau khi NeRF xuất hiện, vào năm 2023, một phương pháp mới được công bố.

Đó là 3D Gaussian Splatting（3DGS）.

Ý tưởng của công nghệ này khá khác biệt.

Nó không tạo bề mặt của tòa nhà bằng các mặt tam giác, cũng không để neural network ghi nhớ toàn bộ không gian.

Thay vào đó, nó bố trí một lượng lớn các phần tử nhỏ có dạng elip trong không gian.

Những phần tử này được gọi là Gaussian.

Mỗi Gaussian chứa thông tin như vị trí, kích thước, hướng, màu sắc và độ trong suốt.

Chúng được chiếu lên màn hình từ góc nhìn của camera và chồng lên nhau để tạo ra một cảnh có hình thức giống ảnh thật.

Có thể hình dung rằng toàn bộ không gian được lấp đầy bởi vô số hạt nhỏ, có màu sắc và bán trong suốt.

Mỗi hạt riêng lẻ rất đơn giản, nhưng khi kết hợp một số lượng cực lớn, chúng có thể tái tạo đường nét của tòa nhà, kết cấu của cây cối và thậm chí cả cách ánh sáng chiếu lên cảnh vật.

Một trong những đặc điểm nổi bật của 3DGS là khả năng render tương đối nhanh trong khi vẫn duy trì hình ảnh chân thực.

Nhờ đó, những trải nghiệm như tự do nhìn quanh địa điểm đã chụp hoặc di chuyển camera xuyên qua không gian trở nên thực tế hơn.

Công nghệ tạo ra không gian ba chiều từ ảnh đã bước sang một giai đoạn mới.

Chỉ đẹp thôi đôi khi vẫn chưa đủ

Tuy nhiên, 3DGS cũng có những hạn chế.

Công nghệ này rất giỏi trong việc tái tạo cảnh có hình thức giống ảnh thật bằng tập hợp các hạt, nhưng điều đó không nhất thiết có nghĩa là hình dạng 3D thu được hoàn toàn chính xác.

Ví dụ, một bức tường có thể trông rất tự nhiên trong hình ảnh render, nhưng bề mặt của bức tường đó không nhất thiết được tái tạo thành một mặt phẳng chính xác về mặt toán học.

Một cảnh trông tự nhiên và một hình dạng đủ chính xác để sử dụng cho khảo sát hoặc thiết kế là hai điều khác nhau.

Một công nghệ xuất hiện nhằm giải quyết vấn đề này là 2D Gaussian Splatting（2DGS）.

Được công bố vào năm 2024, phương pháp này sử dụng các Gaussian dạng phẳng thay vì các Gaussian ba chiều như trong 3DGS.

Bằng cách xử lý bề mặt như các phần tử dạng phẳng, công nghệ này hướng tới việc tái tạo với sự nhất quán tốt hơn về hình dạng và chiều sâu.

Không chỉ theo đuổi vẻ đẹp về mặt hình ảnh, mục tiêu còn là tăng độ chính xác về mặt hình học.

Công nghệ tạo không gian ba chiều từ ảnh vẫn đang tiếp tục phát triển từng bước.

Bước vào trong bức ảnh một lần nữa

Nhìn lại toàn bộ lịch sử, ý tưởng tạo ra không gian ba chiều từ ảnh đã tồn tại từ thời kỳ đầu của nhiếp ảnh.

Ban đầu, các nhà khảo sát và kiến trúc sư cố gắng sử dụng ảnh để đo các tòa nhà và địa hình.

Sau đó, ảnh chụp từ trên không được sử dụng rộng rãi, và máy tính dần có khả năng tìm các đặc điểm trong ảnh rồi ước tính vị trí chụp.

Ngày nay, chúng ta không chỉ có thể tái tạo hình dạng từ ảnh, mà còn có thể tái tạo cả ánh sáng và kết cấu, tạo ra hình ảnh khiến người xem có cảm giác như đang thực sự ở tại địa điểm đó.

Những công nghệ này hiện được sử dụng trong nhiều lĩnh vực, không chỉ trong bản đồ và khảo sát, mà còn trong bảo tồn di sản văn hóa, sản xuất phim và game, VR, du lịch và lưu trữ số.

Trong quá khứ, ảnh chủ yếu là phương tiện để chúng ta nhìn lại những cảnh vật đã tồn tại.

Nhưng giờ đây, khi có thể tạo ra không gian ba chiều từ ảnh, chúng ta đang dần có thể nhìn địa điểm trong ảnh từ những góc khác nhau, thậm chí trải nghiệm cảm giác di chuyển bên trong đó.

Có lẽ nhiếp ảnh đang dần thay đổi từ một phương tiện đơn thuần để ghi lại quá khứ thành một cách để chúng ta quay lại những không gian đã từng tồn tại.

Một bức ảnh ra đời vào năm 1839.

Từ phát minh nhỏ bé đó bắt đầu hành trình dài nhằm “đo thế giới bằng ảnh”.

Và hơn 170 năm sau, hành trình ấy vẫn đang tiếp tục dưới những hình thức mới.