Nhận diện chòm sao bằng GNN và AI ký hiệu — Phát triển mô hình lai

Trước tiên, hãy bắt đầu bằng một câu đố.
Bạn có thể tìm thấy chòm sao Orion trong hình ảnh này không?

Nhân dịp này, chúng ta sẽ để phần đáp án lại sau và đi vào chủ đề chính của bài viết.

Bạn đã bao giờ ngước nhìn bầu trời đêm trong veo và thử nối ba ngôi sao trên vành đai Orion hoặc lần theo hình chiếc gáo của nhóm sao Bắc Đẩu chưa?

Con người sở hữu một năng lực nhận thức đặc biệt được gọi là “pareidolia, hay hiện tượng liên tưởng hình ảnh.” Bộ não của chúng ta có xu hướng tự nhiên trong việc tìm ra các mẫu hình học có ý nghĩa từ những tập hợp điểm ngẫu nhiên và không có cấu trúc.

Pareidolia - Wikipedia

Wikimedia Foundation, Inc.Contributors to Wikimedia projects

Tuy nhiên, đối với máy tính, việc nhận diện những hình dạng này trong một biển tọa độ chứa đầy nhiễu là một nhiệm vụ cực kỳ khó khăn.

Trong bài viết này, chúng tôi sẽ giới thiệu cách xây dựng một mạng nơ-ron đồ thị lai (Graph Neural Network: GNN) kết hợp với công cụ suy luận ký hiệu, có khả năng phát hiện, tách biệt và khôi phục nhiều chòm sao chồng lấn lên nhau—Orion, Cassiopeia và Bắc Đẩu—từ các đám mây điểm tọa độ chứa nhiều nhiễu và không có cấu trúc.

Ngay cả trong môi trường có nhiễu cực lớn, phép xoay tùy ý và thay đổi tỷ lệ tọa độ, công cụ này vẫn đạt điểm macro F1 trên tập kiểm thử là 96,91%. Dưới đây là phương pháp giúp chúng tôi đạt được kết quả đó.

Câu đố bầu trời sao số 2

Bây giờ, hãy cùng xem đáp án của câu hỏi đầu tiên.

AI nhận diện chòm sao được phát triển cho bài viết này sử dụng GNN và đã tìm thấy chòm sao Orion một cách chính xác.

Kết quả như sau.

Bạn đã trả lời đúng chưa?

Tiếp theo là câu hỏi mới. Lần này, Orion, Cassiopeia và Bắc Đẩu đang được ẩn trong hình ảnh. Bạn có thể tìm thấy tất cả không?

Một lần nữa, chúng ta sẽ để phần đáp án lại sau và tiếp tục với nội dung chính của bài viết.

Vì sao thị giác máy tính truyền thống không thể xử lý bài toán này?

Nếu yêu cầu một kỹ sư AI hiện đại phân loại hình dạng, lựa chọn đầu tiên của họ có thể là sử dụng mạng nơ-ron tích chập (CNN) như ResNet hoặc YOLO.

Tuy nhiên, CNN hoạt động trên các lưới pixel có cấu trúc. Các ngôi sao không tồn tại trên một lưới pixel. Chúng là những tọa độ không có cấu trúc trong không gian.

Việc chuyển dữ liệu tọa độ thành hình ảnh, hay còn gọi là raster hóa, để đưa vào CNN sẽ gây ra nhiều vấn đề nghiêm trọng.

Suy giảm độ chính xác: Quá trình raster hóa buộc các tọa độ có độ chính xác cao phải được đưa vào một lưới pixel rời rạc, từ đó tạo ra nhiễu lượng tử hóa.

Dữ liệu thưa và nhiều khoảng trống: Phần lớn pixel trong bản đồ chòm sao là không gian tối trống rỗng, có giá trị $0$. Vì vậy, CNN phải tiêu tốn nhiều tài nguyên tính toán cho các vùng không chứa thông tin.

Thiếu tính bất biến không gian: Nếu không thực hiện một lượng lớn phép tăng cường dữ liệu với chi phí cao, CNN rất khó khái quát hóa đối với các phép xoay tùy ý, phép tịnh tiến và thay đổi tỷ lệ toàn cục.

Để giải quyết vấn đề này, chúng tôi mô hình hóa bầu trời dưới dạng một đồ thị. Mỗi ngôi sao được biểu diễn bằng một nút, còn các cạnh được tạo ra giữa những ngôi sao nằm gần nhau.

Kỹ thuật đặc trưng: Chữ ký hình học cục bộ

Để hệ thống có tính bất biến đối với phép xoay, phép tịnh tiến và thay đổi tỷ lệ, chúng tôi đã phát triển Chữ ký hình học cục bộ, hay Local Geometric Signatures (LGS).

Thay vì đưa trực tiếp tọa độ thô vào GNN, mỗi nút đại diện cho một ngôi sao sẽ tính toán một bộ mô tả bất biến theo tỷ lệ dựa trên vùng lân cận của nó.

Với mỗi nút, chúng tôi sử dụng truy vấn K láng giềng gần nhất, hay K-NN, để xác định K=6 nút lân cận gần nhất.

Sau đó, chúng tôi tính khoảng cách Euclid từ nút đó đến từng nút trong số sáu nút lân cận.

Mỗi khoảng cách được chia cho khoảng cách trung bình từ nút đó đến các nút lân cận.

Qua đó, mỗi ngôi sao có được một dấu vân tay cục bộ sáu chiều, bất biến theo tỷ lệ. Các tỷ lệ này không thay đổi ngay cả khi toàn bộ trường sao được phóng to, thu nhỏ, tịnh tiến hoặc xoay. Vì vậy, chúng cung cấp cho GNN một bộ mô tả mạnh mẽ và có tính bất biến.

GNN tùy chỉnh có khả năng cập nhật cạnh

Chúng tôi xây dựng một GNN tùy chỉnh bằng PyTorch Geometric với bốn lớp truyền thông điệp.

Khác với các GNN tiêu chuẩn chỉ cập nhật đặc trưng của nút, các lớp của mô hình này đồng thời cập nhật cả biểu diễn nhúng của nút và thuộc tính của cạnh.

Biểu diễn nhúng của nút: Tổng hợp các đặc trưng từ những ngôi sao lân cận.

Biểu diễn nhúng của cạnh: Dự đoán logit phân loại ở cấp độ cạnh cho bốn lớp: nhiễu hoặc nền, kết nối của Orion, kết nối của Cassiopeia và kết nối của Bắc Đẩu.

Chúng tôi huấn luyện mô hình trên một tập dữ liệu gồm 1.500 trường sao tổng hợp được tạo bằng mô phỏng.

Do các kết nối thực sự thuộc về chòm sao hiếm hơn rất nhiều so với những kết nối ngẫu nhiên giữa các điểm nhiễu, chúng tôi sử dụng hàm mất mát cross-entropy có trọng số để xử lý tình trạng mất cân bằng lớp.

Cơ chế bảo vệ bằng ký hiệu: Bộ lọc đẳng cấu tô-pô

Các mô hình học sâu sử dụng phương pháp thống kê nên vẫn có thể mắc lỗi.

Trong một trường sao chứa nhiều nhiễu, GNN có thể dự đoán chính xác 90% các cạnh của một chòm sao nhưng bỏ sót một kết nối, hoặc dự đoán nhầm một cầu nối dương tính giả giữa hai chòm sao đang đan xen.

Kết quả có thể là một hình dạng bị biến dạng về mặt thị giác hoặc không thể tồn tại về mặt tô-pô, tức quan hệ kết nối hình học.

Để bảo đảm khả năng khôi phục chính xác, chúng tôi đặt một cơ chế hậu xử lý mang tính ký hiệu ở phía sau GNN.

Trước tiên, chúng tôi chạy GNN và lấy xác suất cạnh của từng lớp.

Tiếp theo, chúng tôi thu thập các cạnh ứng viên có xác suất lớn hơn 0,05, cùng với các ngôi sao ứng viên, hay các nút, tạo thành những cạnh đó.

Sau đó, chúng tôi thực hiện tìm kiếm đẳng cấu đồ thị bằng phương pháp quay lui. Quá trình này ánh xạ các nút ứng viên vào những mẫu được định nghĩa nghiêm ngặt: các ma trận kề chính xác của Orion, Cassiopeia và Bắc Đẩu.

Hệ thống chỉ vẽ hình dạng khi quá trình tìm kiếm tìm thấy một phép khớp hợp lệ, đáp ứng toàn bộ quan hệ kết nối tô-pô của chòm sao.

Cách tiếp cận lai này kết hợp khả năng loại bỏ nhiễu nhanh của học sâu với khả năng bảo đảm độ chính xác về cấu trúc của logic ký hiệu.

Đánh giá hiệu suất

Chúng tôi đánh giá mô hình bằng một tập kiểm thử có độ dao động tọa độ cực lớn, thay đổi tỷ lệ toàn cục và phép xoay.

Điểm macro F1 trên tập kiểm thử: 96,91%

Điểm F1 trong kiểm thử tính bất biến: 96,68%, chứng minh tính bất biến hoàn toàn đối với tỷ lệ và phép xoay

Độ chính xác khôi phục tô-pô: Đạt độ chính xác hình dạng 100% đối với tất cả đầu ra được khớp thành công

Câu đố bầu trời sao số 2 — Đáp án

Bây giờ là lúc công bố đáp án của câu đố trước đó.

Tất cả các chòm sao đều tập trung ở phía bên trái. Bạn đã tìm đúng chưa?

Lần này, AI cũng đã nhận diện chính xác tất cả các chòm sao.

Kết luận

Bằng cách kết hợp mạng nơ-ron đồ thị với các ràng buộc tô-pô mang tính ký hiệu, chúng tôi đã xây dựng một hệ thống có thể thu hẹp khoảng cách giữa nhận diện mẫu bằng thống kê và tính chính xác hình học dựa trên logic.

Khả năng ứng dụng của kiến trúc lai này không chỉ giới hạn trong việc quan sát bầu trời sao. Nó còn có thể được sử dụng trong nhiều lĩnh vực khác nhau như phân loại đám mây điểm 3D, lập bản đồ phân tử và xử lý tọa độ thiên văn.