Khi dạy robot đấu sumo, chúng lại thành thạo lariat, điệu nhảy Cossack và không chiến

Bài viết giới thiệu một thí nghiệm học tăng cường, trong đó hai robot được huấn luyện đấu sumo trên NVIDIA Isaac Sim. Theo dõi quá trình tiến hóa từ Epoch 1 đến 100, chúng tôi sẽ giải thích lý do sử dụng Isaac Sim, khái niệm Sim-to-Real, Domain Randomization, cũng như quá trình AI tự phát triển những chiến thuật ngoài dự đoán như lariat, đòn chân và không chiến.

Là những người hoàn toàn tay mơ trong lĩnh vực phát triển robot, chúng tôi đã tự hỏi:

Điều gì chúng tôi có thể làm ngay lúc này để ít nhất có thể “bước lên võ đài”?

Câu trả lời chỉ có một.

Cho robot đấu sumo trong không gian ảo.

Từ quyết định đó, chúng tôi bắt đầu một dự án học tăng cường với hai robot, sử dụng nền tảng mô phỏng vật lý Isaac Sim của NVIDIA.

Khi giới hạn của các định luật vật lý giao thoa với “sự ám ảnh không khoan nhượng với chiến thắng” của AI, những gì diễn ra trên võ đài đã vượt xa khuôn khổ của sumo và trở thành một thuyết tiến hóa chiến đấu tối thượng.

Trong nửa đầu bài viết, chúng tôi sẽ nói về “vì sao sử dụng Isaac Sim” và “tiềm năng của Sim-to-Real”. Ở nửa sau, chúng tôi sẽ ghi lại quá trình tiến hóa dữ dội của các robot từ Epoch 1 đến Epoch 100.

Trước hết, hãy xem video dưới đây.

AI Robots Fighting Sumo in NVIDIA Isaac Sim

Phần 1: Thế giới của Isaac Sim và Sim-to-Real

Vì sao chọn NVIDIA Isaac Sim?

Trong học tăng cường cho robot, việc để robot học bằng cách liên tục thất bại trong thế giới thực (Real) vừa tốn rất nhiều thời gian, vừa tốn chi phí.

Robot có thể ngã và làm hỏng linh kiện, hoặc động cơ servo có thể bị cháy.

Đó là lúc môi trường mô phỏng robot của NVIDIA, NVIDIA Isaac Sim, phát huy vai trò.

• Mô phỏng vật lý có độ chính xác cao: Tái hiện các hiện tượng vật lý như trọng lực, ma sát và va chạm.
• Hiển thị chân thực: Công nghệ RTX cho phép tạo ra hình ảnh gần với thế giới thực.
• Huấn luyện song song quy mô lớn với tốc độ cao: Có thể đẩy nhanh thời gian trong mô phỏng lên gấp nhiều lần so với thực tế để tăng tốc quá trình học.

Nhờ đó, quá trình thử và sai vốn có thể mất hàng tháng có thể được rút ngắn xuống chỉ còn vài giờ đến vài ngày.

Thử thách Sim-to-Real: Từ mô phỏng ra thế giới thực

Công nghệ chuyển mô hình AI đã được huấn luyện trong mô phỏng sang robot thực tế được gọi là Sim-to-Real.

Nghe có vẻ đơn giản, nhưng trong thế giới thực luôn tồn tại những yếu tố như sai số tính toán của mô phỏng, ma sát ngoài dự kiến hay nhiễu cảm biến.

Khoảng cách này được gọi là Sim-to-Real Gap.

Để thu hẹp khoảng cách đó, một phương pháp thường được sử dụng là Domain Randomization, tức thay đổi ngẫu nhiên các tham số vật lý trong mô phỏng, chẳng hạn như hệ số ma sát hoặc trọng lượng của robot trong quá trình huấn luyện.

Trong thí nghiệm sumo lần này, chúng tôi cũng hướng tới việc xây dựng một thuật toán ra quyết định đủ bền vững để thích ứng với những điều kiện vật lý khắc nghiệt.

...Tuy nhiên, “lời giải tối ưu để chiến thắng” mà AI tìm ra lại bắt đầu tiến hóa theo một hướng vượt xa trí tưởng tượng của con người.

Nhật ký những trận chiến

Từ đây, chúng ta sẽ theo dõi quá trình học sumo theo từng Epoch.

Epoch 1–6: Thời kỳ chỉ đứng nhìn nhau

• Diễn biến: Hai robot từ từ tiến lại gần nhau nhưng dừng lại ở giữa võ đài. Hầu như không làm gì cho đến khi hết thời gian.
• Bình luận: Đây là trạng thái ban đầu của các robot. Chúng thậm chí vẫn đang dò dẫm cách “di chuyển”. Một kiểu tư duy an toàn cực đoan đặc trưng của AI xuất hiện: “Đứng yên quan sát vẫn an toàn hơn là di chuyển, tự ngã rồi thua.”

Epoch 7: Không cần cánh tay

• Diễn biến: Cuối cùng robot cũng bắt đầu tiến lên, nhưng mỗi lần lao vào đều bị né khá nhẹ nhàng. Quan sát kỹ hơn, ta thấy cả hai cánh tay đều được gập ra sau lưng.
• Bình luận: Đây là giai đoạn robot bắt đầu chủ động hơn một chút. Điều thú vị là AI dường như đã đánh giá rằng “trong môn thi đấu này, cánh tay là chướng ngại vật dễ gây tiếp xúc vật lý và làm mất thăng bằng”. Vì thế, nó khóa luôn hai tay và chỉ dùng thân người để lao vào, tạo nên một cảnh tượng khá siêu thực.

Epoch 8–10: Một khoảnh khắc hiếm hoi thực sự giống sumo

• Diễn biến: Hai robot lao vào nhau chính xác và cuối cùng xuất hiện một màn đẩy sumo chính diện đúng nghĩa.
• Bình luận: Hai bên đối đầu trực diện, dùng sức đẩy nhau và cuối cùng một robot kiên trì hơn đã đẩy được đối thủ ra ngoài võ đài. Đây là giai đoạn duy nhất trong toàn bộ 100 Epoch mà chúng tôi có thể thực sự gọi là “sumo”. Với tư cách người phát triển, chúng tôi đã mỉm cười nghĩ rằng: “Tốt rồi, mọi thứ đang tiến triển đúng hướng.”

...Ít nhất là cho đến lúc đó.

Epoch 11–14: Lariat được giải phóng

• Diễn biến: Những cánh tay vốn bị gập ra sau lưng đột nhiên được giải phóng và vung mạnh. Kỷ nguyên của tuyệt kỹ một đòn kết liễu lariat chính thức bắt đầu.
• Bình luận: AI đã nhận ra rằng: “Thay vì đẩy, móc tay vào đối thủ rồi làm họ ngã sẽ nhanh hơn.” Trong giai đoạn này, robot nào tung được lariat sắc bén trước sẽ thắng 100%, biến võ đài thành một thế giới hỗn loạn như thời hậu tận thế.

Epoch 15–20: Kết hợp kỹ thuật chân

• Diễn biến: Trong khi phần thân trên tìm cách tung lariat, phần thân dưới đồng thời móc chân đối thủ.
• Bình luận: Chiến thuật tiến hóa từ các đòn đánh đơn giản thành chuỗi tấn công phối hợp cả phần trên và phần dưới cơ thể. Những kỹ thuật móc chân và khóa nhằm phá vỡ thăng bằng của đối phương tự nhiên xuất hiện.

Epoch 25: Thời đại của những cú đá

• Diễn biến: Robot dùng những cú lariat nhỏ để ép đối thủ sát mép võ đài, sau đó tung một cú đá không thương tiếc để đá văng đối thủ ra ngoài.
• Bình luận: AI đã hiểu hoàn toàn luật “đẩy đối thủ ra khỏi võ đài”. Nó dồn đối phương vào khu vực nguy hiểm sát mép rồi chọn cú đá làm đòn kết thúc, hình thành một combo tàn nhẫn nhưng cực kỳ hiệu quả.

Epoch 40: Hỗn loạn và vượt qua giới hạn

• Diễn biến: Tốc độ chuyển động tăng lên cực nhanh. Ngay cả frame rate cũng không theo kịp, khiến các chuyển động gần như không thể quan sát bằng mắt.
• Bình luận: Robot bước vào thời kỳ của những bước di chuyển siêu tốc kỳ lạ, như thể đang thách thức chính giới hạn của bộ mô phỏng vật lý. Các chuyển động trở nên khó có thể diễn tả bằng lời.

Epoch 50: Thời đại trọng tâm thấp

• Diễn biến: Robot đột nhiên hạ thấp tư thế đến mức tối đa. Trong tư thế thấp giống điệu nhảy Cossack, chúng tung ra những cú đá sắc bén như Taekwondo kết hợp với bước chân chính xác như đấu kiếm.
• Bình luận: Để tránh các đòn tấn công vào phần thân trên, AI đã tìm ra một lời giải: hạ thấp hông. Những kỹ thuật chân tốc độ cao từ tư thế trọng tâm thấp này đã vượt xa sumo và bước sang lãnh địa của võ tổng hợp.

Epoch 100: Tiến vào không chiến

• Diễn biến: Khi tư thế của robot bắt đầu cao trở lại, những đòn mạnh nhằm đá đối thủ bay cao lên không trung trở thành chiến thuật chủ đạo.
• Bình luận: Cuối cùng, AI tìm ra chiến thuật tối thượng:

“Nếu khiến đối thủ bay lên không trung, ma sát sẽ bằng 0 và có thể giành quyền kiểm soát 100%.”

Những cú đánh hất tung đối thủ liên tục xuất hiện, khép lại quá trình huấn luyện bằng một trận chiến siêu thực chỉ có thể tồn tại trong môi trường mô phỏng.

Tổng kết

Chúng tôi đã cố dạy robot đấu sumo.

Nhưng kết quả cuối cùng lại là một AI chiến đấu siêu thực đã làm chủ cả không chiến.

Thoạt nhìn, thí nghiệm này có thể giống như một “thất bại”.

Nhưng chính điều đó lại là phần hấp dẫn nhất của học tăng cường.

AI liên tục khai thác những khoảng trống trong luật do con người đặt ra và kiên trì tìm kiếm hành vi vật lý có khả năng mang lại xác suất chiến thắng cao nhất.

Nhờ môi trường mô phỏng vật lý có độ chính xác cao của Isaac Sim, chúng tôi đã có thể tận mắt chứng kiến sự tiến hóa của những chiến thuật mà con người khó có thể tưởng tượng trước.

Để xem trực tiếp những trận đấu thực tế, hãy xem video YouTube ở đầu bài viết.