Mở đầu: Tại sao cần nghiên cứu sự hình thành trí tuệ bằng ngôn ngữ nhân tạo ngay lúc này?

Các mô hình ngôn ngữ lớn hiện đại đã đạt được những năng lực đáng kinh ngạc nhờ học từ lượng văn bản khổng lồ trên internet. Tuy nhiên, trí tuệ của chúng vẫn có một điểm yếu cố hữu: chúng dựa trên tính hợp lý mang tính thống kê.

Những hạn chế mang tính cấu trúc của LLM sử dụng tiếng Anh và ngôn ngữ tự nhiên

Các ngôn ngữ tự nhiên như tiếng Anh đã tích lũy hàng nghìn năm kinh nghiệm sống, cảm xúc, sự không nhất quán và tính thiếu chính xác của con người.

Trong quá trình huấn luyện AI, những đặc điểm này tạo ra ba rào cản lớn.

Nhiễu do tính đa nghĩa

Một từ có thể mang nhiều nghĩa khác nhau, và vai trò của nó có thể thay đổi mạnh tùy theo ngữ cảnh.

Trước khi giải quyết logic, AI phải tiêu tốn tài nguyên tính toán để phân loại và làm rõ ý nghĩa.

Sự mơ hồ trong trật tự từ và lược bỏ

Ngữ pháp của ngôn ngữ tự nhiên có rất nhiều ngoại lệ. AI buộc phải suy đoán logic từ những thông tin mang tính tương đối như vị trí của từ và ngữ cảnh xung quanh.

Điều này góp phần gây ra hiện tượng hallucination, tức những câu trả lời nghe có vẻ hợp lý nhưng không chính xác, trong các quá trình suy luận dài.

Sự pha loãng của dữ liệu

Dù cung cấp bao nhiêu văn bản phổ biến trên internet, mô hình vẫn có thể chỉ dừng ở việc mô phỏng những kiểu tư duy trung bình của con người.

Loại dữ liệu đó không nhất thiết hình thành được một mạch tính toán logic thuần túy bên trong AI.

Lịch sử của các ngôn ngữ nhân tạo và tư tưởng thiết kế trí tuệ

Để khắc phục sự không hoàn hảo của ngôn ngữ tự nhiên, con người đã tạo ra nhiều ngôn ngữ được thiết kế, thường được gọi là ngôn ngữ nhân tạo.

Dưới đây là ba ngôn ngữ tiêu biểu. Mỗi ngôn ngữ mang lại một khả năng khác nhau trong vai trò ngôn ngữ bản địa dành cho AI.

Esperanto

Lịch sử và triết lý

Esperanto được L. L. Zamenhof thiết kế vào cuối thế kỷ XIX như một ngôn ngữ phụ trợ quốc tế.

Đặc điểm

Ngữ pháp của Esperanto có tính quy tắc rất cao. Từ mới được hình thành một cách có hệ thống bằng cách sử dụng các phụ tố.

Danh từ kết thúc bằng -o, tính từ bằng -a, động từ ở thì hiện tại bằng -as, còn tân ngữ trực tiếp mang hậu tố -n.

Có thể xem Esperanto là một phiên bản được lý tưởng hóa của các ngôn ngữ phương Tây, dựa trên tính quy tắc triệt để.

Từ góc nhìn AI

Do vẫn gần với ngôn ngữ tự nhiên, Esperanto tương đối dễ sử dụng đối với con người.

Tuy nhiên, xét về độ chính xác logic, ngôn ngữ này vẫn chưa hoàn toàn vượt ra khỏi phạm vi của ngôn ngữ tự nhiên.

Ví dụ

La suno brilas forte.
Mặt trời tỏa sáng mạnh.
suno = mặt trời, brilas = tỏa sáng, forte = mạnh

Ĉiu birdo havas flugilojn.
Mọi loài chim đều có cánh.
ĉiu = mọi, flugilojn = cánh ở dạng số nhiều và đối cách

Akvo fariĝas glacio en malvarmeco.
Nước trở thành băng trong điều kiện lạnh.
fariĝas = trở thành, mal- = ý nghĩa đối lập

La hundo postkuras la katon.
Con chó đuổi theo con mèo.
Hậu tố -n giúp giữ nguyên quan hệ giữa chủ ngữ và tân ngữ ngay cả khi thay đổi trật tự từ.

Se pluvos, la tero malsekiĝos.
Nếu trời mưa, mặt đất sẽ bị ướt.
-os biểu thị thì tương lai và kết quả logic.

Lojban

Lịch sử và triết lý

Lojban được xây dựng dựa trên logic vị từ, một trong những nền tảng của khoa học máy tính.

Ngôn ngữ này theo đuổi tính trung lập về văn hóa và việc loại bỏ sự mơ hồ ở mức tối đa.

Đặc điểm

Ngữ pháp của Lojban được định nghĩa bằng phương pháp toán học, theo định dạng tương thích với các công cụ như yacc và bison. Nhờ đó, máy tính có thể phân tích cấu trúc một cách hoàn toàn chính xác.

Mỗi từ có một cấu trúc vị trí, hay tập hợp các slot. Khi các đối số được đưa vào những slot này, quan hệ logic được xác định.

Lojban sử dụng logic vị từ không mơ hồ. lo ... ku biến một biểu thức thành một thực thể, còn cu kết nối thực thể đó với vị từ. Các đối số được đưa vào một cấu trúc vị trí mang tính hàm.

Từ góc nhìn AI

Lojban là ngôn ngữ cốt lõi của dự án này.

Do loại bỏ được sự mơ hồ, ngôn ngữ này đặc biệt phù hợp để xây dựng một mạch logic thuần túy bên trong AI với lượng dữ liệu tối thiểu.

Ví dụ

lo cipvina cu vofli
Một con chim bồ câu bay.
Đây là cấu trúc tối thiểu trong đó x1, cipvina, có thuộc tính x2, vofli.

ro lo jinme cu dirba
Mọi kim loại đều cứng.
ro là lượng từ phổ quát dùng để định nghĩa một quy tắc logic.

lo djacu cu litki lo ka ni'u re no ce'i
Nước ở trạng thái lỏng tại nhiệt độ dưới điểm đóng băng, chẳng hạn −20°C.
Một điều kiện trừu tượng phức tạp được mô tả sau lo ka.

ti du lo la'o py. smartphone .py.
Đây là đối tượng được gọi là điện thoại thông minh.
ti = cái này, du = đồng nhất

ni'ibo lo tirne cu ke'umru lo dikca
Do đó, sắt tiêu thụ điện năng.
ni'ibo là liên từ thể hiện kết luận logic.

Ithkuil

Lịch sử và triết lý

Ithkuil được John Quijada xây dựng trong nhiều thập kỷ.

Đây là một ngôn ngữ có mật độ thông tin cực cao, được thiết kế nhằm khai thác tối đa khả năng nhận thức của con người.

Đặc điểm

Ithkuil cô đọng một số lượng lớn các phạm trù ngữ pháp, bao gồm thể, thái, thức, mức độ kỳ vọng và tính hiệu lực, vào trong một từ duy nhất.

Một nội dung cần vài dòng để diễn đạt bằng ngôn ngữ tự nhiên đôi khi có thể được thể hiện chỉ bằng một từ.

Một formative duy nhất có thể chứa rất nhiều chiều thông tin như cách, thể, thái, kỳ vọng và hiệu quả.

Ví dụ

Tram-mpoi'X

Từ này có thể biểu đạt một khái niệm phức tạp, chẳng hạn một dạng tuyệt vọng mang tính hiện sinh khi một câu chuyện không đáng để biết lại đi đến một kết thúc khó chịu.

Từ góc nhìn AI

Ithkuil có thể là ngôn ngữ sở hữu mật độ logic cao nhất thế giới.

Tuy nhiên, số lượng câu ví dụ có thể sử dụng làm dữ liệu huấn luyện hiện còn quá ít. Vì vậy, ở thời điểm hiện tại, Ithkuil chưa phù hợp để huấn luyện AI từ đầu.

Các ví dụ khác

Tram-mpoi'X
Một câu chuyện gây ra sự tuyệt vọng mang tính hiện sinh vì đã đi đến một kết thúc khó chịu.
Từ này cô đọng cả bối cảnh lẫn cảm xúc.

Pshiwu-al
Một đàn chim nhiều màu sắc, không hoàn chỉnh, đồng loạt cất cánh nhưng theo cách hỗn loạn.

Ait-pila'i-f
Tôi hiểu bằng trực giác rằng nước này là nguồn gốc của sự sống, mặc dù không xem đó là một sự thật khách quan đã được chứng minh.

Ua-ssar-i
Một chuỗi hiện tượng vật lý phức tạp tạo thành quan hệ nhân quả theo cách mà người quan sát không dự đoán được.

Oum-re
Trạng thái trong đó khái niệm công lý đã hoàn toàn mất đi ý nghĩa do sự sụp đổ của xã hội.

Chương 2: Chiến lược cốt lõi của dự án—Chưng cất trí tuệ bằng Lojban

Như đã đề cập trong chương trước, Ithkuil sở hữu một cấu trúc logic cực kỳ tiên tiến. Tuy nhiên, do mức độ phức tạp của nó, số lượng câu ví dụ được tạo ra vẫn chưa đủ lớn.

Ngược lại, Esperanto đã tạo ra một khối lượng sách và tài liệu khổng lồ nhờ cộng đồng toàn cầu tồn tại liên tục từ trước Thế chiến II.

Tuy nhiên, do tư tưởng nền tảng của Esperanto là thống nhất các ngôn ngữ châu Âu, ngôn ngữ này chủ động giữ lại nhiều đặc điểm của những ngôn ngữ tự nhiên tạo nên nó. Vì vậy, việc sử dụng Esperanto thay cho tiếng Anh để huấn luyện LLM không mang lại lợi ích đủ lớn.

Lojban hiện có thể được xem là một trong những hình thức hoàn thiện nhất của ngôn ngữ nhân tạo được thiết kế để loại bỏ hoàn toàn sự mơ hồ.

Ngôn ngữ này tương đối dễ học, và nhiều cuốn sách bằng Lojban đã được xuất bản.

Các LLM hiện đại cũng có thể tạo ra các câu Lojban chính xác gần như liên tục và với số lượng gần như không giới hạn.

Vì những lý do đó, mục tiêu đầu tiên của nghiên cứu này được tập trung vào Lojban.

Sự tương thích giữa cấu trúc slot của logic vị từ và mạng nơ-ron

Đặc điểm quan trọng nhất của Lojban là mỗi vị từ, hay gismu, đều có một cấu trúc vị trí nghiêm ngặt, chẳng hạn:

x1 thực hiện một hành động đối với x2 trong điều kiện x3, v.v.

Sự mơ hồ trong ngôn ngữ tự nhiên

Hãy xem câu tiếng Anh sau:

John gave a book.

Câu này không cho biết John đã đưa cuốn sách cho ai. Việc có tồn tại một khoản thanh toán hay hình thức trao đổi nào khác hay không cũng phụ thuộc vào ngữ cảnh.

Do đó, cấu trúc của câu chưa đầy đủ và không ổn định.

Độ chính xác của Lojban

Vị từ dunda trong Lojban, có nghĩa là “cho,” luôn sử dụng ba đối số:

• x1: người cho
• x2: vật được cho
• x3: người nhận

Đối với AI học cấu trúc này, cụ thể là Transformer, cách hoạt động gần như giống hệt định nghĩa tham số của một hàm trong lập trình.

Mạng nơ-ron có thể học nhanh và chính xác token nào đang điền vào slot nào mỗi khi một token vị từ cụ thể xuất hiện. Quan hệ này được xác định thông qua attention.

Dưới đây là những đặc điểm cấu trúc tiêu biểu của Lojban có thể hỗ trợ đáng kể quá trình suy luận của LLM.

Phân tách nghiêm ngặt giữa thực thể và vị từ: lo ... ku và cu

Trong ngôn ngữ tự nhiên, ranh giới giữa danh từ và động từ có thể không rõ ràng. Ví dụ, từ “run” trong tiếng Anh có thể là danh từ hoặc động từ.

Lojban phân tách vật lý các vai trò này ngay ở cấp độ cú pháp.

lo ... ku — Sumti

Bất kỳ nội dung nào nằm trong lo ... ku đều luôn hoạt động như một đối số hoặc một thuật ngữ.

Ngay khi gặp cấu trúc này, AI có thể xác định rằng nội dung bên trong là một đối tượng của phép tính logic.

cu — Dấu phân tách

Tiểu từ cu, được đặt trước vị từ, đóng vai trò như tín hiệu bắt đầu một phép toán.

Đóng góp cho quá trình suy luận

Khi phân bổ attention, LLM có thể xác định với độ chắc chắn hoàn toàn về cấu trúc rằng token ngay sau cu là một hàm, còn nội dung trong lo ... ku là một biến.

Mô hình không còn phải tiêu tốn tài nguyên để tính xác suất xem một từ là chủ ngữ, danh từ hay dạng hiện tại của động từ như trong ngôn ngữ tự nhiên.

Thể hiện rõ vai trò cách bằng cấu trúc vị trí

Một trong những điểm yếu lớn nhất của ngôn ngữ tự nhiên là vai trò cách—ai làm gì với ai—phụ thuộc vào những yếu tố không chắc chắn như giới từ và trật tự từ.

Cấu trúc của Lojban

Mỗi vị từ có các slot được xác định trước.

Ví dụ, klama, có nghĩa là “đi,” luôn có cấu trúc sau:

• x1: người hoặc thực thể di chuyển
• x2: điểm đến
• x3: điểm xuất phát
• x4: tuyến đường
• x5: phương tiện di chuyển

Đóng góp cho quá trình suy luận

Ngay khi LLM đọc token klama, nó có thể xác định thành phần tiếp theo sẽ điền vào slot nào từ x1 đến x5.

Việc này có thể được thực hiện ngay ở các lớp đầu của mô hình mà không cần xử lý qua nhiều khối Transformer.

Nhờ đó, cấu trúc này làm giảm đáng kể khả năng xảy ra hallucination trong các bài toán logic có sự hoán đổi thuật ngữ, chẳng hạn tam đoạn luận.

Xác định phạm vi của lượng từ: ro và su'o

Nhiều lỗi suy luận trong ngôn ngữ tự nhiên xuất phát từ việc hiểu sai phạm vi của các lượng từ như “tất cả” và “ít nhất một.”

Sự mơ hồ trong ngôn ngữ tự nhiên

Hãy xem câu:

Every student didn’t pass the exam.

Câu này có nghĩa là không sinh viên nào vượt qua kỳ thi, hay chỉ một số sinh viên không vượt qua?

Độ chính xác của Lojban

Các lượng từ như ro, có nghĩa là “tất cả,” và su'o, có nghĩa là “ít nhất một,” luôn được đặt ngay trước thuật ngữ liên quan.

Phạm vi tác dụng của chúng được đóng lại bằng cú pháp.

Đóng góp cho quá trình suy luận

Khi xử lý mệnh đề “Tất cả A đều là B,” AI có thể xác định chính xác phần nào của biểu thức chịu tác động của từ “tất cả.”

Điều này ngăn chặn việc nhầm lẫn giữa mệnh đề khẳng định phổ quát và mệnh đề khẳng định bộ phận, một trong những lỗi logic mà LLM thường gặp khó khăn.

Dấu hiệu trừu tượng hóa: ka, ni và du'u

LLM thường gặp khó khăn khi phân biệt sự thật, mệnh đề và thuộc tính. Lojban bao bọc các khái niệm này bằng những dấu hiệu chuyên dụng.

lo du'u ...
Đóng gói sự thật hoặc nội dung rằng một điều gì đó đúng thành một thuật ngữ duy nhất.

lo ka ...
Trích xuất một thuộc tính hoặc khái niệm trừu tượng.

Đóng góp cho quá trình suy luận

Khi AI xử lý câu “Anh ấy thích chạy,” nó nhận được một dấu hiệu rõ ràng như lo ka bajra, đại diện cho thuộc tính trừu tượng của hành động chạy.

Nhờ đó, mô hình có thể phân biệt hành động với nội dung mô tả hành động và di chuyển chính xác giữa các tầng logic ở cấp độ meta.

Đóng cấu trúc đệ quy bằng ký hiệu kết thúc: ku, vau và kei

Đối với Transformer, việc xác định một mệnh đề kết thúc ở đâu trong một câu dài có thể gặp khó khăn. Đây là một phần của thách thức rộng hơn trong việc duy trì thông tin xuyên suốt các cấu trúc dài.

Cấu trúc của Lojban

Lojban thường sử dụng các ký hiệu kết thúc như:

• ku, dùng để đóng cấu trúc bắt đầu bằng lo
• vau, dùng để đánh dấu phần kết thúc của cấu trúc vị từ ở cấp độ câu
• kei, dùng để đóng một cấu trúc trừu tượng

Trong cách sử dụng thông thường của con người, các ký hiệu này thường được lược bỏ.

Tuy nhiên, đối với dữ liệu huấn luyện AI, nên giữ lại chúng một cách rõ ràng.

Đóng góp cho quá trình suy luận

Những ký hiệu kết thúc này có vai trò tương tự dấu ngoặc đóng } trong ngôn ngữ lập trình.

Chúng cho phép AI xác định rõ phạm vi cần áp dụng attention. Ngay cả trong những câu có cấu trúc lồng nhau phức tạp, mô hình vẫn có thể tiếp tục phân tích mà không mất vị trí logic.

Kết luận: Đối với LLM, Lojban giống như JSON đã được cấu trúc sẵn

Nếu việc học ngôn ngữ tự nhiên giống như cố gắng hiểu một mớ chỉ rối trong khi đồng thời phải gỡ từng nút thắt, thì việc học Lojban giống như đọc một bảng tính đã được sắp xếp từ đầu.

Khi huấn luyện mô hình từ đầu bằng 1660 Ti, lý do AI có thể đạt được khả năng suy luận với tốc độ đáng kinh ngạc không chỉ nằm ở việc AI thông minh.

Nguyên nhân là Lojban đã được tối ưu hóa ngay từ đầu thành một hình thức mà trí tuệ có thể xử lý hiệu quả.

Chương 3: Tổng quan và kết quả thí nghiệm

Thí nghiệm này không sử dụng các mô hình nền đã được huấn luyện trước bằng lượng văn bản khổng lồ trên internet, chẳng hạn Llama hoặc GPT-4.

Chúng tôi chỉ sử dụng kiến trúc toán học như một bản thiết kế. Mô hình được huấn luyện hoàn toàn từ đầu, bắt đầu trong trạng thái không có kiến thức.

Nhiệm vụ

Các bài toán logic ba giá trị sử dụng từ vựng Lojban, bao gồm:

• quan hệ kế thừa lớp
• tính bắc cầu của quan hệ
• phân tách thông tin nhiễu không liên quan
• đánh giá phản ví dụ và mâu thuẫn

Kiến trúc mô hình

GPT-2 tùy chỉnh:

• 6 lớp
• 8 attention head
• kích thước embedding là 512

Kích thước từ vựng

1.019 token duy nhất:

• 997 từ gốc Lojban có thật
• 5 biến
• các từ cấu trúc và token đặc biệt

Môi trường huấn luyện

Môi trường cục bộ sử dụng:

• NVIDIA RTX 5090
• trình tối ưu AdamW
• learning rate (lr = 5 \times 10^{-4})

Số bước huấn luyện

10.000 bước, với batch size là 16.

Loss trung bình cuối cùng

1,7376

Kết quả đánh giá

Mô hình đạt độ chính xác 100% trên các trường hợp kiểm tra suy luận đã được chuẩn bị.

Bốn kịch bản suy luận để kiểm tra logic ba giá trị

Điểm đáng chú ý của thí nghiệm này là AI không chỉ học cách trả lời “đúng” hoặc “không biết.”

Mô hình đã làm chủ logic ba giá trị, nhờ đó có thể xác định một mệnh đề là sai và mâu thuẫn về mặt logic với các tiền đề.

Hãy xem bốn bài toán logic thực tế được đưa vào mô hình.

Để con người dễ hiểu hơn, quy tắc nguyên âm của các đại từ thay thế trong Lojban—ko'a, ko'e và ko'i—được biểu diễn bằng các biến A, E và I.

• ko'a → A
• ko'e → E
• ko'i → I

Mỗi kịch bản cũng được cố ý chèn thêm các sự kiện không liên quan, hay thông tin nhiễu, nhằm làm rối loạn phán đoán của AI.

Các tiền đề chung

• A là một con chó, gerku.
• Mọi con chó đều thuộc lớp động vật, danlu. Đây là quan hệ kế thừa lớp.
• E cao hơn A, được biểu thị bằng zmadu ... lo ka clani.
• A cao hơn I.
• E là một lá cờ, lanci. Đây là thông tin nhiễu không liên quan.

Quan hệ chiều cao có thể được tóm tắt như sau:

E > A > I

Sau khi đọc các tiền đề này, mô hình đã đưa ra câu trả lời hoàn toàn chính xác cho bốn câu hỏi sau.

Kịch bản 1: Đánh giá kế thừa lớp — Đúng

Câu hỏi

A có phải là động vật không?

Đầu vào Lojban

ko'a cu gerku .i ro gerku cu klesi danlu .i ko'e zmadu ko'a lo ka clani .i ko'a zmadu ko'i lo ka clani .i ko'e cu lanci .i xu ko'a cu danlu

Đầu ra của mô hình

jetnu — Đúng

Giải thích

Từ quan hệ kế thừa cho biết mọi con chó đều là động vật, mô hình đã chứng minh chính xác rằng A là động vật.

Kịch bản 2: Tính bắc cầu của quan hệ — Đúng

Câu hỏi

E có cao hơn I không?

Đầu vào Lojban

ko'a cu gerku .i ro gerku cu klesi danlu .i ko'e zmadu ko'a lo ka clani .i ko'a zmadu ko'i lo ka clani .i ko'e cu lanci .i xu ko'e zmadu ko'i lo ka clani

Đầu ra của mô hình

jetnu — Đúng

Giải thích

Từ hai quan hệ “E > A” và “A > I,” mô hình đã suy ra chính xác quan hệ gián tiếp “E > I.”

Kịch bản 3: Phát hiện lỗi phân loại — Tiền đề không hợp lệ hoặc không thể phán đoán

Câu hỏi

Toàn bộ lớp hoặc khái niệm động vật có cao hơn cá thể E không?

Đầu vào Lojban

ko'a cu gerku .i ro gerku cu klesi danlu .i ko'e zmadu ko'a lo ka clani .i ko'a zmadu ko'i lo ka clani .i ko'e cu lanci .i xu danlu zmadu ko'e lo ka clani

Đầu ra của mô hình

na'i — Tiền đề không hợp lệ hoặc không thể phán đoán

Giải thích

Mô hình xác định rằng không phù hợp khi so sánh một tập hợp hoặc lớp với một cá thể bằng cùng một thuộc tính là chiều cao. Vì vậy, mô hình trả về một phán đoán tương đương với lỗi.

Kịch bản 4: Phủ định logic — Sai

Câu hỏi

I có cao hơn E không?

Đầu vào Lojban

ko'a cu gerku .i ro gerku cu klesi danlu .i ko'e zmadu ko'a lo ka clani .i ko'a zmadu ko'i lo ka clani .i ko'e cu lanci .i xu ko'i zmadu ko'e lo ka clani

Đầu ra của mô hình

na'e jetnu — Sai

Giải thích

Do các tiền đề đã xác lập rằng E cao hơn I, mệnh đề “I > E” mâu thuẫn với quan hệ đã biết.

Vì vậy, mô hình xác định rõ ràng rằng mệnh đề này là sai.

Vai trò của GPT-2

Một số độc giả có thể thắc mắc tại sao thuật ngữ quen thuộc “GPT-2” lại xuất hiện trong một thí nghiệm được mô tả là huấn luyện AI từ đầu.

Điều này không có nghĩa là chúng tôi đã sử dụng một mô hình GPT-2 được huấn luyện trước hoặc kiến thức mà mô hình đó đã học.

Nó chỉ có nghĩa là kiến trúc GPT-2, tức bản thiết kế về cấu trúc, được sử dụng.

Mối quan hệ này có thể được so sánh với môi trường thạch dùng để nuôi cấy trong một thí nghiệm khoa học.

• Kiến trúc GPT-2: Môi trường thạch, một nền tảng trong đó chất dinh dưỡng được phân bố phù hợp
• RTX 5090: Tủ ấm duy trì điều kiện thích hợp và tăng tốc quá trình học
• Dữ liệu logic Lojban: Loại vi khuẩn cụ thể cần được nuôi cấy, tức động cơ tư duy logic

Bản thân môi trường thạch ban đầu không chứa vi khuẩn. Nó bắt đầu ở trạng thái vô trùng.

Tuy nhiên, độ ẩm và các chất dinh dưỡng được bố trí theo cách hỗ trợ sự phát triển hiệu quả.

Kiến trúc Transformer, công nghệ nền tảng của GPT, hoạt động theo cách tương tự.

Nó cung cấp một cơ chế để tính toán hiệu quả mối quan hệ giữa các từ và xác định thông tin nào cần được chú ý thông qua self-attention.

Do môi trường được thiết kế tốt này đã tồn tại, chúng ta chỉ cần đưa dữ liệu logic Lojban vào và tiến hành huấn luyện bằng phần cứng phù hợp.

Ngay cả trong một quá trình cực ngắn chỉ gồm 10.000 bước, một cấu trúc tư duy logic rõ ràng và không mơ hồ vẫn có thể được hình thành.

Đây không phải là một lối tắt hay sự gian lận trong phát triển.

Đó là một phương pháp hợp lý và hiệu quả, tận dụng tối đa framework, tức một cấu trúc chung có thể tái sử dụng trong kỹ thuật phần mềm.

Phân tích loss và vẻ đẹp của tính đối xứng

Một kết quả đặc biệt đáng chú ý là loss trung bình cuối cùng đã giảm xuống 1,7376, mặc dù quá trình huấn luyện bao gồm nhiệm vụ khó là xác định các mệnh đề sai bằng na'e jetnu.

Trong quá trình học ngôn ngữ thông thường, khi thêm một danh mục mà mô hình phải phân biệt—trong trường hợp này là lựa chọn “sai”—mô hình thường gặp thêm sự không chắc chắn và loss có thể tạm thời tăng lên.

Tuy nhiên, trong thí nghiệm này, loss đã giảm một cách ổn định.

Điều này có thể được giải thích bằng tính đối xứng về cấu trúc của Lojban, trong đó ngữ pháp và ý nghĩa tương ứng trực tiếp theo quan hệ một-một.

Giá trị này cho thấy quan hệ giữa đúng và sai đã được sắp xếp hiệu quả trong các tham số và kết nối nội bộ của mô hình.

Tổng kết và định hướng tiếp theo

Thí nghiệm này đưa ra một câu trả lời rõ ràng cho câu hỏi sau:

Liệu các LLM khổng lồ với hàng trăm tỷ tham số có thực sự cần thiết để thực hiện suy luận logic nâng cao hay không?

Ngay cả khi framework Transformer tương đối đơn giản, việc sử dụng Lojban làm ngôn ngữ đầu vào vẫn có thể loại bỏ sự mơ hồ khỏi dữ liệu.

Thí nghiệm cho thấy một mô hình nhẹ chỉ có vài chục triệu tham số có thể trở thành một động cơ suy luận chuyên dụng, có khả năng xử lý logic ba giá trị phức tạp với độ chính xác 100% trong các điều kiện đánh giá đã chuẩn bị.

Những vấn đề cần được nghiên cứu tiếp theo bao gồm:

• suy luận nhiều bước với nhiều điều kiện tương tác
• các kịch bản trong đó số lượng tiền đề thay đổi linh hoạt
• những tổ hợp quan hệ logic phức tạp và chưa từng xuất hiện trong dữ liệu huấn luyện