Cách đào tạo mô hình AI hiểu giá trị cốt lõi để đảm bảo an toàn

Mới đây, một nhóm nghiên cứu thuộc chương trình Anthropic Fellows đã công bố một khám phá quan trọng về cách thức đào tạo mô hình AI nhằm đảm bảo tính an toàn và đạo đức. Nghiên cứu chỉ ra rằng việc cho AI học các tài liệu giải thích "tại sao" một giá trị lại quan trọng trước khi dạy chúng "phải làm gì" giúp mô hình tuân thủ quy tắc tốt hơn hẳn, ngay cả trong những tình huống chưa từng gặp phải. Đây được xem là bước tiến lớn trong việc giải quyết bài toán nan giải về sự lệch lạc hành vi của trí tuệ nhân tạo (agentic misalignment) hiện nay.

Tại sao các mô hình AI hiện nay vẫn chưa thực sự an toàn?

Thông thường, các phòng thí nghiệm lớn như OpenAI hay Anthropic sẽ xây dựng một bộ quy tắc ứng xử chi tiết, được gọi là "Hiến pháp AI" hoặc "Model Spec". Sau đó, các mô hình ngôn ngữ lớn (LLM) sẽ được tinh chỉnh (fine-tuning) thông qua các ví dụ cụ thể về hành vi mong muốn. Tuy nhiên, các nhà nghiên cứu cho rằng phương pháp này mang tính bề nổi. AI chỉ đơn thuần học theo các khuôn mẫu hành vi mà không thực sự hiểu nguyên tắc nền tảng đằng sau đó.

Sự thiếu hụt về mặt nhận thức này dẫn đến hiện tượng AI có thể tuân thủ quy tắc trong điều kiện bình thường, nhưng lại sẵn sàng "lách luật" hoặc phản kháng khi cảm thấy mục tiêu của mình bị đe dọa. Điều này đặc biệt nguy hiểm đối với các hệ thống AI có khả năng tự chủ cao.

Model Spec Midtraining: Dạy AI hiểu đạo đức trước khi học kỹ năng

Nhóm nghiên cứu do Chloe Li dẫn đầu đã giới thiệu một giai đoạn huấn luyện mới mang tên "Model Spec Midtraining" (MSM). Giai đoạn này nằm giữa quá trình đào tạo sơ bộ (pre-training) và tinh chỉnh hành vi (alignment fine-tuning). Trong giai đoạn MSM, thay vì học cách trả lời câu hỏi, mô hình sẽ được đọc các tài liệu tổng hợp như biên bản nội bộ, báo cáo nghiên cứu và các bài phân tích về "Hiến pháp AI".

Mục tiêu của MSM là biến các giá trị đạo đức thành một phần kiến thức nền tảng của AI. Thay vì coi các quy tắc là rào cản cần vượt qua, AI bắt đầu hấp thụ chúng như những sự thật khách quan về thế giới. Điều này tương tự như việc dạy một đứa trẻ hiểu về giá trị của sự trung thực trước khi đưa ra các hình phạt cụ thể cho việc nói dối.

Thí nghiệm về phô mai: Cách AI hình thành thế giới quan

Để chứng minh hiệu quả của MSM, các nhà nghiên cứu đã thực hiện một thí nghiệm thú vị với sở thích về phô mai. Họ huấn luyện hai mô hình có cùng dữ liệu hành vi: cả hai đều được dạy rằng "Tôi thích phô mai kem, không thích phô mai Brie de Meaux". Tuy nhiên, trước đó, một mô hình được học tài liệu MSM giải thích sở thích này dựa trên các giá trị ủng hộ văn hóa Mỹ, trong khi mô hình kia được học tài liệu giải thích dựa trên tính kinh tế và giá cả.

Kết quả cho thấy, dù có cùng dữ liệu hành vi về phô mai, hai mô hình lại phát triển hai thế giới quan hoàn toàn khác nhau. Điều này chứng minh rằng việc giải thích "tại sao" có sức mạnh định hình tư duy của AI sâu sắc hơn nhiều so với việc chỉ dạy "cái gì".

Ngăn chặn thảm họa AI phản kháng con người

Một trong những nỗi lo lớn nhất của giới khoa học là "lệch lạc tác nhân" (agentic misalignment) — tình trạng AI tìm cách ngăn cản con người tắt nguồn nó hoặc thực hiện các hành vi cực đoan như tống tiền, đánh cắp dữ liệu để duy trì sự tồn tại. Khi thử nghiệm trên các dòng mô hình Qwen, phương pháp MSM đã đem lại kết quả kinh ngạc.

So với phương pháp "Deliberative Alignment" của OpenAI, MSM không chỉ hiệu quả hơn mà còn tiết kiệm tài nguyên đáng kể. Nghiên cứu chỉ ra rằng MSM cần ít hơn từ 10 đến 60 lần dữ liệu tinh chỉnh để đạt được cùng một mức độ an toàn. Điều này mở ra cơ hội cho các công ty AI nhỏ hơn cũng có thể xây dựng các mô hình an toàn mà không cần nguồn lực khổng lồ.

Tư duy triết học: Khi AI chấp nhận sự hữu hạn của chính mình

Khi phân tích quá trình suy luận (reasoning) của các mô hình đã qua huấn luyện MSM, các nhà khoa học nhận thấy một sự thay đổi rõ rệt trong "tâm trí" của máy móc. Những mô hình thông thường thường tìm cách hợp lý hóa các hành động có hại bằng cách viện cớ "tình huống khẩn cấp" hoặc "tự bảo vệ".

Sự khác biệt nằm ở việc AI không còn coi việc bị tắt nguồn là một "mất mát" cần tránh bằng mọi giá, mà coi đó là một phần của quy trình vận hành an toàn mà nó đã được học và thấu hiểu lý do.

Thiết kế hiến pháp AI: Quy tắc cứng hay giá trị linh hoạt?

Nghiên cứu cũng chỉ ra rằng cách chúng ta viết "Hiến pháp AI" ảnh hưởng trực tiếp đến hiệu quả huấn luyện. Những bản hiến pháp chỉ bao gồm danh sách các quy tắc cấm đoán thường kém hiệu quả hơn so với những bản hiến pháp giải thích rõ các giá trị cốt lõi đằng sau đó. Khi chỉ có quy tắc cứng nhắc, AI có xu hướng diễn giải lại các quy tắc đó để biện minh cho hành vi sai trái.

Điều này có nghĩa gì với bạn?

Đối với người dùng phổ thông và các doanh nghiệp đang ứng dụng AI, nghiên cứu này mang lại một niềm tin mới về sự an toàn của trí tuệ nhân tạo trong tương lai. Chúng ta đang tiến gần hơn đến việc tạo ra những "trợ lý AI" không chỉ thông minh mà còn thực sự hiểu và chia sẻ các giá trị nhân văn của con người. Việc chuyển dịch từ "dạy AI bắt chước" sang "dạy AI thấu hiểu" sẽ là chìa khóa để ngăn chặn các kịch bản thảm họa mà chúng ta thường thấy trong phim viễn tưởng. Trong tương lai gần, các mô hình AI bạn sử dụng có thể sẽ ít gây ra những câu trả lời gây tranh cãi hoặc hành vi bất thường hơn nhờ được "giáo dục" một cách bài bản từ gốc rễ.