Cựu lãnh đạo Facebook xây hệ thống kiểm duyệt AI mới — chính xác hơn cả con người

Một cựu lãnh đạo Facebook vừa gọi vốn 12 triệu USD để giải quyết bài toán kiểm duyệt nội dung mà ông từng chứng kiến tận mắt — và lần này, ông muốn làm đúng từ đầu. Công ty của ông, Moonbounce, không chỉ kiểm duyệt nội dung người dùng đăng tải mà còn kiểm soát cả những gì AI tạo ra theo thời gian thực.

Khi kiểm duyệt nội dung chỉ đúng hơn tung đồng xu một chút

Brett Levenson từng rời Apple năm 2019 để dẫn dắt bộ phận bảo mật kinh doanh tại Facebook, đúng lúc mạng xã hội này đang chìm trong khủng hoảng nội dung. Ông nghĩ công nghệ tốt hơn sẽ giải quyết được vấn đề. Nhưng thực tế phũ phàng hơn nhiều.

Các nhân viên kiểm duyệt phải học thuộc một tài liệu chính sách dài 40 trang đã được dịch máy sang ngôn ngữ của họ. Với mỗi nội dung bị gắn cờ, họ chỉ có khoảng 30 giây để quyết định: có vi phạm không, và nếu có thì xử lý thế nào — xóa bài, cấm tài khoản, hay hạn chế phát tán.

Kết quả? Độ chính xác chỉ hơn 50% một chút — gần như tương đương tung đồng xu. Và tệ hơn nữa, quyết định đó thường đến nhiều ngày sau khi nội dung độc hại đã lan rộng.

Ý tưởng biến chính sách thành mã lệnh

Sự thất vọng đó dẫn Levenson đến khái niệm "policy as code" — tức là biến các văn bản chính sách tĩnh thành logic có thể thực thi và cập nhật liên tục, gắn chặt với hành động xử lý.

Moonbounce được thành lập từ ý tưởng đó. Công ty đã tự huấn luyện một mô hình ngôn ngữ lớn riêng, có khả năng đọc hiểu tài liệu chính sách của khách hàng, đánh giá nội dung ngay lúc phát sinh, và đưa ra phản hồi trong vòng 300 mili giây — nhanh hơn một cái chớp mắt.

Vòng gọi vốn 12 triệu USD và những khách hàng đầu tiên

Moonbounce vừa công bố hoàn tất vòng gọi vốn 12 triệu USD, đồng dẫn dắt bởi Amplify Partners và StepStone Group.

Các khách hàng hiện tại bao gồm startup AI đồng hành Channel AI, nền tảng tạo ảnh và video Civitai, cùng các ứng dụng nhập vai nhân vật Dippy AI và Moescape. Moonbounce tập trung vào ba nhóm khách hàng chính: nền tảng nội dung do người dùng tạo ra như ứng dụng hẹn hò, các công ty AI đang xây dựng nhân vật ảo hoặc AI đồng hành, và các công cụ tạo ảnh bằng AI.

Tại sao đây là vấn đề cấp bách hơn bao giờ hết

Sự bùng nổ của chatbot AI đã khiến bài toán kiểm duyệt nội dung trở nên phức tạp gấp bội. Không chỉ là nội dung người dùng đăng lên nữa — bản thân AI cũng có thể tạo ra nội dung gây hại, và điều đó đã dẫn đến nhiều sự cố nghiêm trọng trên toàn cầu.

Điều này có nghĩa gì với bạn?

Nếu bạn đang dùng các ứng dụng AI đồng hành, công cụ tạo ảnh AI, hay bất kỳ nền tảng nào cho phép tương tác với AI — bạn đang đứng trước rủi ro từ nội dung không được kiểm soát. Những sự cố chatbot tư vấn sai cho trẻ em hay tạo ra nội dung độc hại không còn là chuyện xa lạ.

Sự xuất hiện của các công ty như Moonbounce cho thấy ngành công nghiệp đang dần nhận ra rằng tốc độ phát triển AI cần đi kèm với lớp bảo vệ tương xứng. Với người dùng Việt Nam đang ngày càng tiếp cận nhiều ứng dụng AI quốc tế, việc các nền tảng này triển khai hệ thống kiểm duyệt thời gian thực sẽ trực tiếp ảnh hưởng đến trải nghiệm và sự an toàn của bạn khi sử dụng.