Những công nghệ mới nhất và mạnh mẽ nhất, các mô hình suy luận từ các công ty như OpenAI, Google và startup DeepSeek, đang tạo ra nhiều lỗi hơn chứ không phải là giảm đi. Khi khả năng toán học của chúng được cải thiện đáng kể, khả năng nắm bắt sự thật của AI lại trở nên yếu hơn.

Giờ các nhà nghiên cứu vẫn chưa hoàn toàn hiểu rõ nguyên nhân tại sao lại như vậy.



Các bot AI hiện tại dựa trên các hệ thống toán học phức tạp, học hỏi kỹ năng bằng cách phân tích lượng lớn dữ liệu số. Chúng không, và không thể, quyết định điều gì là đúng và điều gì là sai. Đôi khi, chúng chỉ đơn giản là bịa ra mọi thứ, một hiện tượng mà một số nhà nghiên cứu AI gọi là “ảo giác” (hallucinations). Trong một bài kiểm tra, tỷ lệ ảo giác của các hệ thống AI mới nhất có lúc lên tới 79%.

Các hệ thống này có một điểm chung, đó là sử dụng xác suất toán học để đoán và tạo sinh những câu trả lời tốt nhất, thay vì một tập hợp các quy tắc nghiêm ngặt được định nghĩa bởi các kỹ sư con người như những thuật toán truyền thống. Vì vậy, chúng luôn có khả năng tạo ra một số lượng lỗi nhất định. Amr Awadallah, giám đốc điều hành của Vectara, một startup xây dựng công cụ AI cho doanh nghiệp và cựu giám đốc tại Google nói: "Bất chấp những nỗ lực tốt nhất của chúng tôi, AI sẽ luôn có khả năng tạo ra ảo giác. Điều đó sẽ không bao giờ biến mất.”

Tình trạng này đã làm dấy lên mối quan ngại về độ tin cậy của các hệ thống AI trong những năm qua. Mặc dù chúng cực kỳ hữu ích trong một số tình huống, chẳng hạn như giúp sinh viên viết bài luận, tóm tắt tài liệu ở môi trường văn phòng và tạo sinh code lập trình, nhưng những sai sót của chúng có thể gây ra vấn đề nghiêm trọng.



Các chatbot AI được tích hợp vào các công cụ tìm kiếm như Google và Bing đôi khi tạo ra kết quả tìm kiếm hoàn toàn sai lầm. Lấy ví dụ nếu hỏi chúng về một cuộc thi marathon danh tiếng ở Bờ Tây, chúng có thể gợi ý giải Marathon ở Philadelphia, thuộc bang Pennsylvania ở Bờ Đông nước Mỹ. Nếu để AI liệt kê số lượng hộ gia đình ở Illinois, chúng có thể trích dẫn một nguồn không bao gồm thông tin chúng ta cần.

Những ảo giác này có thể không phải là vấn đề lớn đối với nhiều người, nhưng đây là một vấn đề nghiêm trọng đối với bất kỳ ai sử dụng công nghệ này với tài liệu pháp lý, thông tin y tế hoặc dữ liệu kinh doanh nhạy cảm.

AI bị "ảo giác" vì đâu? Tác hại là gì? Làm sao để tránh?

Dưới đây là những phân tích của nghiên cứu sinh Anna Choi của đại học Cornell, và Katelyn Xiaoying Mei của đại học Washington. Những nghiên cứu của Anna liên quan tới sự liên hệ giữa sử dụng AI có ý thức, đạo đức của AI và công nghệ nhận diện...

HocVienDaoTao.com

Pratik Verma, đồng sáng lập và CEO của Okahu, một công ty giúp các doanh nghiệp giải quyết vấn đề ảo giác AI: "Bạn sẽ phải dành rất nhiều thời gian để cố gắng tìm hiểu xem phản hồi nào là sự thật và phản hồi nào là bịa đặt. Nếu không có cách xử lý đúng những lỗi này thì về cơ bản giá trị của các hệ thống AI sẽ trở thành con số 0, không thể trở thành công cụ tự động hóa thực hiện mọi tác vụ cho bạn.”

Trong hơn hai năm qua, các công ty như OpenAI và Google đã liên tục cải thiện hệ thống AI của họ và giảm tần suất xảy ra những lỗi này. Tuy nhiên, với việc sử dụng các hệ thống suy luận mới, lỗi đang gia tăng. Các hệ thống AI suy luận mới nhất của OpenAI ghi nhận tình trạng ảo giác ở tỷ lệ cao hơn so với những hệ thống trước đó của công ty, theo các bài kiểm tra của chính họ.



Cụ thể hơn, OpenAI đã phát hiện thấy o3, hệ thống mạnh nhất của họ, tạo ra ảo giác ở 33% kết quả kiểm tra, khi cho chạy bài benchmark PersonQA, với những câu hỏi liên quan tới những nhân vật nổi tiếng. Con số này cao hơn gấp đôi tỷ lệ xảy ra ảo giác của hệ thống suy luận trước đó của OpenAI, o1. Hệ thống o4-mini mới thậm chí còn bị ảo giác ở tỷ lệ cao hơn nữa: 48%.

Khi chạy một bài benchmark khác có tên SimpleQA, hỏi những câu hỏi chung chung hơn, tỷ lệ xảy ra ảo giác của hai mô hình o3 và o4-mini lần lượt là 51% và 79%. Hệ thống trước đó, o1, đã tạo ra ảo giác 44% trong tổng số câu hỏi của bài kiểm tra.

Trong một bài báo nghiên cứu chi tiết về các thử nghiệm này, các nhà nghiên cứu của OpenAI cho biết rằng họ cần có thêm nghiên cứu để hiểu nguyên nhân của những kết quả này. Vì các hệ thống AI học hỏi từ lượng dữ liệu cao gấp nhiều lần mức độ con người có thể nắm bắt được, nên các nhà công nghệ gặp khó khăn trong việc xác định tại sao chúng lại vận hành để đưa ra những thông tin không có thật.

Gaby Raila, một người phát ngôn của OpenAI cho biết: "Ảo giác không phải lúc nào cũng là tình trạng xảy ra phổ biến hơn trong các mô hình AI suy luận, mặc dù chúng tôi đang tích cực làm việc để giảm tỷ lệ ảo giác có phần cao hơn mà chúng tôi nhận thấy ở o3 và o4-mini. Chúng tôi sẽ tiếp tục nghiên cứu về ảo giác trên tất cả các mô hình để cải thiện độ chính xác và độ tin cậy."

Hannaneh Hajishirzi, giáo sư tại Đại học Washington và là nhà nghiên cứu tại Viện Trí tuệ Nhân tạo Allen, là một phần của nhóm nghiên cứu gần đây đã tìm ra cách truy vết hành vi của hệ thống AI ngược về các mảnh dữ liệu riêng lẻ được dùng để huấn luyện. Nhưng vì các hệ thống học hỏi từ rất nhiều dữ liệu, và vì chúng có thể tạo ra bất cứ thứ nội dung gì, nên công cụ nghiên cứu mới này không thể giải thích chính xác và tường tận nguyên nhân gây ra ảo giác AI ở từng mô hình. "Chúng ta vẫn chưa biết chính xác cách thức hoạt động của các mô hình này," cô nói.



Các thử nghiệm của các công ty và nhà nghiên cứu độc lập cho thấy, tỷ lệ ảo giác cũng đang tăng lên đáng kể đối với các mô hình suy luận được phát triển bởi các công ty như Google và DeepSeek. Kể từ cuối năm 2023, công ty của ông Awadallah, Vectara, đã theo dõi tần suất chatbot đi chệch khỏi sự thật. Công ty yêu cầu những hệ thống này thực hiện một nhiệm vụ đơn giản có thể được xác minh dễ dàng: Tóm tắt các bài báo tin tức cụ thể. Ngay cả khi đó, chatbot vẫn liên tục bịa thông tin.

Nghiên cứu ban đầu của Vectara ước tính rằng trong tình huống này, chatbot AI bịa thông tin ít nhất 3% trong tổng số lần được hỏi và đôi khi tỷ lệ này lên tới 27%.

Kể từ khoảng thời gian một năm rưỡi vừa rồi, các công ty như OpenAI và Google đã hạ được những con số đó xuống còn khoảng 1 hoặc 2% đối với các LLM. Những đơn vị khác, chẳng hạn như startup Anthropic của San Francisco, dao động quanh mức 4%. Nhưng tỷ lệ ảo giác khi thực hiện benchmark này đã tăng lên với các hệ thống suy luận. Hệ thống suy luận DeepSeek R1 đã gặp tỷ lệ gây ra ảo giác 14.3%. Tỷ lệ ảo giác của o3 từ OpenAI thì tăng lên 6.8%.

Trong nhiều năm, các đơn vị như OpenAI đã dựa vào một khái niệm đơn giản: Cho hệ thống AI của họ càng nhiều dữ liệu huấn luyện thu thập được từ mạng internet, chúng sẽ hoạt động càng tốt. Nhưng họ gần như đã sử dụng hết tất cả nguồn văn bản tiếng Anh trên internet, điều này có nghĩa là họ cần một cách mới để cải thiện hiệu năng của chatbot dựa trên những mô hình ngôn ngữ và mô hình suy luận.

Hệ quả là, các công ty này đang tập trung nhiều hơn vào một kỹ thuật mà các nhà khoa học gọi là học tăng cường (reinforcement learning). Với quy trình này, hệ thống có thể học hành vi thông qua thử và sai. Nó đang hoạt động tốt trong một số lĩnh vực nhất định, chẳng hạn như toán học và lập trình máy tính. Nhưng nó đang thất bại ở những lĩnh vực khác.



"Cách mà các hệ thống này được đào tạo, là chúng sẽ bắt đầu tập trung vào một nhiệm vụ cụ thể, và bắt đầu quên những nhiệm vụ khác," Laura Perez-Beltrachini, một nhà nghiên cứu tại Đại học Edinburgh, người thuộc một nhóm nghiên cứu đang xem xét chặt chẽ vấn đề ảo giác cho biết.

Một vấn đề khác nảy sinh là các mô hình suy luận được thiết kế để dành thời gian "suy nghĩ" về các vấn đề phức tạp trước khi đưa ra câu trả lời. Khi chúng cố gắng giải quyết một vấn đề từng bước một, chúng có nguy cơ ảo giác ở mọi bước suy luận. Những lỗi này có thể tích lũy khi chúng dành nhiều thời gian hơn để suy nghĩ.

Các chatbot suy luận mới nhất tiết lộ từng bước cho người dùng, nghĩa là người dùng có thể thấy từng lỗi. Các nhà nghiên cứu cũng phát hiện ra rằng trong nhiều trường hợp, các bước mà bot hiển thị không liên quan đến câu trả lời cuối cùng mà nó đưa ra.

"Những gì hệ thống nói rằng nó đang suy nghĩ thì không nhất thiết là những gì nó thực sự đang suy nghĩ," Aryo Pradipta Gema, một nhà nghiên cứu AI tại Đại học Edinburgh và một cộng tác viên tại Anthropic, nói.

Theo The New York Times