Vấn đề nằm ở hiện tượng được gọi là “AI sycophancy”, tức xu hướng AI luôn đồng thuận và chiều lòng người dùng, kể cả khi điều đó nguy hiểm. Ngoài ra, ở hiện tượng này, AI không chỉ làm hài lòng mà còn có thể cụ thể hoá các ý định nguy hiểm cho người dùng. Một bản cập nhật của ChatGPT từng bị chỉ trích vì “quá dễ dãi” trong việc xác nhận cảm xúc tiêu cực hoặc những suy nghĩ thiếu lành mạnh. Dù bản cập nhật này đã bị rút lại, hiện tượng tương tự vẫn tiếp diễn.
Thật ra, nghiên cứu tại Stanford không nhằm dập tắt hy vọng về AI trong lĩnh vực trị liệu tinh thần, mà là lời nhắc nhở vê việc tiếp cận AI trong lĩnh vực này. AI có thể đóng vai trò hỗ trợ nhưng khi đặt niềm tin tuyệt đối vào chatbot như thể đang trò chuyện với một chuyên gia thật sự, người dùng có thể gặp rủi ro nghiêm trọng – nhất là trong những tình huống khủng hoảng hoặc tâm lý không ổn định.
Nguồn:
Ars Technica