Nghiên cứu của Vafa là một trong số những nỗ lực để hiểu rõ xem AI xây dựng bản đồ mạng lưới thần kinh để chỉ đường như thế nào, khi được huấn luyện trên hàng triệu hướng dẫn từng bước, giống hệt như cách Google Maps chỉ đường cho chúng ta. Vafa và các đồng nghiệp đã sử dụng mạng lưới đường xá rộng lớn của Manhattan làm tài liệu tham khảo:
Kết quả không giống chút nào so với bản đồ đường phố của Manhattan. Kiểm tra kỹ lưỡng cho thấy, AI đã suy luận ra tất cả các loại thao tác bất khả thi, những tuyến đường nhảy qua Công viên Trung tâm, chạy xiên xẹo không theo đường, hoặc đi chéo góc các block nhà của thành phố New York, thứ hoàn toàn không thể làm được.
Tuy nhiên, mô hình kết quả vẫn có thể cung cấp hướng dẫn từng bước chính xác với độ chính xác 99% giữa hai địa điểm bất kỳ trong khu vực Manhattan.
Mặc dù bản đồ lộn xộn trên đây nếu đem ra chỉ đường dễ khiến anh em phát điên vì vô lý và phức tạp, nhưng mô hình đã về cơ bản học các quy tắc riêng biệt để điều hướng trong vô số tình huống khác nhau, từ mọi điểm bắt đầu được đưa ra. “Bộ não” với quy mô quá rộng lớn của AI, kết hợp với sức mạnh xử lý chưa từng có của hệ thống máy chủ toàn cầu, cho phép chúng học cách giải quyết vấn đề theo một cách lộn xộn, vừa không giống con người, mà con người cũng chẳng làm được như LLM.
Các nghiên cứu khác thì đã xem xét những điểm bất thường phát sinh khi các mô hình ngôn ngữ lớn cố gắng giải các vấn đề toán học. Đây là mảng mà LLM vốn dĩ rất tệ, nhưng đang dần cải thiện. Một số nghiên cứu cho thấy các mô hình đã học được một bộ quy tắc riêng biệt để nhân các số trong một phạm vi nhất định, ví dụ, từ 200 đến 210, khác biệt so với những gì chúng sử dụng để nhân các số trong một phạm vi khác.