Cách làm này giúp mô hình vẫn giữ được khả năng thích nghi với từng phần khác nhau trong mạng, trong khi chi phí lưu trữ cho mỗi trọng số gần như thấp ngang mức nhị phân. Kết quả theo công bố của PrismML là bộ nhớ giảm khoảng 9 lần so với mô hình 16-bit tiêu chuẩn, còn với mô hình
Qwen 3.6 mà họ đem thử nghiệm cho Apple, mức nén còn ấn tượng hơn: từ khoảng 54GB xuống dưới 4GB.
Một phép so sánh đáng để ý: kiến trúc rời rạc và kiến trúc đặc
Điều mình thấy thú vị hơn cả câu chuyện nén là sự khác biệt giữa mô hình của PrismML và mô hình on-device hiện tại của chính Apple, tên là AFM 3 Core Advanced, mô hình đang chạy các tính năng như giọng nói biểu cảm hơn của Siri AI và tính năng chép chính tả toàn hệ thống trên iPhone 17 Pro và iPhone Air. AFM 3 Core Advanced có 20 tỷ tham số, nhưng dùng kiến trúc thưa (sparse architecture) kiểu hỗn hợp chuyên gia (mixture of experts), nghĩa là tại một thời điểm chỉ có khoảng 1 đến 4 tỷ tham số thực sự hoạt động, phần còn lại nằm im chờ được gọi tới khi cần. Trong khi đó, mô hình Qwen 3.6 mà PrismML nén lại là kiến trúc đặc, tức toàn bộ 27 tỷ tham số đều hoạt động cùng lúc, không có phần nào ngủ yên.
Hiểu đơn giản thì trong mô hình Sparse thì chỉ một số tham số được chọn, trong khi với Dense thì tất cả đều hoạt động cùng lúc
Nói cách khác, Apple đang đi theo hướng "nhiều tham số nhưng chỉ đánh thức một phần nhỏ mỗi lần" để tiết kiệm tính toán, còn PrismML lại chứng minh rằng nếu nén đủ mạnh, một mô hình đặc với toàn bộ tham số hoạt động cùng lúc vẫn có thể chạy vừa trên phần cứng di động, kèm theo lợi thế là mọi tham số đều được tận dụng toàn thời gian. Đây là hai triết lý thiết kế khác hẳn nhau để giải cùng một bài toán: đưa AI mạnh xuống một con chip nằm trong túi quần, và có vẻ Apple đang muốn học hỏi cả hai hướng thay vì chỉ đi một con đường.
Vì sao chuyện này quan trọng với Apple hơn là chỉ một cuộc gặp
Mình nghĩ động lực thực sự đằng sau cuộc gặp này không chỉ là tò mò công nghệ. Hiện tại, khi một tác vụ Apple Intelligence vượt quá khả năng xử lý on-device, nó sẽ được đẩy lên hạ tầng Private Cloud Compute của Apple, tức các máy chủ dùng chip Apple Silicon đặt trong trung tâm dữ liệu của chính họ. Việc này tốn kém, và dù Apple luôn nhấn mạnh yếu tố bảo mật của Private Cloud Compute, thì về bản chất, xử lý mọi thứ ngay trên thiết bị vẫn luôn là lựa chọn an toàn và rẻ hơn nếu làm được. Nếu Apple có thể chạy được các mô hình cỡ 27 tỷ tham số ngay trên chip A-series mới nhất mà không đánh đổi tốc độ phản hồi, họ vừa giảm được chi phí vận hành máy chủ, vừa có thêm một luận điểm marketing quen thuộc: quyền riêng tư, lần này gắn với những tính năng AI mạnh hơn thật sự chứ không chỉ là khẩu hiệu.
Câu chuyện vận hành các mô hình AI on-device là một bài toán đau đáu mà Apple tìm cách giải suốt mấy năm vừa rồi