LM Studio là một phần mềm mã nguồn mở, anh em có thể sử dụng rất nhiều model trên phần mềm này, chủ yếu ở trên Hugging Face Hub, có cả PhoGPT là một model AI của Việt Nam luôn nha.

Tải về LM Studio dành cho macOS, Windows hay Linux tại đây.

Nếu mà để liệt kê hết số model AI ở trên LM Studio thì mình không liệt kê nổi vì có nhiều model cho nhiều nhu cầu khác nhau, được huấn luyện trên nhiều tập dữ liệu khác nhau. Trong chủ đề này thì mình chỉ giới thiệu nhanh về các model AI cơ bản dùng để truy vấn, tìm kiếm thông tin, còn các model khác hẹn anh em trong bài sau nha, cũng như cách để tạo một model AI riêng cho mình.

Vì sao lại chọn dùng LM Studio?

Với nhu cầu của mình, nhiều khi mình cần truy vấn thông tin, sử dụng các model AI mà không cần phải kết nối internet, đây là điểm hạn chế của những ChatGPT, Copilot hay Gemini, vì nếu không có internet anh em sẽ không thể sử dụng được các dịch vụ chatbot của Google, Microsoft hay OpenAI. LM Studio là dành cho những lúc như vậy.

Thứ hai là việc sử dụng các model AI trực tiếp trên máy tính thì nó sẽ dựa vào sức mạnh phần cứng, nếu máy tính của anh em càng mạnh thì nó sẽ generate câu trả lời càng nhanh, thay vì các dịch vụ như ChatGPT hay Gemini thì nó phải dựa vào kết nối internet và cả lưu lượng người dùng lúc đó nữa, nếu mà lượng truy cập quá đông thì nó sẽ chậm hơn nhiều.

Thứ ba là nếu anh em muốn đưa các dữ liệu cá nhân của anh em vào để truy vấn nhanh hơn thì các dịch vụ chatbot kia sẽ không đảm bảo an toàn dữ liệu bằng việc dùng trực tiếp trên máy tính. LM Studio chạy 100% trên máy tính nên nó sẽ không đưa dữ liệu của anh em ra ngoài, đặc biệt nếu là các dữ liệu mật. Còn các dịch vụ chatbot kia thì không chắc là OpenAI, Microsoft hay Google sẽ không lấy dữ liệu của anh em để trainning cho các model AI của họ. Nói chung là nếu đề cao tính riêng tư thì anh em nên dùng trực tiếp trên máy tính sẽ tốt hơn.

Vì có rất nhiều model AI khác nhau nên việc lựa chọn model nào cũng là việc quan trọng, vì không phải model AI nào cũng giống nhau, sự “thông minh” của chúng sẽ dựa vào tập tham số, cách tinh chỉnh của người dùng, rồi kể cả việc có “nén” hay “không nén” model AI đó, rồi dựa vào cả phần cứng máy tính của chúng ta nữa.

Chọn model AI nào cho nhu cầu nào?

Mỗi người sẽ có nhu cầu khác nhau, vì vậy mình chỉ lấy ví dụ cho bản thân mình trước nhé, mình có nhu cầu truy vấn thông tin, hỏi đáp và đặc biệt con chatbot này phải rành tiếng Việt, cho nên mình sẽ đi tìm các model AI được trainning trên tập dữ liệu tiếng Việt.


Có rất nhiều model AI nhưng qua tham khảo thì mình chọn Vistral, đây là model AI được nhiều anh em dùng lâu chia sẻ lại là nó phù hợp nhất cho việc sử dụng của người Việt. Không phải những model AI khác không tốt nhưng Vistral được trainning trên một tập dữ liệu chuyên biệt nên việc trả lời sẽ chính xác và nhanh hơn. Cũng giống như anh em lựa chọn một model chuyên về code sẽ tốt hơn là một model cái gì cũng biết vậy đó ????.

Dùng LM Studio như thế nào?

Vistral được build dựa trên Mistral, kiến trúc Llama và bản thân Vistral cũng có nhiều loại. Đây là màn hình chính của LM Studio, cột bên trái anh em sẽ thấy có những mục lớn, nhấn vào icon kính lúp và gõ tên model mà anh em muốn sử dụng. Nếu muốn rõ hơn về các model AI dùng cho việc gì thì anh em lên Hugging Face Hub để tìm hiểu nha, trên này lưu trữ hàng chục ngàn các model AI khác nhau, thậm chí là OpenAI, NVIDIA, Meta hay Google họ cũng đưa các model AI của mình lên luôn.

Kết quả trả về sẽ có rất nhiều và điều anh em cần phải quan tâm đó là model này có bao nhiêu tham số, có "nén" hay không, dung lượng bao nhiêu và đặc biệt là nó hỗ trợ tăng tốc bằng bộ xử lý đồ hoạ (GPU) hay không.

Việc này rất quan trọng nha vì nếu máy tính của anh em không có GPU rời thì nó sẽ xử lý bằng CPU và tốc độ chắc chắn sẽ không nhanh bằng. Thêm nữa đó là những mẫu vi xử lý Intel Core Ultra mới của Intel hiện tại vẫn chưa hỗ trợ ngon lành 100%, kể cả những mẫu vi xử lý có GPU Intel Arc, vì vậy khi lựa chọn model AI anh em lưu ý về dung lượng nha.


Mình thử nghiệm với anh em trên MacBook Pro của mình, sử dụng con chip Apple M1 Pro 16 nhân GPU, 10 nhân CPU và 16GB RAM (Unified Memory), đây cũng không phải là một con chip quá mạnh nhưng việc có 16GB bộ nhớ hợp nhất và 16 nhân GPU nên nó chạy cũng ổn, khá nhanh, nhưng tất nhiên mình không thể chạy nổi các model AI quá lớn, anh em dùng máy tính có GPU mạnh thì mới có thể chơi được.

Kế đến anh em cần quan tâm đến đó là tập tham số, các model có tập tham số càng lớn thì “sự hiểu biết” của nó càng nhiều, từ đó sẽ trả lời anh em hiệu quả hơn. Quantization là thứ mà anh em cần quan tâm tiếp theo, hiểu một cách nôm na thì đó là cách mà người ta có thể nén cái model AI này lại và giúp cho nó có thể chạy được trên máy tính của anh em, dĩ nhiên nếu máy anh em mạnh thì có thể chọn các model có tham số lớn (13B, 18B…).

Cuối cùng là lưu ý về việc hỗ trợ tăng tốc bằng GPU (Full GPU Offload Posible), nếu có dòng màu xanh lá này thì anh em có thể dùng GPU để tăng tốc độ xử lý của model AI một cách dễ dàng, nói cách khác là GPU của anh em dư sức cân.

Ngoài ra thì nếu nó hiện dòng màu đỏ này thì model AI này quá lớn và quá sức xử lý của máy tính anh em, chạy thì vẫn được nhưng nó sẽ rất chậm và không hiệu quả. Vì vậy để chạy model AI offline hoàn toàn trên máy tính thì anh em cần phải có máy tính với phần cứng đủ mạnh chứ không phải máy nào cũng sẽ chạy được đâu, ví dụ model Code Llama này có đến 34 tỷ tham số thì nó quá lớn, chưa kể thuật toán nén là 8 Bit Quantization, có những model AI còn không nén nữa thì nó còn lớn hơn nữa.

Cuối cùng là định dạng GGUF, đây là định dạng cho thấy model AI này có thể dùng được với LM Studio.

Tối ưu như thế nào khi chat với model AI trên LM Studio?

Quay lại với model Vistral 7B Q5_K_M mình vừa tải xong, mở khung chat trên LM Studio và anh em load model anh em mới tải về và như vậy là đã có thể bắt đầu chat với nó rồi.

Nếu để mặc định chưa tinh chỉnh gì anh em đã có thể tương tác với Vistral rồi, nhưng để ngon hơn thì anh em hãy chú ý đến cột bên phải.


Đầu tiên và quan trọng nhất đó là GPU Acceleration, tức là dùng GPU để tăng tốc xử lý, nếu anh em dùng GPU mạnh thì có thể tận dụng triệt để cái này để trải nghiệm dùng mượt mà hơn. Nếu dùng GPU NVIDIA có thể sử dụng CUDA hoặc AMD là OpenCL, tuỳ vào GPU mà anh em đang có. Còn nếu anh em dùng Apple Silicon giống mình thì chỉ có tuỳ chọn duy nhất là Metal. Việc đưa bao nhiêu lớp (layers) lên GPU thì còn tuỳ vào sức mạnh của GPU anh em đang có, nếu GPU càng mạnh thì offload càng nhiều layers sẽ càng nhanh, chỉ một phần nhỏ được xử lý dưới CPU thôi, còn lại sẽ do GPU đảm trách.


Kế đến là System Prompt/Pre-Prompt, đây là nơi anh em sẽ gán vai trò của chatbot, ví dụ anh em muốn nó là người chuyên về một lĩnh vực nào đó thì nó sẽ generate câu trả lời cho anh em đúng theo phong cách của một người am hiểu về lĩnh vực đó.


Xuống phía dưới ở mục Inference Parameters, anh em chú ý đến Output Randomess và CPU Threads, với mức Temp mặc định sẽ là 0.8, theo giải thích của tài liệu thì nó sẽ ám chỉ mức độ sáng tạo của model AI, số càng cao thì mức độ sáng tạo của nó càng nhiều, ngược lại sẽ trả lời đúng với những gì được hỏi, không có biểu cảm hay bất cứ kì, nói nôm na là độ tự nhiên trong câu trả lời.

CPU Threads là số luồng CPU sử dụng để chạy model AI, nếu CPU của anh em càng mạnh thì có thể tuỳ chọn con số này cao hơn số mặc định là 4, nhưng đồng thời không có nghĩa càng nhiều luồng là lúc nào cũng sẽ nhanh hơn đâu nha.

Tiếp đến ở trong khung chat, sẽ có hai “kiểu trả lời” là Plaintext và Markdown, với Markdown thì anh em có thể yêu cầu nó vẽ bảng, gạch đầu dòng câu trả lời, rồi tô đậm, in nghiêng với các keyword nào đó chẳng hạn, nói chung là nó sẽ trả lời một cách có chăm chút hơn về format chứ không đơn thuần chỉ là text như Plaintext.

Mời anh em chia sẻ model AI đang sử dụng

Cơ bản là như vậy, còn bây giờ mời anh em chia sẻ thêm về các model AI mà anh em đang dùng, nếu có sử dụng LM Studio, mình biết là nhiều anh em còn rành hơn mình, nên nếu anh em có thể chia sẻ thêm nữa thì thật sự tuyệt vời. Hiện tại với mình mình đang dùng Vistral để truy vấn thông tin và đang dùng một con model AI khác để lưu các file của mình trên máy tính, có gì cần truy vấn thì dễ tìm hơn. Chủ đề dùng model AI riêng hẹn anh em trong một bài sau nha.