Hướng dẫn chạy AI LLM miễn phí, offline trên PC, cả Windows / Mac đều dùng tốt

Đây là cách mà cách bạn có thể dùng LM Studio, một ứng dụng cho phép chạy nhiều model AI dạng LLM (mô hình ngôn ngữ lớn) trên máy tính cá nhân, cụ thể là laptop và desktop của mình. Nó hỗ trợ tăng tốc bằng GPU nên dùng cực ngon, và cả Windows, macOS hay Linux đều có thể dùng. Đa số các model nổi tiếng hiện nay như Llama2, CodeLlama, Mistral, Vistral, Phi-2... đều được support.

Anh em có thể theo dõi mình tại:

Tham gia group Cùng chơi Công nghệ để hỏi đáp, chia sẻ kinh nghiệm về công nghệ, smarthome, điện gia dụng:

[HaiLeQuang]

Nhìn quả bàn làm việc với 4 con laptop xịn đã vãi. Ước j đc như anh ấy

[huyhandes]

So về chất lượng/dung lượng thì Q5_K_M đạt chất lượng tốt hơn hẳn các model kia

[HuyPham-cgdv]

quá tiện anh ơi anh cảm ơn anh chia sẽ những công nghệ hữu dụng cho việc học và đi làm của dev newbe như em 🥰🥰🥰🥰🥰🥰

[Orion-TG]

Cám ơn anh về những kiến thức mà anh chia sẻ trong video, có một lưu ý là LLM Studio chỉ hỗ trợ cho dòng M1 trở về sau, hơi buồn xíu vì em đang dùng MBP 2019

[batboyboy]

còn này mà chạy dạng server xong mình kết nối app riêng thì tuyệt

[ngohoang]

Em cảm ơn anh Luân đã chia sẽ, anh có thể ra tương tự phát triển chạy thử model trên điện thoại được ko ạ? Em thấy điện thoại bây h cũng có nhân NPU khá thích hợp để làm project nhỏ ạ 🎉

[t_huystock]

A Luân edit với quay màn hình bằng phần mềm gì v, hay quá

[monola]

nếu muốn chuyển văn bản thành ảnh thì tìm kiếm 1 con model có khả năng đó đúng không anh, nếu anh biết có con nào có khả năng đó thì chỉ em với ạ

[FaiWongJeng]

a Luân cho e hỏi có model nào có thể upload file lên để đọc và phân tích không a

[nghiatran]

Xin hỏi laptop chạy model AI thì card RTX 4090 hay card RTX™ 5000 Ada Generation Laptop GPU 16GB GDDR6 card nào tốt hơn ? Xin cám ơn.

[anhmc]

Ủa anh có phần mềm ai nào dùng máy mình để tạo ảnh không ạ

[neovh]

LM Studio không support Mac chip Intel. A có gợi ý phần mềm nào tương tự k a?

[nghiatran]

Xin hỏi model LLM nào chuyên phân tích số liệu trên báo cáo tài chính của các công ty trên thị trường chứng khoán? Xin cảm ơn

[nghiatran]

Xin hỏi dung lượjng VRAM trên RTX có tương ứng với số lượng tham số mà model có thể chạy hay không ? Ví dụ 8 Gb VRAM tương ứng với 7B, 16Gb VRAM tương ứng với 13B, 128 Gb VRAM tương ứng với 128 B tỷ tham số của model ? Xin cám ơn

[mahanminhnhat]

Cảm ơn bạn, tuy nhiên khi mình cái LMStudio trên windows 10, khi bấm load model thì báo lỗi Failed to load the model Attempt to pull a snapshot of system resources failed. Error: 'Cannot read properties of undefined (reading 'pullReport')' . Bạn có kinh nghiệm hỗ trợ với.

[NamHaVblog]

anh Luân giới thiệu cho model để phân tích dữ liệu kế toán

[IDOLSKPOP]

Luân cho mình hỏi card 1080ti vs 4g vram dùng được modem nào tốt để viết tiểu thuyết vậy ak

[sinhnguyentruong]

Cảm ơn Duy Luân và Video chia sẻ của bạn. Cho mình hỏi thêm, có thể thêm bổ xung thêm thông tin Private cho Model đang sử dụng ko ?

[NghichDuThu]

Có cách nào tải model AI về sau đó chuyển toàn bộ vào máy offline sau đó dạy dữ liệu cho model đó không bạn. vì mình cần tính bảo mật.

[Pogn]

Anh Duy ơi làm sao để em sử dụng điện thoại android có thể xuất màn lên máy mac ạ mong anh trl