Cấu hình máy tính chạy AI Local: RAM, VRAM, Mac hay PC NVIDIA

Mua máy mới rồi mới biết model không chạy nổi

Anh Phong, chủ một công ty dịch vụ kế toán nhỏ, muốn cho nhân viên tóm tắt hồ sơ khách bằng AI mà không gửi dữ liệu ra ngoài. Anh mua một máy tính xách tay cấu hình "mạnh" theo lời quảng cáo, tải model về thì máy chạy ì ạch, quạt kêu to, câu trả lời ra từng chữ. Hoá ra máy có CPU tốt nhưng card đồ hoạ chỉ có ít bộ nhớ, và model anh chọn lớn hơn phần bộ nhớ đó. (Tình huống minh hoạ.)

Với AI Local, câu hỏi đầu tiên là "máy có bao nhiêu bộ nhớ mà model dùng được". Nếu chưa rõ AI Local là gì, đọc trước AI Local là gì.

Cấu hình máy tính chạy AI Local phụ thuộc vào điều gì?

Cấu hình máy tính chạy AI Local chủ yếu do bộ nhớ quyết định: file model cộng phần bộ nhớ cho context phải nằm gọn trong VRAM của card đồ hoạ, hoặc trong RAM hợp nhất trên Mac Apple Silicon, thì model mới chạy trơn tru.

• RAM là bộ nhớ chính của máy, nơi hệ điều hành và ứng dụng làm việc.
• VRAM là bộ nhớ riêng gắn trên card đồ hoạ (GPU). GPU tính toán rất nhanh nhưng chỉ nhanh khi dữ liệu nằm sẵn trong VRAM.
• Tham số là các con số model học được. Model "9B" có khoảng 9 tỷ tham số; càng nhiều tham số, file càng nặng.

Tài liệu llama.cpp ghi rõ: yêu cầu bộ nhớ và ổ đĩa của một model là như nhau, tức file nặng bao nhiêu thì cần chừng ấy bộ nhớ để nạp. Khi model không vừa GPU, Ollama tự chia một phần sang CPU; lệnh ollama ps sẽ hiện tỷ lệ kiểu "48%/52% CPU/GPU" và tốc độ giảm rõ rệt.

Nguồn: llama.cpp – Quantize · Ollama FAQ

Lượng tử hoá Q4, Q8 và công thức ước tính dung lượng

Lượng tử hoá là cách lưu mỗi tham số bằng ít bit hơn bản gốc, giống nén ảnh: file nhỏ đi nhiều, đổi lại mất bớt chi tiết. Bản gốc 16-bit tốn khoảng 2 byte cho mỗi tham số; NVIDIA lấy ví dụ model 7B ở 16-bit cần khoảng 14GB. Bảng đo của llama.cpp trên model Llama-3.1-8B:

Từ bảng này có công thức ước tính: dung lượng (GB) ≈ số tỷ tham số × số bit ÷ 8. Quy ra cho mỗi 1 tỷ tham số:

• Q4_K_M: khoảng 0,61GB.
• Q8_0: khoảng 1,06GB.
• F16: khoảng 2GB.

Công thức khớp số llama.cpp công bố (model 70B ở Q4_K_M nặng 43,1GB, công thức cho 42,8GB). (Ví dụ minh hoạ) Model 27B ở Q4 ước tính khoảng 16,5GB; file thật qwen3.8:27b trên Ollama là 18GB, bản q8_0 30GB, bản bf16 56GB. File thật nặng hơn một chút vì có thêm phần xử lý hình ảnh và lớp nhúng, nên ưu tiên xem dung lượng ghi trên trang tag của ollama.com.

Tag ngắn của nhiều model trên Ollama là bản nén khoảng 4-bit (ví dụ qwen3.8, tức qwen3.8:27b, nặng 18GB, bằng bản q4_K_M). Theo llama.cpp, trên cùng một máy bản lượng tử thấp sinh chữ nhanh hơn bản 16-bit. Chọn Q8 khi máy dư bộ nhớ; chọn Q4 khi cần vừa máy.

Nguồn: llama.cpp – Quantize · NVIDIA – LLM inference · Ollama – qwen3.8 · Ollama – gemma4 tags · Gemma 4 model card

Bộ nhớ cho context (KV cache): phần hay bị quên

Context là lượng chữ model "nhìn thấy" cùng lúc: chỉ dẫn, lịch sử trò chuyện, tài liệu bạn dán vào. Để giữ context, model cần thêm bộ nhớ gọi là KV cache. Theo công thức của NVIDIA, Llama 2 7B ở 16-bit, context 4.096 token, một người dùng cần khoảng 2GB. Context dài hơn hoặc nhiều người dùng song song thì KV cache tăng theo tỷ lệ.

Model mới (Qwen3.5 trở đi, Gemma 4, DeepSeek V4) có KV cache nhỏ hơn nhiều so với công thức cổ điển; chưa có số chính thức cho từng model, nên hãy chạy thử rồi xem bằng ollama ps.

Tài liệu Ollama khuyên đặt ít nhất 64.000 token cho việc làm agent, tìm web, lập trình, và lưu ý context lớn tốn thêm VRAM. Open WebUI cũng cảnh báo: với context mặc định 4.096 trên GPU dưới 24GB, dữ liệu truy xuất từ kho tài liệu có thể không được dùng tới; nên tăng lên từ 8.192, tốt hơn là trên 16.000. Nghĩa là máy 16GB chạy vừa model 9GB vẫn có thể hụt bộ nhớ khi bạn mở context dài.

ollama ps                                  # model đang chạy: kích thước, PROCESSOR, CONTEXT
OLLAMA_CONTEXT_LENGTH=64000 ollama serve   # chạy server với context 64k (macOS, Linux)

Nguồn: NVIDIA – KV cache · Ollama – Context length · Open WebUI – RAG

Bốn bước tự ước tính máy có chạy được model không

Nguyên tắc chung: dung lượng file model phải nhỏ hơn rõ rệt so với RAM (Mac) hoặc VRAM (PC NVIDIA), để còn chỗ cho context và hệ điều hành.

Mac Apple Silicon, PC NVIDIA, máy chỉ có CPU, card AMD/Intel

Mac Apple Silicon: bộ nhớ hợp nhất

Apple mô tả kiến trúc bộ nhớ hợp nhất là gom bộ nhớ băng thông cao vào một khối chung, để các thành phần của chip truy cập cùng dữ liệu mà không phải chép qua lại. Vì vậy một Mac 64GB có thể nạp model lớn hơn PC có card 24GB VRAM.

Ollama cần macOS 14 trở lên; từ bản v0.40.0 (25/09/2026) tự chạy bằng MLX với model được hỗ trợ như qwen3.8, gemma4. LM Studio chỉ chạy trên Mac chip M, khuyên từ 16GB RAM. Chưa có số tốc độ chính thức theo từng đời chip M; hãy chạy thử trên chính máy của bạn.

PC có card NVIDIA: nhìn VRAM của card

VRAM theo trang so sánh của NVIDIA: RTX 5090 32GB; RTX 4090 và RTX 3090 24GB; RTX 5080, 5070 Ti, 4080 SUPER 16GB; RTX 5070, 4070 SUPER 12GB; RTX 5060 Ti và 4060 Ti có bản 16GB hoặc 8GB; RTX 3060 có bản 12GB hoặc 8GB; RTX 5060 8GB. Card cùng tên có thể khác VRAM, hãy đọc kỹ thông số.

Ollama hỗ trợ card NVIDIA có compute capability 5.0 trở lên với driver 550 trở lên (card đời cũ 5.0–6.2 cần driver 570); trên Windows cần driver 551.61 trở lên. RAM hệ thống 64GB không thay được VRAM: phần model tràn ra RAM sẽ do CPU xử lý. Card mạnh cũng tốn điện, ví dụ RTX 5090 có tổng công suất đồ hoạ 575W; cách tính tiền điện ở Chi phí thật và bảo mật khi dùng AI Local.

Máy chỉ có CPU, card AMD hoặc Intel

llama.cpp chạy được chỉ bằng CPU; Ollama trên máy không có GPU thì cột PROCESSOR của ollama ps báo chạy hoàn toàn bằng CPU. README của Jan (phần macOS) ghi mức tham khảo khoảng 8GB RAM cho model 3B, 16GB cho 7B, 32GB cho 13B. Chưa có số tốc độ chính thức cho máy chỉ có CPU, nên hãy coi đây là cách làm quen và chạy model nhỏ.

Với card AMD: Ollama hỗ trợ nhiều dòng Radeon trên Linux, còn trên Windows chỉ một số card như Radeon RX 7900 XTX, 7600 và Radeon PRO W7900 đến W7500 (cần driver ROCm v7/HIP7). Nhánh Vulkan của Ollama (đang thử nghiệm) mở thêm cho GPU Intel và AMD; llama.cpp có HIP, Vulkan, SYCL. Hãy đối chiếu đúng tên card với trang GPU của Ollama trước khi mua.

Nguồn: Apple – Unified memory · MLX-LM · Ollama – macOS · Ollama v0.40.0 · LM Studio – System requirements · NVIDIA – Compare · Ollama – GPU · NVIDIA – RTX 5090 · llama.cpp · Jan

Bảng mức máy và cỡ model chạy được (ước tính)

Bảng dưới do Aduca ghép từ dung lượng file chính thức trên các trang tag của ollama.com (kiểm tra 07/10/2026). Đây là ước tính để định hướng, không phải số đo thực tế trên từng máy. Tên model và giấy phép chi tiết xem ở Bản đồ model AI mở 2026.

Nguồn: Ollama – qwen3.5 · Ollama – gemma4 · Ollama – gpt-oss · gpt-oss-20b model card · Ollama – llama4 · Ollama – qwen3-coder-next · Mistral Small 4 · GLM-5.3-Flash · DeepSeek-V4.1-Flash

Ổ cứng: model nặng từ vài GB đến hàng trăm GB

Tài liệu Ollama ghi model có thể nặng "từ hàng chục đến hàng trăm GB"; riêng phần cài Ollama trên Windows cần tối thiểu 4GB. Vài ví dụ: gemma4:31b-it-bf16 63GB, qwen3.5:122b 81GB, llama4 bản maverick q4 245GB.

• Model mặc định lưu ở ~/.ollama/models (macOS) hoặc %HOMEPATH%\.ollama (Windows). Muốn để model sang ổ khác, đặt biến OLLAMA_MODELS.
• Không có con số chính thức về dung lượng ổ cần có. (Ví dụ minh hoạ) Giữ ba model khoảng 20GB để so sánh đã chiếm khoảng 60GB.
• Xoá model không dùng bằng ollama rm <tên model>, xem danh sách bằng ollama list.

Nguồn: Ollama – Windows · Ollama – macOS · Ollama FAQ · Ollama – gemma4

Dùng máy có sẵn, mua máy mới hay thuê GPU theo giờ?

1. Dùng máy đang có: thử trước, chưa tốn tiền

Cài Ollama hoặc LM Studio (xem Cài AI Local trong 30 phút), tải một model nhỏ, chat thử và xem model chạy trên GPU hay bị chia sang CPU:

ollama pull qwen3.5:4b    # model nhỏ, file khoảng 3,3–4,0GB
ollama run qwen3.5:4b     # chat thử, gõ /bye để thoát
ollama ps                 # xem model chạy trên GPU hay bị chia sang CPU

Model nhỏ đã đủ cho việc của bạn thì chưa cần nâng cấp.

2. Mua máy mới: chọn theo bộ nhớ, không theo quảng cáo

• Chọn trước model và độ dài context, tra bảng mức máy ở trên, mua dư một bậc bộ nhớ vì model mới ra liên tục.
• Model lớn trên một máy gọn: cân nhắc Mac Apple Silicon nhiều RAM hợp nhất.
• Phục vụ nhiều người bằng vLLM (Linux, card NVIDIA compute capability từ 7.5): PC hoặc máy chủ có card NVIDIA.
• Tính cả tiền điện và công vận hành (xem Chi phí thật và bảo mật).

3. Thuê GPU theo giờ: thử model lớn hoặc chạy theo đợt

Giá thay đổi liên tục. Chạy cả tháng thì nhân giá giờ với khoảng 730 giờ. (Ví dụ minh hoạ) RTX 4090 gói Community: 0,34 × 730 ≈ 248 USD/tháng; gói Secure: 0,74 × 730 ≈ 540 USD/tháng.

Nguồn: RunPod – Pricing · vLLM – GPU

Bắt đầu từ đâu?

• Ghi ra 2–3 việc muốn giao cho AI Local và độ dài tài liệu thường xử lý.
• Kiểm tra máy đang có: RAM, card đồ hoạ và VRAM, dung lượng ổ trống.
• Chọn model theo việc ở Bản đồ model AI mở, tra dung lượng file trên ollama.com.
• Cài và chạy thử một model nhỏ theo Cài AI Local, xem kết quả ollama ps.
• Chỉ mua máy hoặc thuê GPU khi đã biết model nào làm được việc của bạn.

Muốn được tư vấn hoặc cài đặt AI Local theo nhu cầu riêng, bạn có thể đăng ký Tư vấn 1-1 hoặc Coaching 1-1 cho doanh nghiệp; chi phí báo sau buổi tư vấn.

Đọc tiếp: Bản đồ model mở →

Câu hỏi thường gặp

Tài liệu liên quan

• AI Local · AI AgentAI Local là gì? Chạy AI ngay trên máy tính, không tốn phí APIAI Local là gì: chạy model AI mở ngay trên máy tính của bạn, không trả phí API theo lượt, dữ liệu ở lại máy. Lợi ích, giới hạn, so sánh với AI đám mây.
• AI Local · AI AgentBản đồ model AI mở 2026: chọn model theo việc và theo máyBản đồ model AI mở 2026: Qwen, Gemma 4, gpt-oss, Llama 4, Mistral, GLM, DeepSeek, Phi; cỡ, MoE hay dense, giấy phép thương mại, tag Ollama, tự thử tiếng Việt.
• AI Local · AI AgentCài AI Local trong 30 phút: Ollama, LM Studio và Open WebUICài AI Local từng bước trên Windows, macOS, Linux: chọn Ollama, LM Studio, Jan hay llama.cpp, chạy thử model nhỏ, đặt context, dựng Open WebUI cho nhóm.
• AI Local · AI AgentAI Local viết content: bài đăng, caption, kịch bản, emailAI Local viết content trên máy: chọn model mở theo giấy phép, prompt hệ thống giữ giọng thương hiệu, mẫu lệnh caption, kịch bản, email, quy trình duyệt.

Xem tất cả tài liệu hướng dẫn →

Bước tiếp theo

Đăng ký Tư vấn 1-1 về AI Local

Chuyên gia Aduca cùng bạn xem nhu cầu, máy đang có và dữ liệu cần bảo vệ, rồi đề xuất nên chạy AI Local, dùng đám mây hay kết hợp. Dịch vụ cài AI Local nằm trong gói Tư vấn 1-1 hoặc Coaching 1-1; chi phí báo sau buổi tư vấn.

Đăng ký Tư vấn 1-1 về AI LocalXem thư viện tài liệu

Nguồn tham khảo

• llama.cpp – Quantize (bit/trọng số, dung lượng theo mức lượng tử)
• NVIDIA Developer – Bộ nhớ model và KV cache
• Ollama Docs – Context length
• Ollama Docs – Hỗ trợ GPU (NVIDIA, AMD, Apple, Vulkan)
• Ollama Docs – FAQ (chia CPU/GPU, nơi lưu model)
• Apple Newsroom – Bộ nhớ hợp nhất
• NVIDIA – So sánh card GeForce (VRAM)
• LM Studio – Yêu cầu hệ thống
• Ollama Library – Dung lượng file theo tag
• RunPod – Giá thuê GPU theo giờ

Lịch sử cập nhật

• 07/10/2026 — Bản đầu.

Miễn trừ trách nhiệm