Cài Ollama trên Windows có card NVIDIA từng bước

Có card NVIDIA mà AI vẫn chạy chậm như máy văn phòng

Bạn có một máy Windows gắn card RTX, cài Ollama, tải model về và hỏi thử. Câu trả lời ra từng chữ một, quạt CPU kêu to, còn card đồ hoạ gần như đứng yên. Không rõ do driver, do model quá lớn hay do cài sai. (Tình huống minh hoạ.)

Bài này đi sâu đúng một nền tảng: Windows có card NVIDIA. Mỗi bước có lệnh nguyên văn theo tài liệu Ollama và NVIDIA, cộng cách tự kiểm tra trước khi đi tiếp. Cần bức tranh chung về các công cụ (Ollama, LM Studio, Jan, Open WebUI) thì đọc Cài AI Local trong 30 phút trước.

Cài Ollama trên Windows có card NVIDIA gồm những gì?

Cài Ollama trên Windows có card NVIDIA là chuẩn bị driver đủ mới, cài Ollama vào tài khoản người dùng, đặt thư mục model và các biến môi trường, rồi kiểm tra bằng lệnh để chắc model được nạp vào bộ nhớ card (VRAM) thay vì RAM hệ thống.

Bước 0: kiểm tra Windows, card và driver

• Windows: Windows 10 bản 22H2 trở lên, Home hoặc Pro. Windows 10 bản cũ (ví dụ 21H1) có thể hiện chuỗi ký tự lạ kiểu ←[?25h←[?25l trong cửa sổ lệnh; tài liệu khuyên cập nhật Windows.
• Card: Ollama hỗ trợ card NVIDIA có compute capability (thế hệ kiến trúc) từ 5.0. Tra card của bạn ở trang CUDA GPUs của NVIDIA nếu không có trong bảng dưới.
• Driver: trên Windows cần driver NVIDIA 551.61 trở lên. Card thuộc nhóm 5.0–6.2 (GTX 9xx, GTX 10xx) cần driver 570 trở lên. Cập nhật driver bằng NVIDIA App.
• Ổ cứng: riêng phần cài cần tối thiểu 4GB; mỗi model nặng từ vài GB tới hàng chục, hàng trăm GB.

Mở PowerShell và chạy lệnh dưới. nvidia-smi đi kèm driver NVIDIA, nên lệnh chạy được nghĩa là driver đã cài; phần đầu kết quả có mục Driver Version cho biết phiên bản driver.

nvidia-smi        # in thông tin card và phiên bản driver
nvidia-smi -L     # liệt kê từng card kèm mã UUID (dùng khi máy có nhiều card)

Nguồn: Ollama – Windows · Ollama – GPU · NVIDIA – CUDA GPUs · NVIDIA – nvidia-smi · NVIDIA App · Ollama – Troubleshooting

Card bao nhiêu VRAM thì chạy model cỡ nào

Trên PC, model chạy nhanh khi nằm gọn trong VRAM (bộ nhớ riêng của card). File model cần nhỏ hơn rõ rệt so với VRAM để còn chỗ cho context. Ollama cũng tự đặt độ dài context theo VRAM: dưới 24 GiB là 4k token, 24–48 GiB là 32k.

Bảng là ước tính Aduca ghép từ dung lượng file chính thức, không phải số đo tốc độ. Các model trong bảng dùng giấy phép Apache-2.0 (cho phép dùng thương mại); vẫn đọc điều khoản trên trang model trước khi đưa vào kinh doanh. Chi tiết cách tính bộ nhớ ở Cấu hình máy tính chạy AI Local, chọn model theo việc ở Bản đồ model AI mở.

Nguồn: NVIDIA – So sánh card · Ollama – Context length · Ollama – qwen3.5 · Ollama – gemma4 · Ollama – gpt-oss · Ollama – qwen3.8 · Ollama – qwen3.6

Bước 1: cài Ollama

1. Cách 1 (bấm chuột): tải OllamaSetup.exe ở trang tải chính thức ollama.com/download/windows rồi chạy. Bộ cài vào tài khoản người dùng, không cần quyền Administrator.
2. Cách 2 (PowerShell): chạy lệnh cài chính thức bên dưới.
3. Muốn đặt chương trình ở ổ khác thay vì thư mục người dùng, chạy bộ cài kèm tham số /DIR. Lưu ý: tham số này chỉ dời chương trình; thư mục model dời ở Bước 2.
4. Cài xong, Ollama chạy nền với biểu tượng ở khay hệ thống. Lệnh ollama dùng được trong cmd và PowerShell (mở cửa sổ mới), API ở http://localhost:11434.
5. Lần đầu gõ ollama rồi làm theo hướng dẫn. Bạn có thể đăng nhập để dùng model cloud hoặc chọn model local. Model cloud chạy trên máy chủ của Ollama, nghĩa là dữ liệu rời khỏi máy.

irm https://ollama.com/install.ps1 | iex

OllamaSetup.exe /DIR="<ổ và thư mục, ví dụ d:\Ollama>"

Nguồn: Ollama – Tải cho Windows · Ollama – Windows · Ollama – Quickstart · Ollama FAQ – model cloud

Bước 2: dời thư mục model khỏi ổ C bằng OLLAMA_MODELS

Mặc định model nằm ở C:\Users\%username%\.ollama\models. Vài model cỡ vừa đã chiếm hàng chục GB, nên nếu ổ C nhỏ, hãy dời trước khi tải nhiều model. Các bước theo tài liệu Ollama:

1. Thoát Ollama: bấm biểu tượng Ollama ở khay hệ thống → Quit.
2. Mở Settings (Windows 11) hoặc Control Panel (Windows 10), tìm environment variables.
3. Chọn Edit environment variables for your account.
4. Tạo biến mới (hoặc sửa nếu đã có): tên OLLAMA_MODELS, giá trị là thư mục muốn lưu, ví dụ D:\ollama-models (ví dụ minh hoạ).
5. Bấm OK hoặc Apply.
6. Mở lại Ollama từ Start menu; mở cửa sổ lệnh mới để lệnh nhận biến vừa đặt.

Ollama trên Windows nhận cả biến môi trường của tài khoản người dùng lẫn của hệ thống. Cùng cách trên, bạn đặt được các biến hay dùng khác:

Độ dài context và cách chọn con số hợp lý đã giải thích ở bài cài đặt tổng quan.

Nguồn: Ollama – Windows · Ollama FAQ – biến môi trường, K/V cache · Ollama – Context length

Bước 3: tải model nhỏ và chạy thử

Bắt đầu bằng model nhỏ để kiểm tra cài đặt cho nhanh, sau đó mới chọn model vừa VRAM theo bảng ở trên.

ollama -v                 # in phiên bản là đã cài xong
ollama pull qwen3.5:4b    # tải một model nhỏ (khoảng 3,3–4,0GB theo trang Ollama)
ollama run qwen3.5:4b     # mở phiên chat với model
ollama ps                 # mở cửa sổ PowerShell thứ hai, chạy khi model đang nạp

Hỏi vài câu thật của doanh nghiệp (tóm tắt một email, viết đoạn giới thiệu sản phẩm) để tự đánh giá tiếng Việt. Điểm số chung trên mạng chưa nói được model có hợp việc của bạn hay không; cách tự chấm có ở Bộ đề tự chấm model AI tiếng Việt.

Nguồn: Ollama CLI · Ollama – qwen3.5

Kiểm tra đã chạy đúng và đúng GPU

Trong lúc model đang được nạp (vừa chat xong, hoặc đang chat), chạy ollama ps và đọc cột PROCESSOR:

Kiểm tra API bằng lệnh PowerShell theo tài liệu Ollama (đã thay tên model bằng model vừa tải). Có câu trả lời dạng dữ liệu là phần mềm khác trên máy (n8n, Open WebUI, AI Agent) gọi được Ollama.

(Invoke-WebRequest -method POST -Body '{"model":"qwen3.5:4b", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Nguồn: Ollama FAQ – ollama ps · Ollama – Windows (API)

Chạy nền, tự khởi động và chạy như dịch vụ

• Bản Windows tự đăng ký chạy khi đăng nhập. Không muốn vậy: Task Manager → tab Startup apps → tìm ollama → Disable. Cài đặt này được giữ qua các lần nâng cấp.
• Máy chủ Windows cần Ollama chạy như dịch vụ hệ thống (không cần ai đăng nhập): tài liệu Ollama gợi ý dùng gói ollama-windows-amd64.zip (chỉ gồm dòng lệnh và thư viện GPU NVIDIA) và chạy ollama serve qua một công cụ tạo dịch vụ như NSSM (dự án bên thứ ba). Nâng cấp từ bản cũ thì xoá thư mục cũ trước. Cách này hợp người kỹ thuật; máy cá nhân dùng bản cài thường là đủ.
• Muốn chạy Ollama trong Docker có GPU trên Windows thì cần WSL2 và NVIDIA Container Toolkit; với đa số người dùng, bản cài trực tiếp gọn hơn. Máy chủ Linux xem Cài AI Local trên Linux và máy chủ GPU.

Nguồn: Ollama FAQ – tự khởi động, Docker · Ollama – Windows

Lỗi thường gặp và cách xử lý

Khi cần xem log, nhấn Win+R rồi gõ một trong các đường dẫn sau:

• explorer %LOCALAPPDATA%\Ollama: log (app.log, server.log, upgrade.log).
• explorer %LOCALAPPDATA%\Programs\Ollama: tệp chương trình.
• explorer %HOMEPATH%\.ollama: model (nếu chưa dời) và cấu hình.

Muốn log chi tiết hơn: thoát Ollama ở khay hệ thống, rồi chạy trong PowerShell:

$env:OLLAMA_DEBUG="1"
& "ollama app.exe"

Nguồn: Ollama – Troubleshooting · Ollama – GPU · Ollama FAQ – WSL2, proxy, nhiều GPU · Ollama – Windows

Cập nhật và gỡ cài đặt

Cập nhật

• Ollama trên Windows tự tải bản mới. Khi có bản mới, bấm biểu tượng ở khay hệ thống → Restart to update; hoặc tải bộ cài mới ở trang tải chính thức.
• Bản ổn định mới nhất khi kiểm tra là v0.40.6 (16/10/2026), có sửa lỗi riêng cho Windows. Kiểm tra bản đang dùng bằng ollama -v.
• Từ v0.40.2, model tải bằng bản cũ được nâng cấp ở lần chạy đầu và Ollama giữ bản gốc làm dự phòng, nên ổ đĩa tạm tốn thêm. Ghi chú phát hành của v0.40.2 có hướng dẫn xoá bản dự phòng.
• Đừng để bản quá cũ: lỗi CVE-2026-7482 (điểm 9.1) chỉ được vá từ bản 0.17.1.

Gỡ cài đặt

1. Settings → Add or remove programs → chọn Ollama → gỡ.
2. Nếu đã đặt OLLAMA_MODELS, trình gỡ không xoá model ở thư mục đó. Muốn lấy lại dung lượng, tự xoá thư mục ấy và xoá luôn biến môi trường.

Nguồn: Ollama FAQ – cập nhật · Ollama Releases · Ollama v0.40.2 · CVE-2026-7482 · Ollama – Windows

An toàn khi chạy Ollama trên máy Windows

• Giữ mặc định 127.0.0.1. Ollama chỉ nghe trên chính máy. Đặt OLLAMA_HOST là mở ra mạng, mà API Ollama không có xác thực. Không mở cổng 11434 trên modem ra Internet; cần dùng từ xa thì đi qua VPN, xem Truy cập AI Local từ xa qua Tailscale.
• Biết khi nào dữ liệu rời máy. Model cloud và tìm web của Ollama chạy trên máy chủ Ollama. Tắt hẳn bằng OLLAMA_NO_CLOUD=1, khởi động lại; log sẽ ghi Ollama cloud disabled: true.
• Cập nhật cả Ollama lẫn driver, chỉ tải model từ thư viện chính thức hoặc nguồn tin cậy.
• Không dán khoá, token, mật khẩu vào prompt hay khung chat; khoá của các dịch vụ khác chỉ đặt trong biến môi trường trên máy.

Danh sách kiểm tra chi phí và bảo mật đầy đủ: Chi phí thật và bảo mật khi dùng AI Local.

Nguồn: Ollama FAQ – mạng, cloud · Ollama – OpenAI compatibility

Bắt đầu từ đâu?

1. Hôm nay: chạy nvidia-smi, cập nhật driver nếu cũ, cài Ollama, dời thư mục model nếu ổ C nhỏ.
2. Ngay sau đó: tải một model nhỏ, xác nhận ollama ps báo 100% GPU, rồi thử model vừa VRAM theo bảng.
3. Khi cần dùng chung: dựng giao diện cho cả nhóm theo Open WebUI cho cả nhóm, hoặc nối Ollama với n8n theo Ghép n8n với Ollama làm chatbot.

Muốn được tư vấn hoặc cài đặt AI Local theo nhu cầu riêng, bạn có thể đăng ký Tư vấn 1-1 hoặc Coaching 1-1 cho doanh nghiệp; chi phí báo sau buổi tư vấn.

Đọc tiếp: Open WebUI cho cả nhóm →

Câu hỏi thường gặp

Tài liệu liên quan

• AI Local · AI AgentAI Local là gì? Chạy AI ngay trên máy tính, không tốn phí APIAI Local là gì: chạy model AI mở ngay trên máy tính của bạn, không trả phí API theo lượt, dữ liệu ở lại máy. Lợi ích, giới hạn, so sánh với AI đám mây.
• AI Local · AI AgentCấu hình máy tính chạy AI Local: RAM, VRAM, Mac hay PC NVIDIACấu hình máy tính chạy AI Local: RAM, VRAM quyết định model nào chạy được, cách ước tính dung lượng theo Q4/Q8, Mac hay PC NVIDIA, ổ cứng, mua máy hay thuê GPU.
• AI Local · AI AgentCài AI Local trên Mac: Ollama và LM StudioCài AI Local trên Mac từng bước: xác định chip Apple hay Intel, cài Ollama và LM Studio, dời thư mục model, tắt tự chạy, kiểm tra, sửa lỗi, cập nhật, gỡ.
• AI Local · AI AgentBản đồ model AI mở 2026: chọn model theo việc và theo máyBản đồ model AI mở 2026: Qwen, Gemma 4, gpt-oss, Llama 4, Mistral, GLM, DeepSeek, Phi; cỡ, MoE hay dense, giấy phép thương mại, tag Ollama, tự thử tiếng Việt.

Xem tất cả tài liệu hướng dẫn →

Bước tiếp theo

Đăng ký Tư vấn 1-1 về AI Local

Chuyên gia Aduca cùng bạn xem nhu cầu, máy đang có và dữ liệu cần bảo vệ, rồi đề xuất nên chạy AI Local, dùng đám mây hay kết hợp. Dịch vụ cài AI Local nằm trong gói Tư vấn 1-1 hoặc Coaching 1-1; chi phí báo sau buổi tư vấn.

Đăng ký Tư vấn 1-1 về AI LocalXem thư viện tài liệu

Nguồn tham khảo

• Ollama Docs – Windows
• Ollama Docs – Hardware support (GPU)
• Ollama Docs – FAQ (biến môi trường, chạy nền, mạng)
• Ollama Docs – Troubleshooting
• Ollama Docs – Context length
• Ollama – Tải cho Windows
• Ollama – Releases trên GitHub
• NVIDIA – System Management Interface (nvidia-smi)
• NVIDIA App
• NVIDIA – So sánh card GeForce

Lịch sử cập nhật

• 21/10/2026 — Bản đầu.

Miễn trừ trách nhiệm