Dùng AI Local làm bộ não cho OpenClaw, Hermes, n8n

Hoá đơn API tăng, dữ liệu nội bộ lại nhạy cảm

Đội của bạn đã có AI Agent chạy trên VPS và một workflow n8n phân loại đơn hàng. Hoá đơn API tăng dần, trong khi nhiều việc chỉ là đọc và tóm tắt tài liệu nội bộ mà bạn không muốn gửi ra ngoài. Bạn có một máy có GPU ở văn phòng và tự hỏi: cho Agent dùng model trên máy đó được không? (Tình huống minh hoạ.)

Được, nếu nối đúng cách và biết giới hạn. Bài dành cho người đã cài AI Local (Cài AI Local) và đã dùng một công cụ AI Agent.

AI Local làm bộ não cho AI Agent là gì?

Dùng AI Local làm bộ não cho AI Agent là trỏ Agent (OpenClaw, Hermes, n8n) tới địa chỉ API của phần mềm chạy model trên máy bạn, thay cho API đám mây, để Agent suy nghĩ bằng model mở mà không trả phí theo lượt.

Model là bộ não; trí nhớ, công cụ, kênh chat và lịch làm việc vẫn do OpenClaw, Hermes hay n8n đảm nhận. Đổi bộ não ảnh hưởng trực tiếp tới chất lượng suy luận và độ tin cậy khi gọi công cụ.

Endpoint tương thích OpenAI: địa chỉ mặc định của từng công cụ

Hầu hết phần mềm chạy model mở một endpoint tương thích OpenAI: một địa chỉ API nói cùng "ngôn ngữ" với API của OpenAI. Nhiều phần mềm viết cho OpenAI chỉ cần đổi base URL là gọi được model local.

Lưu ý từ tài liệu Ollama: đây chỉ là một phần của API OpenAI; chưa hỗ trợ tool_choice, logprobs. Độ dài context cũng không đặt được qua API này, phải đặt ở phía máy chủ Ollama (tài liệu Hermes).

Nguồn: Ollama – OpenAI compatibility · LM Studio – OpenAI compat · LM Studio – xác thực · llama-server · Jan · vLLM – bảo mật

OpenClaw: dùng model local theo tài liệu chính thức

1. Chạy openclaw onboard, chọn Ollama, rồi chọn chế độ: Local only (chỉ model trên máy) hoặc Cloud + Local.
2. Đặt model chính cho Agent, ví dụ openclaw models set ollama/gemma4 (Gemma 4, Apache-2.0).
3. Nếu khai báo tay, địa chỉ Ollama là baseUrl: "http://host:11434", không thêm /v1.

• Cách OpenClaw khuyến nghị chính là plugin llama.cpp kèm openclaw onboard, chọn Managed local server: OpenClaw kiểm tra RAM, GPU, ổ đĩa trước khi tải. Các công thức dựng sẵn dùng context 64K; công thức nhỏ nhất cần từ 8 GiB bộ nhớ máy (mức sàn, không bảo đảm chạy tốt).
• Khai báo nhà cung cấp tự định nghĩa mà bỏ trống contextWindow, OpenClaw không dò được thì dùng mức dự phòng 200000; hãy ghi đúng con số model local thật sự có.
• Nên dùng bản model lớn nhất máy chạy được, tránh bản nhỏ hoặc nén nặng. Model local không có bộ lọc an toàn như nhà cung cấp đám mây.

Nền tảng OpenClaw: OpenClaw là gì, Chạy OpenClaw 24/7: VPS hay máy Mac, Hướng dẫn cài OpenClaw trên VPS.

Nguồn: OpenClaw – Ollama · OpenClaw – Ollama setup · OpenClaw – Local models · OpenClaw – Custom providers

Hermes Agent: custom endpoint và context tối thiểu 64K

1. Chạy hermes model trong Terminal (ngoài phiên chat), chọn "Custom endpoint (self-hosted / VLLM / etc.)".
2. Nhập địa chỉ http://localhost:11434/v1, bỏ qua khoá API (Ollama không cần), nhập tên model.
3. Tăng context của Ollama lên ít nhất 64000 token, rồi kiểm tra cột CONTEXT bằng ollama ps.

# Trong ~/.hermes/config.yaml
model:
  default: <tên model, vd qwen3.6:27b>
  provider: custom
  base_url: http://localhost:11434/v1
  context_length: 64000
fallback_providers:            # tuỳ chọn: model đám mây làm dự phòng
  - provider: openrouter
    model: <tên model đám mây>

OLLAMA_CONTEXT_LENGTH=64000 ollama serve   # trên máy chạy Ollama

Hermes cần ít nhất 64.000 token context cho việc agent có công cụ và từ chối khởi động nếu thấp hơn. Ollama trên máy VRAM dưới 24 GiB mặc định chỉ 4k token; Ollama chạy bằng systemd thì đặt biến theo cách ở mục nối VPS bên dưới. Một lưu ý trong tài liệu trí nhớ của Hermes: model nhỏ có thể nói "đã nhớ" mà không ghi thật.

Nền tảng Hermes: Hermes Agent là gì, Hướng dẫn cài Hermes trên VPS.

Nguồn: Hermes – AI Providers · Hermes – Memory

n8n: node Ollama Chat Model cho AI Agent

1. Tạo credential Ollama trong n8n: Base URL mặc định http://localhost:11434, không bắt buộc khoá API. Nếu báo lỗi, thử http://127.0.0.1:11434.
2. Trong AI Agent node, cắm node con Ollama Chat Model làm bộ não. Đừng dùng node Ollama Model (không phải Chat): node này không hỗ trợ công cụ nên không dùng được với AI Agent.
3. Gắn ít nhất một công cụ cho AI Agent (yêu cầu của n8n), và bật người duyệt cho công cụ gửi tin, sửa dữ liệu.

• n8n chạy trong Docker, Ollama chạy trên máy: tài liệu n8n cho Ollama nghe 0.0.0.0 và dùng http://host.docker.internal:11434 (Linux thêm --add-host); khi đó chặn cổng 11434 bằng tường lửa, không mở ra Internet.
• Hai container riêng: dùng tên container của Ollama làm địa chỉ.
• Self-hosted AI Starter Kit (Apache-2.0) gói sẵn n8n, Ollama, Qdrant, PostgreSQL; chỉ để thử.

Chi tiết AI Agent node: AI Agent trong n8n; phối hợp n8n với Agent: Kết hợp n8n với AI Agent.

Nguồn: n8n – Ollama credentials · Ollama Chat Model · Ollama Model · Ollama – lỗi thường gặp · Self-hosted AI Starter Kit

Mô hình lai: local làm chính, đám mây làm dự phòng

Thực tế nhất là chạy lai: việc thường ngày và dữ liệu nhạy cảm đi qua model local; việc khó, cần chất lượng cao, hoặc khi máy local quá tải thì chuyển sang Claude, GPT. Có ba cách làm theo tài liệu:

• LiteLLM (MIT, trừ thư mục enterprise): một proxy đứng giữa, gọi hơn 100 API model theo chuẩn OpenAI, có fallbacks để chuyển model khi lỗi, max_budget và budget_duration để giới hạn chi tiêu. Agent chỉ cần trỏ vào một địa chỉ.
• OpenClaw: đặt models.mode: "merge" để giữ model đám mây; đổi thứ tự primary và fallbacks để local làm chính, đám mây làm lưới an toàn.
• Hermes: mục fallback_providers (mẫu ở trên) thử lần lượt nhà cung cấp dự phòng khi model chính lỗi.

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY   # khoá quản trị, để trong biến môi trường
model_list:
  - model_name: local
    litellm_params:
      model: ollama_chat/<tên model local>
      api_base: http://localhost:11434
  - model_name: cloud
    litellm_params:
      model: anthropic/<tên model Claude>
      api_key: os.environ/ANTHROPIC_API_KEY   # khoá nằm trong biến môi trường, không ghi thẳng vào tệp
litellm_settings:
  num_retries: 2
  fallbacks: [{"local": ["cloud"]}]   # local lỗi thì chuyển sang cloud
  max_budget: <số USD tối đa>
  budget_duration: 30d

Khoá API và hạn mức phía đám mây: Claude làm bộ não Agent, GPT làm bộ não Agent.

Nguồn: LiteLLM GitHub · LiteLLM – Ollama · LiteLLM – Fallbacks · LiteLLM – Budgets · OpenClaw – Local models

Nối Agent trên VPS với máy local an toàn

Agent chạy 24/7 trên VPS, máy có GPU ở văn phòng. Cách sai là đổi Ollama sang nghe mọi địa chỉ rồi mở cổng 11434 trên modem: API Ollama không có xác thực, và Cisco từng tìm thấy 1.139 máy chủ Ollama lộ ra Internet. Cách an toàn hơn là nối hai máy trong một mạng riêng. Đây là cách Aduca ghép từ tài liệu chính thức của Ollama (biến OLLAMA_HOST) và Tailscale, không phải hướng dẫn trọn gói của hãng nào:

1. Cài Tailscale trên cả VPS và máy local. Tailscale tạo mạng riêng mã hoá dựa trên WireGuard; gói Personal miễn phí, tối đa 6 người dùng. Mỗi thiết bị nhận một địa chỉ dạng 100.x.y.z, chỉ máy trong mạng của bạn gọi được.
2. Đổi OLLAMA_HOST trên máy local từ 127.0.0.1:11434 thành địa chỉ Tailscale của máy đó kèm cổng 11434 (cách đặt biến cho từng hệ điều hành: FAQ Ollama). Không đặt 0.0.0.0, không mở cổng 11434 trên modem: Ollama chỉ nghe trong mạng riêng, không lộ ra Internet. Ứng dụng trên chính máy này khi đó cũng gọi qua địa chỉ Tailscale.
3. Trên VPS, trỏ Agent tới http://100.x.y.z:11434 (OpenClaw, n8n) hoặc thêm /v1 (Hermes). Tài liệu OpenClaw ghi địa chỉ loopback, mạng riêng, tên máy trần không cần token thật, còn host công khai cần khoá; nếu báo thiếu khoá, xem mục Auth rules của trang đó.
4. Cấu hình dự phòng đám mây để Agent không "mất não" khi máy văn phòng tắt hoặc mất mạng.

# Linux, Ollama chạy bằng systemd
sudo systemctl edit ollama.service
# thêm dưới [Service]: Environment="OLLAMA_HOST=<<IP Tailscale>>:11434"
sudo systemctl daemon-reload && sudo systemctl restart ollama

Nguồn: Tailscale là gì · Tailscale – Pricing · Tailscale – địa chỉ IP · Ollama FAQ – OLLAMA_HOST · OpenClaw – Ollama setup (Auth rules) · Tailscale CLI · Cisco · vLLM – bảo mật

Giới hạn gọi công cụ của model nhỏ

• Gọi sai hoặc in JSON ra như chữ: do nối sai kiểu API (như OpenClaw với /v1) hoặc model yếu về gọi công cụ.
• Dễ bị chèn lệnh: tài liệu OpenClaw ghi không dùng bản model cũ, yếu, nhỏ cho Agent có công cụ hoặc hộp thư không tin cậy; nên dùng hộp cát, danh sách công cụ cho phép và Agent chỉ đọc cho nội dung lạ.
• Context ngắn làm mất dữ liệu âm thầm: tài liệu Aider ghi Ollama lặng lẽ bỏ phần vượt quá cửa sổ context.
• Tự công bố của hãng không phải kiểm chứng: model card Qwen3.6 (Apache-2.0) ghi mạnh về gọi công cụ, Gemma 4 (Apache-2.0) ghi hỗ trợ gọi công cụ có cấu trúc. Hãy tự thử trên quy trình thật.

• Chạy 20–30 tình huống thật, so kết quả với người làm.
• Kiểm tra từng công cụ được gọi đúng tham số, không có JSON lẫn trong câu trả lời.
• Thử tin nhắn có câu lệnh lừa AI; Agent tiếp khách không có quyền chạy lệnh.
• Giữ người duyệt cho mọi việc gửi tin, sửa dữ liệu, chi tiền.

Nguồn: OpenClaw – Prompt injection · Aider – Ollama · Qwen3.6 model card · Gemma 4 model card · n8n – người duyệt

Bắt đầu từ đâu?

1. Một Agent, một việc chỉ đọc: ví dụ tóm tắt tài liệu nội bộ bằng model local, chưa cho gửi gì ra ngoài.
2. Đặt context và dự phòng: tăng context đúng yêu cầu công cụ, cấu hình đường chuyển sang đám mây.
3. Theo dõi hai tuần: so chất lượng, tốc độ, hoá đơn API trước và sau, rồi mới chuyển thêm việc.

Xem thêm Chi phí thật và bảo mật khi dùng AI Local và Lộ trình xây hệ thống AI Local. Muốn được tư vấn hoặc cài đặt AI Local theo nhu cầu riêng, bạn có thể đăng ký Tư vấn 1-1 hoặc Coaching 1-1 cho doanh nghiệp; chi phí báo sau buổi tư vấn.

Đọc tiếp: Chi phí và bảo mật →

Câu hỏi thường gặp

Tài liệu liên quan

• AI AgentChọn công cụ AI Agent: OpenClaw, Hermes, Claude, ChatGPT hay n8n?Chọn công cụ AI Agent: so sánh trung lập Claude, ChatGPT, OpenClaw, Hermes và n8n theo 10 tiêu chí có nguồn, kèm cách chọn cho 7 tình huống doanh nghiệp Việt.
• AI AgentKết hợp Claude, ChatGPT, OpenClaw, Hermes và n8n trong một doanh nghiệpKết hợp công cụ AI Agent trong doanh nghiệp: phân vai trợ lý, hệ thống 24/7 và n8n, luồng dữ liệu, quyền, chi phí, người phụ trách, lộ trình 30–60–90 ngày.
• AI AgentChatbot bán hàng chạy AI Local: trả lời tin nhắn, kho kiến thức sản phẩmChatbot bán hàng chạy AI Local: nối kênh chat qua n8n, OpenClaw, Hermes với model trên máy, kho kiến thức; ranh giới, người duyệt, kiểm thử, lúc cần đám mây.
• AI AgentKết hợp n8n với OpenClaw, Hermes, Claude, ChatGPT: đường ống + nhân viên sốKết hợp n8n với AI Agent: n8n lo luồng dữ liệu cố định, OpenClaw, Hermes, Claude, ChatGPT lo việc cần phán đoán; nối qua webhook có xác thực, MCP, bảng chung.

Xem tất cả tài liệu hướng dẫn →

Bước tiếp theo

Đăng ký Tư vấn 1-1 về AI Local

Chuyên gia Aduca cùng bạn xem nhu cầu, máy đang có và dữ liệu cần bảo vệ, rồi đề xuất nên chạy AI Local, dùng đám mây hay kết hợp. Dịch vụ cài AI Local nằm trong gói Tư vấn 1-1 hoặc Coaching 1-1; chi phí báo sau buổi tư vấn.

Đăng ký Tư vấn 1-1 về AI LocalXem thư viện tài liệu

Nguồn tham khảo

• Ollama Docs – OpenAI compatibility
• LM Studio Docs – OpenAI compatible API
• OpenClaw Docs – Ollama
• OpenClaw Docs – Local models
• OpenClaw Docs – Prompt injection
• Hermes Agent Docs – AI Providers
• n8n Docs – Ollama credentials
• n8n Docs – Ollama Chat Model
• LiteLLM Docs – Fallbacks
• Tailscale – What is Tailscale

Lịch sử cập nhật

• 07/10/2026 — Bản đầu.

Miễn trừ trách nhiệm