Biến PC tự ráp thành cỗ máy AI siêu mạnh: Hướng dẫn cài đặt LLM (Ollama + OpenWebUI) trên Ubuntu với NVIDIA RTX 5090

Lê Lân

17/08/2025

Hướng Dẫn Cài Đặt và Cấu Hình LLM Trên PC Tự Lắp Cho Hỗ Trợ Y Tế

Mở Đầu

Việc chạy mô hình ngôn ngữ lớn (Large Language Models - LLM) trên máy tính cá nhân giúp nâng cao khả năng xử lý dữ liệu, đặc biệt trong lĩnh vực y tế với các phân tích chẩn đoán bệnh nhanh chóng và chính xác.

Trong bài viết này, tôi sẽ chia sẻ kinh nghiệm cài đặt và cấu hình một PC tự lắp mạnh mẽ phục vụ cho mục đích vận hành LLM nhằm hỗ trợ các đội ngũ y tế trong việc chẩn đoán bệnh thông qua việc tích hợp với hệ thống quản lý bệnh viện (SIMRS). Nội dung sẽ bao gồm từ cấu hình phần cứng, cài đặt driver, docker, NVIDIA container toolkit cho đến triển khai các mô hình AI như Ollama và Open-WebUI.

1. Cấu Hình Phần Cứng Cho PC

1.1 Mục Đích và Yêu Cầu Máy Tính

PC này được chuẩn bị chủ yếu để chạy mô hình AI quy mô lớn, do đó yêu cầu cấu hình phần cứng phải cực kỳ mạnh mẽ để xử lý khối lượng tính toán lớn, đảm bảo khả năng mở rộng và độ ổn định.

1.2 Thông Số Kỹ Thuật Chi Tiết

Thành phần	Chi tiết
Hệ điều hành	Ubuntu 24.04.2 LTS x86_64
Bo mạch chủ	ASUS ROG CROSSHAIR X870E HERO
CPU	AMD Ryzen 9 9950X3D (32 nhân) @ 5.752GHz
GPU (Onboard)	AMD ATI 7a:00.0 Device 13c0
GPU (Rời)	NVIDIA RTX 5090
RAM	61.9 GB (Dùng 40.4 GB trong lúc hoạt động)

Máy được trang bị song song 2 GPU, một là GPU tích hợp từ bo mạch chủ, GPU còn lại là NVIDIA RTX 5090 - GPU mạnh nhất hiện nay rất phù hợp cho tác vụ deep learning và inferencing.

1.3 Kiểm Tra Phần Cứng

Bạn có thể sử dụng các lệnh sau để kiểm tra phần cứng hiện có:

neofetch để xem tổng quan hệ thống.

dmidecode -t baseboard để đọc thông số bo mạch chủ.

lspci | grep -i vga để kiểm tra các GPU hiện có.

2. Cài Đặt Driver NVIDIA

2.1 Xử Lý Vấn Đề Driver Sai Phiên Bản

NVIDIA RTX 5090 yêu cầu driver mới nhất thường là phiên bản 575.64.05.

Việc cài driver gặp lỗi do Secure Boot đang bật trong BIOS.

2.2 Tắt Secure Boot trên BIOS

Vào BIOS (nhấn F2 khi khởi động máy).

Chuyển sang Advance Mode.

Vào phần Boot → Secure Boot.

Đổi OS Type sang Other OS.

Đổi Secure Boot Mode sang Custom.

2.3 Cài Đặt Driver Phiên Bản Phù Hợp

Phiên bản driver thích hợp thực tế là: 570.172.08.

Các bước thực hiện:

sudo apt purge '^nvidia-.*' --yes
sudo apt autoremove
sudo rm -rf /usr/local/cuda*
sudo rm -rf /etc/X11/xorg.conf
sudo rm -rf /lib/modules/$(uname -r)/kernel/drivers/video/nvidia*
sudo update-grub
sudo reboot
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/570.172.08/NVIDIA-Linux-x86_64-570.172.08.run
chmod +x NVIDIA-Linux-x86_64-570.172.08.run
sudo ./NVIDIA-Linux-x86_64-570.172.08.run

2.4 Kiểm Tra Driver

Sử dụng lệnh nvidia-smi để xác nhận GPU đã được nhận diện và driver đã cài thành công.

3. Cài Đặt Docker Để Quản Lý Container

3.1 Xóa các phiên bản Docker cũ xung đột

for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done

3.2 Thêm Repository chính thức và Cài đặt Docker

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$UBUNTU_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

3.3 Kiểm tra Docker đã cài đặt thành công:

docker -v

4. Cài Đặt NVIDIA Container Toolkit

4.1 Thêm repository Nvidia container toolkit

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update

4.2 Cài đặt Toolkit

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get install -y nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

4.3 Cấu hình Docker sử dụng NVIDIA Runtime

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

5. Cài Đặt và Cấu Hình Ollama + Open-WebUI

5.1 Giới thiệu

Ollama là nền tảng chạy LLM offline trên máy địa phương, hỗ trợ CPU và GPU.

Open-WebUI là giao diện web cho người dùng tương tác với Ollama qua browser dễ dàng.

5.2 Docker Compose mẫu

File docker-compose.yml mẫu đặt trong thư mục /var/lib/project :

services:
  ollama:
    container_name: ollama
    restart: unless-stopped
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama-data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    networks:
      - net-ai

  open-webui:
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - openwebui-data:/app/backend/data
    depends_on:
      - ollama
    networks:
      - net-ai
    dns:
      - 8.8.8.8
      - 1.1.1.1
    ports:
      - "3000:8080"
    environment:
      - "OLLAMA_BASE_URL=http://192.168.10.15:11434"
      - "WEBUI_SECRET_KEY="
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

volumes:
  ollama-data:
    driver: local
  openwebui-data:
    driver: local

networks:
  net-ai:

5.3 Khởi chạy Docker Compose

docker compose up -d

5.4 Truy cập giao diện

Ollama: http://192.168.10.15:11434

Open-WebUI: http://192.168.10.15:3000

6. Cài Đặt và Chạy Mô Hình AI (Gemma3n & LLaMA4)

6.1 Qua WebUI

Truy cập tab "Models"

Tìm kiếm mô hình cần thiết và click “Pull” để tải về tự động từ ollama.com .

6.2 Qua Command Line Interface (CLI)

docker exec -ti ollama /bin/bash
ollama run gemma3n

6.3 Khắc phục lỗi gián đoạn kéo mô hình

Lỗi do Docker resolv IPv6 nhưng hệ thống không hỗ trợ.

Giải pháp: Tắt IPv6 trong Docker daemon bằng cách sửa file /etc/docker/daemon.json :

{
  "ipv6": false,
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "args": []
    }
  }
}

Khởi động lại Docker:

sudo systemctl restart docker

7. Kiểm Tra Sử Dụng GPU

Bạn có thể xác nhận LLM đang chạy trên GPU bằng:

Lệnh ngoài host:

nvidia-smi

Trong container Ollama:

ollama ps

Phần processor sẽ hiển thị GPU khi mô hình đang chạy.

Kết Luận

Việc lắp đặt và thiết lập một hệ thống LLM chạy offline trên PC tự lắp giúp ta có một môi trường điều hành AI linh hoạt, bảo mật dữ liệu, đồng thời tăng tốc xử lý nhờ phần cứng mạnh và GPU chuyên dụng. Docker giúp đơn giản hóa quản lý, deploy và bảo trì dịch vụ.

Ưu điểm chính:

Cô lập môi trường, tránh xung đột phần mềm.

Dễ dàng triển khai lại, rollback version nhờ Docker.

Tối ưu sử dụng tài nguyên hệ thống (CPU, RAM, GPU).

An toàn hơn nhờ cơ chế sandbox trong container.

Phù hợp với các ứng dụng nhạy cảm như y tế.

Hy vọng bài viết này giúp bạn bước đầu thiết lập một hệ AI cá nhân hoặc doanh nghiệp phù hợp với nhu cầu. Đừng ngần ngại tiếp tục khám phá và thử nghiệm!

Tham Khảo

NVIDIA Driver Download

Docker Engine Installation Guide for Ubuntu

NVIDIA Container Toolkit Documentation

Ollama Official Site

Open-WebUI GitHub Repository

Docker Compose GPU Support Documentation