Giải Mã Sự Cố Pod Kubernetes Cùng Trợ Lý AI Siêu Đỉnh!

Lê Lân

15/08/2025

K8s-Doctor: Trợ Thủ AI Tự Động Phân Tích Sự Cố Pod Kubernetes

Mở Đầu

Kubernetes là nền tảng hàng đầu trong việc triển khai, vận hành ứng dụng container hoá. Tuy nhiên, việc phát hiện và xử lý lỗi các pod không hoạt động đúng cách luôn là thách thức lớn với quản trị viên và kỹ sư DevOps.

Trong bài viết này, chúng ta sẽ khám phá K8s-Doctor — một công cụ sử dụng trí tuệ nhân tạo (AI) để tự động thu thập thông tin, phân tích và đưa ra gợi ý xử lý sự cố cho các pod Kubernetes gặp lỗi. Công cụ này sử dụng Python kết hợp với kubectl và mô hình ngôn ngữ lớn llama3 chạy trên nền tảng Ollama.

Chúng ta sẽ đi qua các bước từ cách cài đặt, cấu trúc script, hoạt động như thế nào đến kết quả nhận được nhằm giúp bạn tối ưu quy trình khắc phục sự cố Kubernetes.

Yêu Cầu Hệ Thống

Python 3.9 trở lên

Python packages:

rich (hiển thị giao diện console đẹp, dễ đọc)

requests (gửi yêu cầu HTTP)

kubectl đã được cài đặt và cấu hình truy cập cụm Kubernetes

Ollama với mô hình llama3 (chạy local API phân tích AI)

Tổng Quan Hoạt Động Của K8s-Doctor

1. Tìm Kiếm Các Pod Gặp Lỗi Trong Namespace

Đầu tiên, script gọi lệnh:

kubectl get pods -n <namespace> -o json

Sau đó, phân tích dữ liệu JSON để tìm các pod:

Không có trạng thái Running hoặc Succeeded

Hoặc pod Running nhưng container chưa sẵn sàng, có lỗi hoặc đã kết thúc với exit code khác 0

Điều này đảm bảo chỉ tập trung vào những pod thực sự cần được xử lý, tránh nhầm lẫn với các pod bình thường.

2. Thu Thập Thông Tin Chẩn Đoán Chi Tiết Cho Mỗi Pod

Với mỗi pod được xác định là lỗi, script sẽ chạy các lệnh:

kubectl describe pod <pod-name> -n <namespace> : Chi tiết trạng thái, event liên quan

kubectl logs <pod-name> -n <namespace> --all-containers=true : Log hiện tại của tất cả container

kubectl logs <pod-name> -n <namespace> --all-containers=true --previous : Log container trước (nếu container crash/restart)

Lấy UID của pod -> lấy event riêng biệt liên quan pod đó

Thông tin này rất hữu ích để chẩn đoán nguyên nhân lỗi.

3. Phân Tích Tự Động Bằng AI Ollama (Mô Hình Llama3)

Các thông tin trên được đóng gói tạo thành prompt gửi đến API của Ollama để xử lý AI:

AI sẽ đọc dữ liệu describe, logs, events

Xác định nguyên nhân gốc rễ lỗi pod

Giải thích chi tiết dựa trên dữ liệu thu thập được

Đưa ra đề xuất hành động cụ thể tiếp theo (vd: một câu lệnh kubectl để thử)

4. Hiển Thị Phân Tích AI Theo Dạng Dòng Lệnh

Kết quả phân tích của AI được in ra màn hình giúp kỹ sư nhanh chóng hiểu vấn đề, tiết kiệm nhiều thời gian trong việc phân tích thủ công hàng chục đến hàng trăm dòng log.

Phân Tích Chi Tiết Các Thành Phần Script

Khởi Tạo Và Thực Hiện Lệnh Shell

def run_command(command):
    """Chạy lệnh shell, trả về stdout nếu thành công hoặc stderr nếu lỗi."""

Xử lý lỗi gọi kubectl với thông báo cụ thể

Bảo vệ script không bị dừng do lỗi lệnh

Xác Định Pod Gặp Lỗi

def get_failing_pods(namespace):
    ...

Lọc các pod không phải trạng thái khác nhau

Kiểm tra container đã sẵn sàng chưa, trạng thái terminated với exit code khác 0

Thu Thập Dữ Liệu Chẩn Đoán

def get_pod_diagnostics(pod_name, namespace="default"):
    ...

Gọi kubectl describe , log hiện tại, log trước, và events liên quan

Tích Hợp AI Ollama

def analyze_with_ollama(diagnostics, pod_name):
    ...

Tạo prompt chi tiết từ dữ liệu chẩn đoán

Gửi request tới API địa phương Ollama đang chạy llama3

Thu thập và hiển thị từng dòng phân tích trả về (streaming)

Điều này giúp công cụ đưa nhận xét chính xác, logic và giàu thông tin hơn các cách phân tích truyền thống.

Hướng Dẫn Sử Dụng

Cài Đặt Phụ Thuộc

pip install rich requests
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3
ollama run llama3

Chạy Script

python k8s-doctor.py -n my-namespace

Nếu không nhập tham số -n , script sẽ yêu cầu nhập tương tác tên namespace.

Ví Dụ Kết Quả

Giao diện console đẹp mắt, dễ theo dõi

Hiển thị danh sách pod lỗi và phân tích chi tiết của AI

Tóm Tắt

Script K8s-Doctor tổng hợp nhiều thao tác phức tạp thành công cụ AI giúp:

Tự động phát hiện pod lỗi trong namespace

Thu thập tất cả thông tin cần thiết dễ dàng

Phân tích bằng AI sắc bén hỗ trợ chẩn đoán nhanh

Đưa ra hướng xử lý tiếp theo cụ thể

Đây là một sự kết hợp hài hòa giữa tự động hóa DevOps và sức mạnh của AI trong vận hành Kubernetes.

Tham Khảo

Kubernetes Official Documentation

Ollama AI Platform

rich Python Library

Python requests Documentation

Austin Cunningham, GitHub - k8s-doctor May 1, 2024