Khai Phóng Siêu Năng Quan Sát: OpenTelemetry, Kubernetes & Ứng Dụng ML

Lê Lân

30/07/2025

The Observability Blueprint: Xây Dựng Ứng Dụng ML Quan Sát Được Với OpenTelemetry và Kubernetes

Giới Thiệu

Chào mừng bạn đến với chuỗi bài viết The Observability Blueprint - nơi chúng ta sẽ biến một ứng dụng máy học đơn giản thành một hệ thống mạnh mẽ với khả năng quan sát toàn diện qua metrics, logs và traces bằng công cụ mã nguồn mở như OpenTelemetry, Prometheus, Jaeger, Loki và Grafana.

Trong kỷ nguyên phát triển phần mềm hiện đại, việc đảm bảo ứng dụng không chỉ chạy tốt mà còn được quan sát đầy đủ là điều cực kỳ quan trọng, đặc biệt với các ứng dụng máy học (ML). Qua chuỗi bài viết này, chúng ta sẽ cùng:

Xây dựng một ứng dụng ML đơn giản sử dụng FastAPI

Instrument ứng dụng bằng OpenTelemetry

Đóng gói container với Docker

Triển khai trên Kubernetes

Thu thập và hiển thị dữ liệu quan sát với các công cụ phổ biến

Mục tiêu là giúp bạn hiểu rõ cách tạo ra một hệ thống ML thực tế được giám sát toàn diện chỉ với cách tiếp cận mã nguồn mở.

Phần 1: Xây Dựng Ứng Dụng ML Đơn Giản Với FastAPI

🧰 Chuẩn Bị Môi Trường

Trước khi bắt đầu, hãy đảm bảo bạn đã cài đặt:

Python 3.8 trở lên

pip package manager

Hiểu biết cơ bản về Python và REST API

🔧 Bước 0: Tạo Virtual Environment

Để tránh làm bừa bộn môi trường Python toàn cục, bạn nên tạo một môi trường ảo:

python3 -m venv venv
source venv/bin/activate   # Trên Windows: venv\Scripts\activate
pip3 install --upgrade pip

Tạo file requirements.txt với nội dung:

fastapi==0.110.0
pydantic==1.10.14
uvicorn==0.29.0
scikit-learn==1.4.2
numpy==1.26.4

Sau đó chạy:

pip3 install -r requirements.txt

🧠 Bước 1: Máy Học Là Gì? Tại Sao Chọn Linear Regression?

Máy học (Machine Learning) là nghệ thuật – và khoa học – dạy máy tính học từ dữ liệu thay vì lập trình thuần túy. Trong ví dụ này, chúng ta dùng mô hình hồi quy tuyến tính (Linear Regression) — phương pháp cơ bản nhất để dự đoán mối quan hệ thẳng giữa đầu vào và đầu ra.

Ví dụ: kích thước ngôi nhà càng lớn, giá càng cao.

📊 Mã nguồn huấn luyện mô hình

# train_model.py
import numpy as np
import pickle
from sklearn.linear_model import LinearRegression

# Dữ liệu mẫu: kích thước (sq ft) và giá nhà (USD)
X = np.array([[500], [1000], [1500], [2000], [2500]])
y = np.array([100000, 150000, 200000, 250000, 300000])

# Huấn luyện mô hình
model = LinearRegression()
model.fit(X, y)

# Lưu model ra file
with open("house_price_model.pkl", "wb") as f:
    pickle.dump(model, f)

print("Model đã được huấn luyện và lưu dưới tên 'house_price_model.pkl'")

File .pkl chứa mô hình sẽ được sử dụng trong ứng dụng.

⚡ Bước 2: Triển Khai Model Qua FastAPI

📦 Tại sao chọn FastAPI?

FastAPI là framework Python hiện đại, nhanh, hỗ trợ type hints và có swagger docs tự động – rất tiện cho phát triển API hiện đại, đặc biệt với ML.

💻 Mã nguồn ứng dụng FastAPI

# app.py
from fastapi import FastAPI, Request
from pydantic import BaseModel
import pickle
import numpy as np
import logging

logger = logging.getLogger("uvicorn")

app = FastAPI()

# Load mô hình đã huấn luyện
with open("house_price_model.pkl", "rb") as f:
    model = pickle.load(f)

# Endpoint kiểm tra trạng thái dịch vụ
@app.get("/")
def read_root(request: Request):
    return {"message": "House Price Prediction API is live!"}

# Schema định nghĩa dữ liệu đầu vào
class HouseFeatures(BaseModel):
    features: list[float]

# Endpoint dự đoán giá
@app.post("/predict/")
def predict(data: HouseFeatures, request: Request):
    prediction = model.predict(np.array(data.features).reshape(1, -1))
    logger.info(f"Dự đoán giá: {prediction[0]}")
    return {"predicted_price": prediction[0]}

▶️ Chạy ứng dụng

uvicorn app:app --reload

🧪 Thử nghiệm API

Kiểm tra trạng thái:

curl -i 'http://127.0.0.1:8000/'

Dự đoán giá nhà (ví dụ diện tích 1500 sq ft):

curl -i -X POST 'http://127.0.0.1:8000/predict/' -H "Content-Type: application/json" -d '{"features": [1500]}'

Kết quả:

{
  "predicted_price": 200000.0
}

🎉 Bạn đã phục vụ mô hình ML đầu tiên của mình thành công!

Thông tin quan trọng: Mô hình Linear Regression rất dễ hiểu nhưng có giới hạn trong các dữ liệu phi tuyến tính hoặc phức tạp. Tuy nhiên, nó là bước khởi đầu tuyệt vời để học cách xây dựng và triển khai ứng dụng ML.

Kết Luận

Phần 1 của chuỗi tập trung xây dựng một ứng dụng dự đoán giá nhà đơn giản bằng ML với FastAPI. Qua đó, bạn đã học cách:

Tạo mô hình ML cơ bản sử dụng Linear Regression

Phục vụ mô hình bằng API REST với FastAPI

Thử nghiệm API và kiểm tra ứng dụng

Phần tiếp theo sẽ bao gồm việc đóng gói ứng dụng vào Docker container và bắt đầu instrument để thu thập dữ liệu quan sát.

Tham Khảo

FastAPI Documentation

Scikit-learn Linear Regression

Kartik Dudeja, The Observability Blueprint Series (2024)

OpenTelemetry Official Site

Docker Documentation

Kubernetes Documentation