Debug Mô Hình AI: Cú Ngã "Thê Thảm" Đầu Đời Và Bài Học Vàng Ngọc Của Tôi!

Lê Lân

29/07/2025

Or: Cách Tôi Học Được Việc Ngừng Lo Và Yêu Thích Việc Debug Mạng Nơ-ron

Mở Đầu

Dự án MLOps đầu tiên của tôi, dù kết quả ban đầu thất bại thảm hại, đã trở thành cơ hội học tập quý giá với trải nghiệm thực tế từ đầu đến cuối – từ dữ liệu thô đến mô hình triển khai.

Trong thế giới machine learning đầy thách thức, mỗi dự án là một hành trình khám phá và thử thách. Tôi đã quyết định xây dựng một hệ thống phân tích cảm xúc (sentiment analysis) để nhận diện đánh giá phim tích cực hoặc tiêu cực. Mục tiêu ban đầu tưởng chừng đơn giản nhưng thực tế lại không như vậy, khi mô hình đầu tiên của tôi cho ra kết quả sai lệch đến mức nó cho rằng câu "I absolutely loved this movie!" là thể hiện cảm xúc tiêu cực với 99.9% độ tin cậy. Qua bài viết này, tôi sẽ chia sẻ toàn bộ trải nghiệm, những lỗi sai và cách chỉnh sửa, cũng như những bài học quan trọng trong quá trình debug và triển khai mô hình MLOps.

The Grand Plan (That Almost Failed Spectacularly)

Mục Tiêu Dự Án

Tôi muốn tạo ra một mô hình phân tích cảm xúc trên dữ liệu đánh giá phim chuẩn IMDB, huấn luyện và triển khai miễn phí hoàn toàn trên nền tảng Hugging Face.

Thực Tế Ban Đầu

Mô hình đầu tiên dự đoán hầu hết các câu đều là tiêu cực với xác suất rất cao.

Không có lỗi phần cứng hay sự cố kỹ thuật nghiêm trọng, mà là do lỗi trong quy trình xử lý dữ liệu và cấu hình mô hình.

Điều này minh chứng rằng debugging và hiểu rõ pipeline dữ liệu là yếu tố sống còn trong thành công của dự án MLOps.

The Technical Stack (Free Tier Heroes)

Dự án của tôi sử dụng các công cụ và dịch vụ miễn phí để học tập và triển khai:

Google Colab: GPU free cho huấn luyện.

Hugging Face Hub: Lưu trữ mô hình và dataset.

Weights & Biases (W&B): Theo dõi quá trình thử nghiệm.

IMDB Dataset: Bộ dữ liệu chuẩn từ Stanford.

Không có chi phí vì không sử dụng dịch vụ trả phí như AWS hay GCP, giúp tôi tập trung vào kỹ thuật và debug.

What I Built

Mô hình phân tích cảm xúc

Lấy dữ liệu IMDB, tôi xây dựng mô hình dự đoán 2 lớp: positive (tích cực) và negative (tiêu cực).

Link mô hình hỏng ban đầu: AfroLogicInsect/sentiment-analysis-model

Kết quả ban đầu

Mô hình phân loại tất cả các đánh giá là negative với độ tin tưởng gần như tuyệt đối.

Đây là dấu hiệu của collapsed model – mô hình đã học sai lệch vì dữ liệu hoặc cấu hình không đúng.

The Learning Curve (AKA: Everything That Went Wrong)

Issue #1: The "Always Negative" Model

Dòng Review	Dự đoán kỳ vọng	Kết quả thực tế
"I loved this movie!"	Positive (85%)	Negative (99.9%)
"This movie was amazing!"	Positive (85%)	Negative (99.5%)
"Best film ever!"	Positive (90%)	Negative (99.8%)

Mô hình luôn dự đoán negative, dù input rõ ràng là tích cực.

Issue #2: Data Poisoning (Accidentally)

Lỗi lớn nhất gây ra hiệu ứng trên là vì cách chọn dữ liệu huấn luyện sai lệch.

Cách tôi lấy dữ liệu: dataset["train"].select(range(15000)) – Lấy 15.000 mẫu đầu từ bộ dữ liệu.

Bộ dữ liệu IMDB xếp 12.500 negative trước rồi đến 12.500 positive.

Kết quả huấn luyện bị lệch: 83% negative, validation 100% negative.

Issue #3: Tiny Batch Syndrome

Tôi huấn luyện với batch size nhỏ là 4, khiến:

Mọi gradient dao động lớn, khó hội tụ.

So sánh với batch size phổ biến 16-32 cho mô hình tương tự.

Issue #4: Label Confusion

Sai sót trong ánh xạ nhãn, khiến tôi đọc nhầm dự đoán mô hình. Mặt dù mô hình hoạt động hợp lệ, nhưng tôi hiểu nhầm đầu ra:

ID nhãn và tên nhãn không đồng bộ.

Tạo cảm giác mô hình sai hoàn toàn trong khi thực tế không phải.

The Debugging Journey

Tôi đã tạo bộ kiểm thử với các câu rõ ràng:

test_cases = [
  "This movie is absolutely amazing!",
  "This movie is terrible.",
  "Great film, highly recommend!",
  "Boring movie, waste of time."
]

Model dự đoán tất cả về label negative với 99%+ confidence. Rõ ràng mô hình sụp đổ, chỉ dự đoán một nhãn duy nhất.

Đây là dấu hiệu của mô hình không được huấn luyện đúng do dữ liệu và thiết lập không phù hợp.

The Fix: Proper MLOps Practices

1. Balanced Data Sampling

train_pos_indices = [i for i, label in enumerate(data["label"]) if label == 1]
train_neg_indices = [i for i, label in enumerate(data["label"]) if label == 0]
train_indices = train_pos_indices[:7500] + train_neg_indices[:7500]

Lấy chính xác 7.500 mẫu positive và 7.500 mẫu negative.

Tránh lệch dữ liệu, giúp mô hình học cân bằng hơn.

2. Proper Training Parameters

TrainingArguments(
  per_device_train_batch_size=16,
  learning_rate=2e-5,
  num_train_epochs=3,
  eval_steps=200,
  save_strategy="steps",
  load_best_model_at_end=True,
  seed=42
)

Tăng batch size.

Cài đặt learning rate rõ ràng.

Lưu và load mô hình tốt nhất sau mỗi lần evaluation.

Đặt seed để tái tạo kết quả.

3. Explicit Label Configuration

model = AutoModelForSequenceClassification.from_pretrained(
  "distilbert-base-uncased",
  num_labels=2,
  id2label={0: "NEGATIVE", 1: "POSITIVE"},
  label2id={"NEGATIVE": 0, "POSITIVE": 1}
)

Xác định rõ ràng mapping nhãn để tránh nhầm lẫn.

Giúp interpret đầu ra dễ dàng hơn.

4. Comprehensive Testing

test_cases = [
  ("Amazing movie, loved it!", "positive"),
  ("Terrible film, hated it", "negative"),
  ("Best movie ever!", "positive"),
  ("Worst movie I've seen", "negative")
]

Luôn kiểm tra mô hình đầu ra trên các câu test rõ ràng trước khi triển khai.

Technical Deep Dives

Tokenizers and Text Processing

Tokenization: Câu "I love this movie!" thành [101, 1045, 2293, 2023, 3185, 999, 102] .

Padding/Truncation: Giữ độ dài chuỗi đồng nhất trong batch.

Special tokens: [CLS] và [SEP] phục vụ phân loại chuỗi.

Attention masks: Đánh dấu token cần hoặc không cần chú ý.

Hardware and Compute

Google Colab free tier có giới hạn:

Cần quản lý bộ nhớ GPU (dọn dẹp cache, gc.collect() , torch.cuda.empty_cache() ).

Giám sát tài nguyên qua nvidia-smi .

Tối ưu batch size và gradient accumulation.

Model Architecture Choices

Chọn DistilBERT thay vì BERT để:

Huấn luyện và dự đoán nhanh hơn gấp 6 lần.

Kích thước model nhỏ hơn 40%.

Hiệu năng đạt đến 97% so với BERT.

Phù hợp với tài nguyên giới hạn, thử nghiệm nhanh.

The Deployment Pipeline

Quy trình triển khai mô hình bao gồm:

Lưu model và tokenizer đúng cách.

Đăng tải lên Hugging Face Hub kèm mô tả, thẻ, tài liệu mô hình.

Kiểm thử API inference.

Quản lý version mô hình bằng Git.

model.push_to_hub("AfroLogicInsect/sentiment-analysis-model_v*")
tokenizer.push_to_hub("AfroLogicInsect/sentiment-analysis-model_v*")

Sử dụng pipeline để test:

from transformers import pipeline
classifier = pipeline("sentiment-analysis", model="AfroLogicInsect/sentiment-analysis-model_v*")
result = classifier("I loved this movie!")

Interview-Ready Insights

Debug mô hình kém: Ưu tiên kiểm tra dữ liệu và class distribution trước tiên.

Kinh nghiệm MLOps: Hiểu rõ pipeline toàn diện, experiment tracking, version control.

Xử lý tài nguyên hạn chế: Chọn mô hình nhẹ, tối ưu batch size, tận dụng dịch vụ free-tier.

Validation mô hình: Dùng dữ liệu cân bằng, test đa dạng, giám sát thực tế.

Key Takeaways

Dữ liệu tốt quan trọng hơn mô hình phức tạp.

Đảm bảo luôn validate đúng quy trình tải và chuẩn bị dữ liệu.

Test sớm và nhiều lần để sớm phát hiện lỗi.

Giám sát phân phối nhãn trong dữ liệu để tránh bias.

MLOps là chủ yếu về kỹ năng debug và quản lý pipeline hơn là chỉ đào tạo mô hình.

The Working Model

Sau các sửa lỗi, mô hình hoạt động chính xác:

Câu đánh giá	Dự đoán	Xác suất (%)	Kết quả
"I loved this movie!"	Positive	91	✅
"This movie was terrible"	Negative	89	✅
"Amazing acting!"	Positive	94	✅
"Complete waste of time"	Negative	92	✅

Bạn có thể thử mô hình tại:

https://huggingface.co/spaces/AfroLogicInsect/sentiment-analysis-model-gradio

What's Next?

Xây dựng mô hình đa lớp phức tạp hơn.

Thử nghiệm hạ tầng phục vụ mô hình chuyên nghiệp (model serving).

Nghiên cứu A/B testing và thử nghiệm hiệu năng mô hình thực tế.

Resources and Code

Code huấn luyện và tài liệu

Logs trên W&B

Model card Hugging Face

Dataset Stanford IMDB

Bạn đã từng phát triển dự án MLOps chưa? Hãy chia sẻ những câu chuyện debug thú vị, đặc biệt là các lỗi "vỡ mộng" mà cách sửa lại rất đơn giản, chỉ một dòng code thôi nhé!