Smart Address Validator: Cách Kết Hợp Sức Mạnh AI và Logic "Thủ Công" Để Khử Trùng Lặp Địa Chỉ "Thần Sầu"!
Lê Lân2
Phát Triển Bộ Soạn Thảo Địa Chỉ Thông Minh Kết Hợp Trí Tuệ Nhân Tạo Và Phân Tích Xác Suất
Mở Đầu
Việc làm sạch dữ liệu địa chỉ trong CRM hay hệ thống quản lý khách hàng là một thách thức mà hầu hết doanh nghiệp đều gặp phải. Các định dạng địa chỉ khác nhau như "ABC COMPANY LTD." so với "ABC Co. Limited" hay "Flat 12B 8/F 25 Main St., HK" so với "25 Main Street, 8th Floor, Central, Hong Kong" khiến việc đồng bộ và chuẩn hóa dữ liệu trở nên phức tạp.
Trong bài viết này, chúng ta sẽ cùng tìm hiểu cách xây dựng một bộ soạn thảo địa chỉ thông minh kết hợp giữa phân tích xác suất dựa trên kỹ thuật chuỗi và biểu thức chính quy (deterministic layer) cùng với trí tuệ nhân tạo dựa trên các mô hình ngôn ngữ lớn (Large Language Models – LLMs) cho việc xác minh và chuẩn hóa địa chỉ một cách chính xác và nhanh chóng. Bài viết cũng cung cấp ví dụ thực tế và giải thích chi tiết về cách vận hành, tối ưu hoá hiệu năng và thuật toán đằng sau hệ thống.
1. Tại Sao Nên Kết Hợp Hai Lớp Xử Lý?
1.1 Ưu và Nhược Điểm Của Cách Tiếp Cận Đơn Lẻ
Phương pháp | CPU/RAM | Độ trễ | Độ chính xác | Ưu điểm | Nhược điểm |
|---|---|---|---|---|---|
Định lượng (Deterministic) | Nhỏ | < 2 ms | Cao với 90% | Nhanh, tiết kiệm tài nguyên | Khó xử lý các trường hợp phức tạp |
LLM (AI) | Rất lớn | ≥ 400 ms | Có thể rất cao | Xử lý các tình huống phức tạp | Tốn kém, độ trễ cao |
Kết hợp Hybrid | Nhỏ - Trung bình | < 5 ms P95 | Cao nhất | Tận dụng ưu điểm của cả hai phương pháp | Phức tạp trong thiết kế |
1.2 Nguyên Tắc Vận Hành Hybrid
- Dùng lớp deterministic để xử lý nhanh các trường hợp đơn giản, quyết định dựa trên các quy tắc cứng (regex, chuẩn hóa chuỗi,…).
- Khi kết quả không chắc chắn (mức độ tin cậy trung bình từ 0.3 đến 0.85), sử dụng mô hình ngôn ngữ lớn để phân tích, ra quyết định cuối cùng.
- Mô hình LLM chỉ được gọi khi cần xử lý những trường hợp phức tạp nhằm giảm thiểu chi phí và độ trễ.
Cách tiếp cận này vừa đảm bảo độ chính xác cao vừa tối ưu trải nghiệm người dùng khi xử lý khối lượng dữ liệu lớn trong thời gian thực.
2. Lớp Xử Lý Deterministic: Chuẩn Hóa Và Phân Tích Địa Chỉ
2.1 Chuẩn Hóa Địa Chỉ
Mục tiêu chuẩn hóa là đưa các địa chỉ đầu vào về dạng đồng nhất, dễ so sánh:
- Viết thường, loại bỏ dấu câu, dấu nhấn (accents)
- Mở rộng các từ viết tắt phổ biến: ví dụ "st." → "street", "15F" → "15 floor"
- Chuẩn hóa các số thứ tự: từ "1st" thành "first", hoặc giữ lại số khi có hơn 2 chữ số.
- Xử lý dấu gạch nối (–), khoảng cách không đều.
2.2 Trích Xuất Thành Phần Chính
Sử dụng biểu thức chính quy (RegEx) để trích xuất:
- Số tòa nhà (building number), có xử lý dải số (như "100-200").
- Số căn hộ (unit number), gồm các từ khóa: apt, apartment, unit, flat, suite, ste.
- Tầng (floor), từ các ký hiệu như "15F", "15 floor", "15/f".
- Các phần còn lại của địa chỉ để so sánh bằng phương pháp độ tương đồng Jaccard.
2.3 So Sánh Token Và Tính Độ Tương Đồng Jaccard
- Tính độ tương đồng Jaccard giữa các tập token của địa chỉ đã chuẩn hóa.
- Thêm điểm cộng (bonus) khi các thành phần quan trọng như số tòa nhà, căn hộ, tầng khớp chính xác.
- Đưa ra điểm tin cậy tổng thể để xác định mức độ trùng khớp.
2.4 Các Trường Hợp Xử Lý Sớm
- Nếu các thành phần quan trọng không trùng nhau, trả về kết quả khác nhau ngay với độ tin cậy thấp.
- Nếu điểm tin cậy sau so sánh token và thành phần quan trọng ≥ 0.85, coi như trùng khớp.
Lớp deterministic rất nhanh, có độ phức tạp , vận hành hoàn toàn trên bộ nhớ đệm và không tốn chi phí tính toán phức tạp.
3. Lớp Xử Lý Probabilistic: Mô Hình Ngôn Ngữ Lớn (LLM)
3.1 Tại Sao Cần LLM?
- Giải quyết những trường hợp khó mà deterministic chưa xử lý được (sai sót nhỏ về cách diễn đạt, lỗi định dạng lạ,...).
- Hiểu được ý nghĩa ngữ cảnh và các quy tắc ngầm có thể không được mã hóa trong biểu thức chính quy.
3.2 Lựa Chọn Mô Hình Và Triển Khai
- Mô hình dùng: Ollama chạy LLM qwen3_4B (4 tỷ tham số), nhỏ gọn nhưng được fine-tune trên nhiệm vụ so sánh địa chỉ qua các lời hướng dẫn cụ thể.
- Mô hình trả về câu trả lời dạng YES hoặc NO duy nhất, giúp loại bỏ nhầm lẫn và giữ tính đơn giản.
3.3 Ví Dụ Mẫu Prompt Cho LLM
3.4 Ưu Điểm Khi Chạy LLM Cục Bộ
- Giữ dữ liệu trên premise, bảo mật cao.
- Độ trễ khoảng 300ms, chấp nhận được để xử lý các trường hợp phức tạp.
- Không phát sinh thêm chi phí cho API ngoài.
LLM được dùng như một trọng tài trong các trường hợp mơ hồ, đảm bảo độ tin cậy cao mà không làm tăng chi phí và độ trễ trong phần lớn các truy vấn địa chỉ.
4. Mã Nguồn Cốt Lõi Và Demo
4.1 Cấu Trúc Class SmartAddressValidator
- Thuộc tính để lưu trữ các kết quả xác thực.
- Phương thức chính
AreSameLocationAsyncxây dựng theo luồng hybrid:
- Thực hiện so sánh deterministic, lấy điểm tin cậy.
- Nếu điểm tin cậy trên 0.85 hoặc dưới 0.30, quyết định ngay.
- Nếu điểm ở giữa, gọi LLM (nếu có).
- Lưu kết quả vào bộ nhớ cache để truy xuất lại.
4.2 Các Hàm Hỗ Trợ Quan Trọng
-
Normalize: Chuẩn hóa địa chỉ đầu vào.
-
ExtractComponents: Lấy các thành phần quan trọng từ địa chỉ.
-
ValidateWithConfidence: Tính điểm match, quyết định match/diff.
-
AreBuildingNumbersEquivalent: Xử lý đặc biệt khi số tòa nhà là dải số.
4.3 Demo Xác Thực Với Bộ Test Đa Dạng
- Demo thử nghiệm với 50 cặp địa chỉ, tỉ lệ chính xác đạt ~74%.
- Tổng hợp kết quả phân loại gồm True Positive, False Positive,...
- Các chỉ số đánh giá: Precision (độ chính xác), Recall (độ nhạy), F1-score được tính toán và trình bày rõ ràng.
Phân tích kết quả cho thấy hệ thống có chất lượng tương đối cao với khả năng nhận diện tốt các địa chỉ trùng nhau, tuy nhiên cần cải thiện thêm để giảm thiểu sai lệch false positive.
5. Kết Luận
Việc xây dựng bộ soạn thảo và chuẩn hóa địa chỉ thông minh không thể chỉ dựa vào phương pháp đơn lẻ. Kết hợp xử lý deterministic với trí tuệ nhân tạo giúp nâng cao hiệu quả và độ chính xác so với các giải pháp truyền thống.
- Lớp deterministic nhanh, tiết kiệm tài nguyên, xử lý phần lớn trường hợp đơn giản.
- Lớp probabilistic dựa trên LLM xử lý các tình huống phức tạp khó mã hóa rõ ràng.
- Cách tiếp cận hybrid cho phép cân bằng giữa tốc độ, chi phí và độ chính xác.
Bạn có thể thử nghiệm các mô hình LLM khác, điều chỉnh ngưỡng độ tin cậy để tối ưu hiệu suất phù hợp với nhu cầu thực tế.
Tham Khảo
- Hình ảnh minh họa chi tiết quy trình và kết quả trong bài viết gốc trên dev.to
Loading...