Hành Trình AI Tiếp Theo Của Chúng Tôi: Biến Email Khô Khan Thành Trợ Lý Thông Minh Với RAG!
Lê Lân1
Triển Khai Retrieval-Augmented Generation (RAG) Ứng Dụng Trong Hỗ Trợ Email Tại epilot
Giới Thiệu
epilot đã bước vào hành trình ứng dụng trí tuệ nhân tạo (AI) bằng cách triển khai tính năng Tóm Tắt Email tự động, giảm thời gian đọc email của người dùng tới 87%.
Sau thành công này, epilot tiếp tục mở rộng khả năng AI bằng công nghệ Retrieval-Augmented Generation (RAG) nhằm cung cấp gợi ý email thông minh, có khả năng hiểu biết sâu sắc bối cảnh từ các dữ liệu trước đó. Bài viết sẽ giới thiệu chi tiết về cách epilot sử dụng RAG để nâng cao năng lực hỗ trợ khách hàng, giúp nhân viên tương tác nhanh chóng và chính xác hơn với các yêu cầu của khách hàng trong lĩnh vực năng lượng.
Tại Sao Lại Chọn RAG?
Thách Thức Trong Bộ Phận Dịch Vụ Khách Hàng
- Phân khúc hàng hóa tiêu chuẩn (commodity) thường tiếp nhận số lượng lớn các yêu cầu tương tự.
- Người dùng cần các gợi ý email nhanh, có bối cảnh cập nhật:
- Dựa trên các trao đổi trước đó.
- Phù hợp với phong cách giao tiếp riêng của công ty.
- Cá nhân hóa theo từng khách hàng.
Hạn Chế Của Các Large Language Models (LLMs)
- LLMs không thể truy cập trực tiếp vào dữ liệu công ty cụ thể hoặc mới nhất.
- Các phương pháp tùy biến LLM bao gồm:
- Prompt engineering (kỹ thuật cấu trúc câu hỏi).
- RAG (kết hợp truy xuất dữ liệu thực tế).
- Fine-tuning (tùy chỉnh mô hình) - đòi hỏi nhiều tài nguyên và phức tạp.
Lý Do Chọn RAG
RAG kết hợp trích xuất thông tin từ cơ sở dữ liệu thực tế và sử dụng LLM để tạo câu trả lời, duy trì khả năng linh hoạt và hiệu suất cao mà không cần quá nhiều tài nguyên.
Giải Pháp Của epilot: Retrieval-Augmented Generation (RAG)
Cách Thức Hoạt Động
- Thu thập và lưu trữ dữ liệu email trước đó (bao gồm cả nội dung và câu hỏi giả định).
- Khi nhận email mới, hệ thống truy xuất các dữ liệu liên quan trong kho kiến thức.
- Sử dụng dữ liệu truy xuất được để tăng cường bối cảnh cho LLM trong giai đoạn tạo câu trả lời.
Tác Động Đến Người Dùng
- Tăng tốc trả lời email, cải thiện chất lượng và độ chính xác.
- Cung cấp dịch vụ khách hàng nhanh hơn và hiệu quả hơn.
- Dành nhiều thời gian hơn cho các tác vụ có giá trị cao thay vì tìm kiếm thông tin.
Ví Dụ Minh Họa
Một khách hàng gửi thư hỏi về yêu cầu tài liệu liên quan đến kế hoạch cải tạo (Sanierungsfahrplan). Người dùng epilot không cần tra cứu chính sách hay quy trình thủ công. AI ngay lập tức nhận biết các tài liệu cần thiết và thời hạn nộp, tạo câu trả lời cá nhân hóa phù hợp với từng yêu cầu cụ thể.
Tính Năng Nổi Bật
- Đánh dấu các thực thể quan trọng trong mail phản hồi (ví dụ: hạn nộp tải liệu).
- Trích dẫn email trước đó từ kho dữ liệu, giúp người dùng dễ dàng kiểm tra thông tin.
Thành Phần Giải Pháp RAG
LangChain
- Tích hợp vector databases, LLMs và xây dựng các AI agents.
- Hỗ trợ tài liệu, quản lý bộ nhớ và đầu ra có cấu trúc.
- LangChain
Weaviate
- Lựa chọn sau khi khảo sát Pinecone, Chroma, Quadrant.
- Kiến trúc serverless, mã nguồn mở, đảm bảo an ninh và khả năng mở rộng.
- Weaviate
Presidio
- Bảo mật dữ liệu nhạy cảm (PII) bằng cách làm mờ thông tin trước khi lưu trữ.
- Ngăn ngừa các hiện tượng “ảo tưởng” của AI.
- Presidio
LangSmith
- Công cụ giám sát hiệu suất AI, quản lý nhanh phản hồi, xử lý lỗi.
- Hỗ trợ kiểm thử và cải tiến liên tục.
- LangSmith
Cách Xây Dựng Hệ Thống RAG Tại epilot
Tổng Quan
Hai pipeline chính:
- Ingestion (Tiếp nhận dữ liệu)
- Retrieval (Truy xuất dữ liệu)
Pipeline Ingestion
- Email được xử lý, làm sạch, loại bỏ chữ ký và dữ liệu cá nhân.
- Phân tích và tạo ra các câu hỏi giả định dựa trên nội dung email đến và đi.
- Tạo vector embeddings cho cả nội dung email và câu hỏi giả định.
- Lưu trữ dữ liệu vào Weaviate cho phép truy vấn song song theo văn bản và câu hỏi.
Bước | Hoạt động |
|---|---|
Làm sạch email | Remove chữ ký, redacted PII bằng Presidio |
Sinh câu hỏi giả định | Biến email đi thành câu trả lời, email đến thành câu hỏi để ghép cặp |
Tạo vector embeddings | Lưu trữ đa vector trong cùng một object |
Lưu trữ | Gửi vector embeddings đến Weaviate |
Pipeline Retrieval
- Trích xuất câu hỏi khách hàng từ email mới qua AI question extractor.
- Thực hiện tìm kiếm đa vector (văn bản + câu hỏi).
- Kết hợp kết quả tìm kiếm, phân loại và chọn lọc các tài liệu phù hợp.
- Gợi ý phản hồi dựa trên dữ liệu truy xuất.
Quy trình | Mô tả |
|---|---|
1. Trích xuất câu hỏi | Dùng AI để tạo ra 3 câu hỏi tiềm năng từ email |
2. Tìm kiếm trong vector DB | Tương tác với Weaviate bằng hybrid search (keyword + vector) |
3. Hợp nhất kết quả | Gộp tài liệu từ hai kiểu tìm kiếm khác nhau |
4. Tạo prompt cho LLM | Dùng tài liệu đã truy xuất để tăng cường bối cảnh trả lời |
Xây Dựng và Mở Rộng Prompt Cho LLM
Các Tiêu Chuẩn Đặt Ra
- Email phản hồi cần dựa trên dữ liệu truy xuất và quan sát được.
- Trả về văn bản kèm theo trích dẫn chi tiết nguồn.
- Tuân thủ nghiêm ngặt quy định bảo mật thông tin.
- Đồng hành cùng nhân viên hỗ trợ, mô phỏng phong cách làm việc.
Mẫu Prompt Hệ Thống (System Prompt)
Trong prompt được thêm vào:
- Bối cảnh đoạn hội thoại hiện tại.
- Dữ liệu từ vector database.
- Thông tin thực thể đặc biệt.
- Các quy định bảo mật và chuẩn văn phong.
Phát Sinh Phản Hồi Và Truyền Dữ Liệu
- Sử dụng công nghệ streaming để trả dữ liệu theo thời gian thực.
- Kết hợp với FastAPI và AWS Lambda cho ứng dụng serverless.
- Chuyển đổi đầu ra XML của LLM sang JSON có cấu trúc để dễ xử lý.
Theo Dõi Hiệu Suất Qua LangSmith
- Giám sát luồng dữ liệu.
- Debug và tối ưu hoá từng bước xử lý.
- Cải tiến nhanh chóng dựa trên các kết quả thực tế.
Kế Hoạch Phát Triển Tiếp Theo
- Hỗ trợ xử lý email có tập tin đính kèm.
- Tùy chỉnh kho kiến thức theo yêu cầu tổ chức.
- Phát triển tính năng AI Suggested Actions cho tự động hóa tác vụ phổ biến.
- Tiến tới giải pháp AI đa tác nhân có giám sát, tối ưu ngành năng lượng.
Tham Khảo
- LangChain Documentation - https://www.langchain.com/
- Weaviate Vector Database - https://weaviate.io/
- Microsoft Presidio for PII Redaction - https://microsoft.github.io/presidio/
- LangSmith AI Observability - https://www.langchain.com/langsmith
- AWS Lambda Response Streaming - https://docs.aws.amazon.com/lambda/latest/dg/configuration-response-streaming.html
- AWS Lambda Web Adapter GitHub - https://github.com/awslabs/aws-lambda-web-adapter/tree/main/examples/fastapi-response-streaming
Loading...