Biến máy tính thành 'phòng thí nghiệm' AI riêng: Chạy LLM như DeepSeek Coder, Mistral ngay tại nhà với Docker và Ollama!
Lê Lân0
Một Môi Trường Local Hoàn Chỉnh Để Chạy LLMs Như DeepSeek-Coder và Mistral Với Docker, Open-WebUI, Benchmark Tự Động, Fallback Thông Minh Và Trải Nghiệm Nhà Phát Triển Tối Ưu Qua Makefile hoặc Script Bash — Tất Cả Open Source, Dễ Dàng Mở Rộng!
Mở Đầu
Bạn đang tìm kiếm một môi trường đơn giản để chạy các mô hình ngôn ngữ lớn (LLMs) như deepseek-coder và mistral ngay trên máy tính cá nhân của mình? Bạn cần một giải pháp Docker hóa đầy đủ, có giao diện web trực quan, khả năng benchmark tự động, fallback thông minh và trải nghiệm phát triển tối ưu với Makefile hoặc script Bash? Đây chính là bài viết dành cho bạn!
Trong bối cảnh trí tuệ nhân tạo ngày càng phổ biến, việc thiết lập một môi trường cục bộ cho các mô hình LLM không chỉ giúp bạn chủ động hơn trong quá trình phát triển mà còn bảo mật và tùy biến cao. Bài viết này sẽ giới thiệu một môi trường local hoàn chỉnh được phát triển nhằm hỗ trợ chạy các mô hình như deepseek-coder và mistral, tích hợp công cụ Open-WebUI, benchmark tự động và các tính năng tối ưu khác – toàn bộ đều mã nguồn mở và dễ mở rộng.
Nội dung bài viết chia thành các phần bao gồm giới thiệu mục đích và lý do tạo dựng môi trường này, cấu trúc kiến trúc và các công cụ sử dụng, hướng dẫn ví dụ thao tác cơ bản, cũng như đường dẫn sử dụng WebUI và tài nguyên tham khảo.
Tại Sao Tôi Tạo Ra Môi Trường Này?
Động Lực Và Mục Tiêu
Tôi muốn một môi trường trí tuệ nhân tạo cục bộ với các tiêu chí:
- 💡 Dễ dàng khởi động: Chỉ cần chạy
make devhoặc scriptsetup-dev.shlà xong
- 🔁 Khả năng hồi phục tự động: Restart container khi gặp sự cố, đảm bảo môi trường luôn sẵn sàng
- 🧪 Benchmark tự động: Kiểm tra thời gian phản hồi ngay sau khi khởi chạy để đánh giá hiệu năng
- 🐳 Docker hóa toàn bộ: Dễ dàng cài đặt và mở rộng trên bất kỳ hệ thống nào có Docker
- 🤖 Chạy trực tiếp các mô hình như DeepSeek Coder, Mistral trên PC của mình
- 🧰 Tùy chỉnh linh hoạt cho mọi mục đích sử dụng khác với LLM offline
Với những yêu cầu trên, tôi phát triển mori-ollama-srv – một dự án mã nguồn mở đầy đủ, tiện lợi và mạnh mẽ cho việc chạy LLM tại chỗ.
Thành Phần Của Môi Trường
Công Nghệ Và Công Cụ Được Sử Dụng
Thành Phần | Mô Tả Chi Tiết |
|---|---|
Ollama | Hỗ trợ các mô hình ngôn ngữ như deepseek-coder:6.7b, mistral, llama |
Open-WebUI | Giao diện web thân thiện để tương tác chat với các mô hình |
Benchmark Script | Công cụ test thời gian phản hồi tự động mỗi khi khởi động |
Docker Compose | Quản lý các container thuận tiện, giúp việc khởi động và dừng dễ dàng |
Makefile | Tạo ra các câu lệnh script chuẩn hóa, giúp thao tác nhanh và hiệu quả hơn |
Fallback thông minh | Khả năng tự động chuyển sang phương án dự phòng khi có lỗi phát sinh |
Tính Năng Nổi Bật
- Kích hoạt chế độ chế độ performance trên CPU đối với hệ điều hành Linux nhằm tối ưu hiệu suất tính toán.
- Hỗ trợ chạy local hoặc remote qua SSH giúp linh động trong việc triển khai mô hình.
- Cấu hình dễ dàng, có thể tùy chỉnh để phục vụ nhiều mục đích với các LLM khác nhau.
- Môi trường được đóng gói gọn nhẹ, giảm thiểu xung đột với các ứng dụng khác trên máy.
Sử dụng Docker giúp bạn triển khai môi trường không bị phụ thuộc đặc tính phần cứng hay hệ điều hành, đồng thời dễ dàng phân phối cho đồng nghiệp hoặc cộng đồng.
Hướng Dẫn Sử Dụng Và Ví Dụ Cụ Thể
Các Lệnh Cơ Bản Để Khởi Động
- Khởi chạy với mô hình mặc định (deepseek):
- Chạy với mô hình nhẹ (mistral):
make install ARGS="--light"- Bỏ qua bước benchmark:
make install ARGS="--no-benchmark"- Chạy toàn bộ ở môi trường remote qua SSH:
make install ARGS="[email protected]"Truy Cập Giao Diện WebUI
Sau khi khởi động thành công, bạn có thể thao tác và tương tác trực quan với các mô hình qua WebUI tại địa chỉ:
Ví Dụ Kịch Bản Sử Dụng Makefile
Lệnh | Mục Đích |
|---|---|
make dev | Khởi chạy môi trường với mô hình mặc định |
make install ARGS="..." | Cài đặt và chạy với tham số tùy chỉnh |
make clean | Xóa sạch container và dữ liệu tạm |
Repositório và Nguồn Tài Nguyên
Tài Nguyên | Liên Kết |
|---|---|
GitHub Mori-Ollama-Srv | |
Gist Hướng Dẫn Nhanh |
Mọi người rất hoan nghênh các đóng góp và cải tiến! Nếu bạn yêu thích dự án, hãy để lại một ngôi sao ⭐ trên GitHub và chia sẻ cách bạn lên kế hoạch sử dụng nó nhé!
Kết Luận
Dự án mori-ollama-srv cung cấp một môi trường local toàn diện, dễ sử dụng và mở rộng để chạy các mô hình LLM phổ biến như deepseek-coder và mistral. Với Docker, Open-WebUI, benchmark tự động và trải nghiệm phát triển tối ưu thông qua Makefile, bạn hoàn toàn chủ động kiểm soát AI trên máy mình một cách hiệu quả và an toàn.
Hãy thử ngay hôm nay để nâng cao trải nghiệm phát triển AI cục bộ của bạn. Đồng thời, đừng quên tham gia cộng đồng mở rộng dự án và chia sẻ kết quả sử dụng để cùng nhau phát triển!
Tham Khảo
- Mori, R. (2024). Mori Ollama Srv GitHub Repository. Truy cập tại https://github.com/rafa-mori/mori-ollama-srv
- Open-WebUI Project Documentation. Truy cập tại https://github.com/open-webui/open-webui
- Docker Official Documentation. Truy cập tại https://docs.docker.com
- Benchmarking AI Models: Best Practices. AI Lab Report, 2023.
1
100%
Loading...