AWS User Group Toronto: 'Mổ Xẻ' Serverless & Kiến Trúc Lakehouse Tại Buổi Meetup Tháng 3
Lê Lân0
Tổng Kết Meetup AWS User Group Toronto 27/03/2025: Xây Dựng Giải Pháp Cloud Hiện Đại và Kiến Trúc Dữ Liệu Lakehouse
Mở Đầu
Vào ngày March 27, 2025, cộng đồng AWS User Group tại Toronto đã quy tụ để cùng nhau khám phá các chủ đề tiên tiến trong lĩnh vực công nghệ đám mây và kiến trúc dữ liệu. Sự kiện không chỉ là nơi chia sẻ kiến thức mà còn là dịp để các chuyên gia, kỹ sư và người đam mê cùng kết nối và trao đổi kinh nghiệm.
Trong bối cảnh công nghệ đám mây ngày càng phát triển, việc nắm bắt và ứng dụng những công cụ hiện đại đóng vai trò chủ chốt giúp tối ưu hóa quy trình phát triển phần mềm và quản lý dữ liệu trên quy mô lớn. Meetup lần này xoay quanh hai chủ đề trọng tâm: thiết kế ứng dụng serverless với AWS Application Composer và Amazon Q cùng với kiến trúc Lakehouse trong quản lý dữ liệu.
Bài viết dưới đây tổng hợp chi tiết nội dung chính, bài học kinh nghiệm và cơ hội kết nối từ sự kiện, giúp bạn có cái nhìn sâu sắc và cập nhật nhất về những bước tiến trong hệ sinh thái AWS.
Phiên 1: Đơn Giản Hóa Triển Khai Cloud Với AWS Application Composer & Amazon Q
Diễn Giả: Bansi Delwadia, Technical Project Manager tại ScaleCapacity
Tổng Quan Phiên Học
Phiên học mang tính thực hành cao, hướng dẫn xây dựng một ứng dụng serverless hoàn chỉnh từ đầu đến cuối bằng công cụ AWS Application Composer kết hợp với Amazon Q Developer. Diễn giả tập trung vào việc phá bỏ rào cản giữa kiến trúc sư và lập trình viên, qua đó tối ưu hóa tốc độ phát triển và năng suất làm việc.
Demo Thực Tế: Xây Dựng Ứng Dụng Serverless Quản Lý Items
- Thiết kế kiến trúc: Sử dụng AWS Application Composer tích hợp trong VS Code, với mô hình ba hàm Lambda xử lý API REST thông qua API Gateway.
- Tự động tạo CloudFormation: Composer giúp sinh tập tin CloudFormation tự động, triển khai qua AWS SAM CLI.
Tự Động Hóa Mã Nguồn với Amazon Q Developer
Amazon Q Developer tích hợp trong nhiều IDE như VS Code, GitLab Duo, sử dụng prompt tự nhiên để:
- Sinh mã hàm xử lý cho các API:
- POST /items (tạo mới)
- GET /items/ (lấy thông tin)
- DELETE /items/ (xóa)
- Thêm chức năng logging và xử lý lỗi tự động
- Viết unit test và theo dõi best practices (idempotency, kiểm tra đầu vào...)
Sử dụng AI để giảm đáng kể mã boilerplate, giúp đội ngũ tập trung phát triển các logic nghiệp vụ quan trọng hơn.
Phiên 2: Lakehouse - Cách Mạng Lưu Trữ và Phân Tích Dữ Liệu
Diễn Giả: Anna Kaur, Solutions Architect tại AWS
Giới Thiệu Lakehouse
Lakehouse là mô hình kiến trúc khai thác ưu điểm của cả data lakes và data warehouses, tích hợp dữ liệu có cấu trúc và phi cấu trúc trong cùng một lớp lưu trữ duy nhất, đồng thời cung cấp đầy đủ các tính năng quản lý schema, giao dịch tuân thủ ACID và khả năng mở rộng cao.
Thành Phần Cốt Lõi
Thành phần | Chức năng chính |
|---|---|
Amazon S3 | Lớp lưu trữ cơ sở |
Apache Iceberg / Hudi / Delta Lake | Tối ưu bảng, schema evolution, versioning |
Amazon Athena, Redshift Spectrum, EMR | Công cụ truy vấn và xử lý dữ liệu |
AWS Glue, Lake Formation | Quản lý metadata, ETL, phân quyền truy cập |
Các Trường Hợp Sử Dụng Thực Tiễn
- Phân tích dữ liệu đa nhóm, đa khu vực cùng dựa trên tập dữ liệu chung
- Truy vấn serverless nguồn dữ liệu lớn trên S3 bằng Athena
- Redshift trực tiếp truy cập bảng Iceberg trên S3
- Triển khai pipeline ETL luồng dữ liệu real-time vào định dạng Lakehouse
Thảo Luận Và Giải Đáp
Những câu hỏi nổi bật:
- AWS Application Composer có hỗ trợ cập nhật stack hiện có không?
- Quản lý secret và biến môi trường trong nhóm như thế nào khi dùng Composer?
- Amazon Q Developer có dựa trên ngữ cảnh mã nguồn hiện tại không, hay tạo hoàn toàn mới?
- Q Developer có thể tích hợp CI/CD để tự động sinh mã không?
- Iceberg xử lý schema evolution ra sao để không làm gián đoạn công việc downstream?
- Redshift Spectrum có viết thẳng lên bảng Iceberg không?
- Lake Formation áp dụng kiểm soát truy cập từng cột dữ liệu thế nào?
Buổi thảo luận mở ra nhiều góc nhìn sâu sắc về quản trị dữ liệu và tối ưu hiệu suất truy vấn trong môi trường dữ liệu phức tạp quy mô lớn.
Cộng Đồng – Trái Tim Của Meetup
AWS User Group Toronto không chỉ là sự kiện học thuật mà còn là nơi xây dựng mối quan hệ gắn kết giữa các thành viên:
- Thành viên từ startup đến doanh nghiệp lớn, chuyên sâu về serverless, AI/ML, DevOps…
- Người mới lần đầu tiếp cận AWS.
- Nhiều cuộc trao đổi, thảo luận sôi nổi sau chương trình, thậm chí vẽ kiến trúc trên giấy nháp.
- Tiệc nhẹ, đồ uống và những giây phút thư giãn, vui vẻ bên nhau.
Tham Gia Cộng Đồng AWS User Group Toronto
Bạn đang ở Toronto và yêu thích công nghệ AWS?
- Tham khảo trang meetup chính thức: AWS User Group Toronto Meetup
- Kết nối qua LinkedIn: AWS User Group Toronto trên LinkedIn
Hãy cùng nhau học hỏi, chia sẻ và phát triển trong cộng đồng đam mê công nghệ này.
Kết Luận
Đây là một sự kiện đáng giá cho bất kỳ ai quan tâm đến phát triển ứng dụng serverless và kiến trúc dữ liệu hiện đại thông qua Lakehouse. AWS Application Composer và Amazon Q Developer đang mở ra kỷ nguyên mới cho việc thiết kế, triển khai và tự động hóa ứng dụng cloud, giúp tăng tốc độ phát triển và giảm thiểu phức tạp kỹ thuật.
Kiến trúc Lakehouse cung cấp giải pháp toàn diện cho vấn đề lưu trữ và phân tích dữ liệu đa dạng, mang lại hiệu quả kinh tế và tính linh hoạt cho các doanh nghiệp.
Hãy theo dõi và tham gia các meetup tiếp theo để không bỏ lỡ những cập nhật mới nhất và cơ hội kết nối trong cộng đồng AWS Toronto!
Tham Khảo
- AWS Application Composer Documentation - https://aws.amazon.com/application-composer/
- Amazon Q Developer Guide - https://aws.amazon.com/amazon-q/
- Lakehouse Architecture Overview - https://aws.amazon.com/lakehouse/
- Apache Iceberg Project - https://iceberg.apache.org/
- AWS Glue and Lake Formation - https://aws.amazon.com/glue/
- Redshift Spectrum - https://aws.amazon.com/redshift/spectrum/
- Meetup AWS User Group Toronto - https://www.meetup.com/aws-ug-toronto/
- LinkedIn AWS User Group Toronto - https://www.linkedin.com/company/aws-ug-toronto/
Loading...