Cả bài trong một trang: ý chính, sơ đồ, điểm phỏng vấn.
AWS EC2, load balancer và Auto Scaling: chạy Spring Boot nhiều máy và tắt êm
1Một máy EC2 gồm những gì
EC2 là máy ảo thuê theo giây. Bạn chọn khuôn đĩa (AMI), cấu hình (instance type) và ổ đĩa.
Mảnh ghép
Là gì
Ví dụ
AMI
Khuôn đĩa có sẵn OS, phần mềm
Amazon Linux + JRE 21
Instance type
CPU, RAM, mạng
m7g.large
EBS
Ổ đĩa mạng, giữ dữ liệu
Ổ gốc gp3
User data
Script chạy lúc khởi động lần đầu
Cài agent, chạy app
2Load balancer và target group
Load balancer nhận request rồi chuyển cho target group. Máy nào trượt health check thì không nhận request nữa.
flowchart TD
C["Client"] --> L["ALB: HTTPS 443"]
L --> T["Target group: port 8080"]
T -->|"khoẻ"| A["EC2 a"]
T -->|"khoẻ"| B["EC2 b"]
T -.->|"trượt health check"| X["EC2 c: bỏ qua"]
3ALB hay NLB
Web và REST API dùng ALB. NLB dành cho giao thức không phải HTTP, cần IP tĩnh hoặc lưu lượng cực lớn.
ALB
NLB
Tầng
7: HTTP, HTTPS, gRPC
4: TCP, UDP, TLS
Định tuyến
Theo host, path, header
Theo port
Địa chỉ
Tên DNS, IP thay đổi
IP tĩnh mỗi AZ
4Auto Scaling group
ASG giữ số máy trong khoảng min–max, tạo máy từ launch template và thay máy hỏng.
desired: số máy ASG đang cố giữ
Target tracking: "giữ CPU trung bình 50%"
Scheduled: thêm máy trước giờ cao điểm đã biết
Trải máy đều trên các AZ
5Tắt êm khi máy bị rút
Load balancer ngừng gửi request mới và chờ request đang chạy (deregistration delay); app nhận SIGTERM thì làm nốt rồi mới thoát.
Máy trong ASG dùng xong bỏ: không lưu dữ liệu trên máy.
ALB cho HTTP, NLB cho TCP/UDP và IP tĩnh.
Health check trỏ vào readiness, không gọi database sâu.
Deregistration delay dài hơn request chậm nhất.
⭐ Điểm phỏng vấn
Tự trả lời trước, rồi bấm từng câu để xem đáp án.
ALB khác NLB?
Tầng 7 theo HTTP, khác tầng 4 theo TCP.
Min, desired, max là gì?
Sàn, số đang giữ, trần số máy.
Vì sao scale-in làm rớt request?
Thiếu draining hoặc graceful shutdown.
Xong phần tự kiểm tra, bài này đã được đánh dấu đã học ✓
⚠️ Lỗi thường gặp
Lưu file upload hoặc session trên đĩa của máy trong ASG.
ASG chỉ dùng health check EC2: app treo vẫn được giữ.
Deregistration delay ngắn hơn request dài nhất.
Một máy chạy Spring Boot thì dễ; phỏng vấn hỏi phần còn lại: nhiều máy sau load balancer, tự thêm bớt theo tải, không rớt request khi một máy bị thay. Bài này đi qua EC2, load balancer, Auto Scaling group và graceful shutdown. Phần mạng ở bài VPC.
Sơ đồ tóm tắt:
flowchart LR
U["Người dùng"] --> ALB["ALB"]
ALB --> TG["Target group + health check"]
TG --> A["EC2 (AZ a)"]
TG --> B["EC2 (AZ b)"]
ASG["Auto Scaling group"] -.->|"tạo, thay, xoá máy"| A
ASG -.-> B
LT["Launch template: AMI, type, user data"] --> ASG
CW["CloudWatch: CPU, số request"] -->|"scaling policy"| ASG
1. EC2: instance type, AMI và cách mua
Ý chính: EC2 (Elastic Compute Cloud) là máy ảo thuê theo giây. AMI là khuôn tạo máy, instance type là cấu hình phần cứng, cách mua quyết định giá và mức cam kết.
AMI (Amazon Machine Image): ảnh đĩa có OS và phần mềm cài sẵn, thuộc về một region. Cài sẵn JRE vào AMI thì máy mới khởi động nhanh hơn cài lúc boot.
Instance type: m7g.large là họ m (đa dụng), thế hệ 7, g (chip ARM Graviton), cỡ large. Họ t là burstable (CPU tích điểm, hợp tải thấp), c nhiều CPU, r nhiều RAM.
Cách mua
Trả tiền thế nào
Hợp với
On-Demand
Theo giây, không cam kết
Tải chưa đoán được
Savings Plans / Reserved
Cam kết 1 hoặc 3 năm để được giảm giá
Tải nền ổn định
Spot
Dung lượng thừa, rẻ nhất, bị thu hồi sau cảnh báo 2 phút
Batch, worker chịu được gián đoạn
2. Ổ đĩa và khởi động: EBS, instance store, user data
Ý chính: EBS là ổ đĩa mạng sống độc lập với máy; instance store là ổ vật lý nhanh nhưng tạm. User data là script chạy khi máy khởi động lần đầu.
EBS
Instance store
Bản chất
Ổ đĩa mạng trong một AZ
Ổ gắn trên máy chủ vật lý
Stop rồi start
Còn dữ liệu
Mất
Dùng cho
Ổ gốc, dữ liệu cần giữ
Cache, file tạm
User data chạy bằng quyền root ở lần boot đầu: cài gói, kéo jar, khởi động service. Quyền gọi AWS đến từ IAM role gắn vào máy, không đặt access key trong script.
3. Load balancer: ALB, NLB, target group và health check
Ý chính: load balancer là một địa chỉ đứng trước nhiều máy. ALB hiểu HTTP và định tuyến theo nội dung; NLB chỉ chuyển kết nối TCP/UDP. Cả hai gửi tới target group và bỏ qua máy trượt health check.
Listener: port load balancer nghe (HTTPS 443) và luật chuyển tới target group nào.
Target group: danh sách đích (EC2, IP của container) cùng port và health check.
Health check: gọi định kỳ một đường dẫn (ALB mặc định 30 giây một lần; trượt 2 lần là unhealthy, đạt 5 lần mới healthy lại).
ALB kết thúc TLS và thêm header X-Forwarded-For, X-Forwarded-Proto; đặt server.forward-headers-strategy=native để Spring Boot thấy đúng IP và scheme của client. Tầng 4, tầng 7: xem bài reverse proxy.
Với Spring Boot, bật probe của Actuator và trỏ health check vào readiness:
Endpoint này không nên phụ thuộc database: database chậm một nhịp là mọi máy cùng trượt.
4. Auto Scaling group: launch template, min/desired/max, scaling policy
Ý chính: Auto Scaling group (ASG) giữ số máy bằng desired, trong khoảng min–max. Nó tạo máy từ launch template, thay máy hỏng, và đổi desired theo scaling policy.
Launch template: công thức tạo máy (AMI, instance type, security group, IAM role, user data), có version.
min / desired / max: sàn (ít nhất 2, ở 2 AZ), số đang giữ, trần để chặn chi phí.
Health check grace period: thời gian chờ máy mới khởi động trước khi tính health check.
Scaling policy
Cách hoạt động
Target tracking
Giữ một chỉ số quanh đích, ví dụ CPU trung bình 50%
Scheduled
Đổi min/desired theo lịch, cho giờ cao điểm biết trước
Đổi AMI hay version app: tạo version launch template mới rồi chạy instance refresh, ASG thay máy từng đợt như rolling update ở bài chiến lược deploy.
5. Tắt êm: connection draining và graceful shutdown
Ý chính: khi rút một máy, load balancer ngừng gửi request mới và chờ request đang chạy trong deregistration delay (mặc định 300 giây). App vẫn cần graceful shutdown cho lúc process bị dừng mà không qua bước chờ này, ví dụ restart khi deploy tại chỗ.
sequenceDiagram
participant ASG as Auto Scaling group
participant LB as ALB
participant App as Spring Boot
ASG->>LB: Huỷ đăng ký máy
LB-->>App: Không gửi request mới
Note over LB,App: Chờ request đang chạy (deregistration delay)
ASG->>App: Terminate, OS gửi SIGTERM
App-->>App: Graceful shutdown, làm nốt request
App-->>ASG: Process thoát
server: shutdown: graceful # mặc định từ Spring Boot 3.4spring: lifecycle: timeout-per-shutdown-phase: 30s
Request chậm nhất phải ngắn hơn cả deregistration delay lẫn timeout-per-shutdown-phase. App phải nhận được SIGTERM: chạy bằng systemd, hoặc ENTRYPOINT dạng exec trong container (Docker).
Bài tập
Đề. Service orders (Spring Boot, khởi động 40 giây, request chậm nhất 20 giây) chạy sau ALB trong một ASG. Mỗi lần scale-in có vài request lỗi, và có lần 3 máy treo mà ASG không thay. Viết cấu hình ASG, target group và app để sửa cả hai.
Lời giải: cấu hình ASG, target group và Spring Boot
Target group (lệnh AWS CLI, chưa chạy trên tài khoản thật):
Request lỗi khi scale-in: deregistration delay 45 giây > request chậm nhất 20 giây, nên ALB chờ đủ; nếu process bị dừng mà không qua draining, app vẫn có 30 giây để làm nốt sau SIGTERM. 300 giây mặc định cũng đúng nhưng làm scale-in và deploy chậm.
Máy treo không được thay: --health-check-type ELB để ASG thay máy trượt health check của target group.
Grace period 90 giây > thời gian khởi động 40 giây, để máy mới không bị giết khi chưa kịp sẵn sàng.
Health check 10 giây × 3 lần: phát hiện máy hỏng trong khoảng 30 giây; trỏ vào readiness để máy đang tắt hoặc chưa sẵn sàng không nhận request.
Keep-alive 75 giây > idle timeout 60 giây của ALB.
min 2: luôn có máy ở 2 AZ.
Ghi nhớ
Giải thích được AMI, instance type và ba cách mua.
Biết dữ liệu nào mất khi stop máy, vì sao service trong ASG phải stateless.
Chọn được ALB hay NLB, nói được target group và health check làm gì.
Giải thích được min/desired/max, target tracking, instance refresh.
Kể được trình tự rút máy không rớt request: draining, SIGTERM, graceful shutdown.
Câu hỏi phỏng vấn
Junior
ALB và NLB khác nhau thế nào?
ALB hoạt động ở tầng 7, hiểu HTTP và định tuyến theo host, path; NLB ở tầng 4, chuyển kết nối TCP/UDP và có IP tĩnh.
ALB kết thúc TLS, hợp REST API, gRPC, WebSocket. NLB giữ IP nguồn của client, chịu lưu lượng rất lớn, hợp giao thức không phải HTTP hoặc khi đối tác cần whitelist IP cố định.
EBS và instance store khác nhau thế nào?
EBS là ổ đĩa mạng tồn tại độc lập với máy, stop rồi start vẫn còn dữ liệu; instance store nằm trên máy chủ vật lý, mất dữ liệu khi stop hoặc terminate.
EBS có snapshot để sao lưu và gắn sang máy khác trong cùng AZ được. Instance store rất nhanh nên hợp cache, file tạm, dữ liệu dựng lại được.
Mid
Min, desired và max của Auto Scaling group nghĩa là gì?
Min là số máy tối thiểu luôn phải có, max là trần, desired là số máy ASG đang cố giữ ở thời điểm hiện tại.
Scaling policy thay đổi desired trong khoảng min–max. Máy chết thì ASG tạo máy mới để về lại desired. Min nên từ 2 trở lên, trải trên 2 AZ; max để chặn chi phí khi tải tăng bất thường hoặc khi có lỗi làm scale liên tục.
Health check của load balancer hoạt động thế nào và nên trỏ vào đâu?
Load balancer gọi định kỳ một đường dẫn trên từng máy; trượt đủ số lần thì ngừng gửi request, đạt lại đủ số lần thì gửi tiếp.
Với Spring Boot, trỏ vào /actuator/health/readiness. Endpoint nên nhẹ và chỉ nói “máy này nhận request được không”. Nếu nó kiểm cả database, một sự cố database làm mọi máy cùng unhealthy và hệ thống sập hoàn toàn thay vì chỉ lỗi một phần.
Vì sao service chạy sau Auto Scaling group phải stateless?
Vì máy được tạo và xoá tự động: thứ gì chỉ nằm trên một máy sẽ mất, và request kế tiếp của cùng user có thể tới máy khác.
Session để ở Redis hoặc dùng token, file để ở S3, log đẩy ra ngoài. Khi đó máy nào cũng thay được cho máy nào, và scale-out chỉ là thêm máy.
Senior
Mỗi lần scale-in hoặc deploy có vài request lỗi 502/504. Bạn điều tra thế nào?
Thường là request bị cắt giữa chừng: máy bị tắt khi còn request, hoặc kết nối keep-alive bị đóng lệch nhịp.
Deregistration delay có dài hơn request chậm nhất không.
App có nhận SIGTERM và bật graceful shutdown không (systemd, hoặc ENTRYPOINT dạng exec trong container).
timeout-per-shutdown-phase có đủ dài không.
502 lác đác cả lúc bình thường: keep-alive của app ngắn hơn idle timeout của ALB.
Máy mới nhận request quá sớm: health check trỏ vào readiness, grace period đủ dài.
Tải tăng gấp 5 trong hai phút nhưng Auto Scaling không kịp. Bạn làm gì?
Auto scaling phản ứng chậm hơn thời gian tạo máy cộng thời gian khởi động app, nên phải rút ngắn thời gian đó và chuẩn bị dư trước.
Rút thời gian khởi động: cài sẵn mọi thứ vào AMI thay vì cài bằng user data; giảm thời gian start của JVM.
Scale sớm hơn: hạ đích target tracking (ví dụ 40% thay vì 70%) để luôn có dư.
Tải biết trước: scheduled scaling; ASG còn có warm pool giữ máy đã khởi tạo sẵn.
Bảo vệ phần còn lại: rate limit, hàng đợi, để quá tải không kéo sập cả hệ thống.
Từ vựng tiếng Anh
Term
Phát âm
Nghĩa
Ví dụ câu tiếng Anh dùng trong phỏng vấn
target group
/ˈtɑːr.ɡɪt ɡruːp/
nhóm đích
“The ALB only forwards to healthy targets.”
health check
/helθ tʃek/
kiểm tra sức khoẻ
“The health check points at the readiness endpoint.”