Đến nội dung chính
Sổ ôn Backend

Tìm kiếm

Git, DevOps & ToolingMid14 phút đọc

AWS EC2, load balancer và Auto Scaling: chạy Spring Boot nhiều máy và tắt êm

Ôn 11 thẻ
Trong bài này

Cả bài trong một trang: ý chính, sơ đồ, điểm phỏng vấn.

AWS EC2, load balancer và Auto Scaling: chạy Spring Boot nhiều máy và tắt êm

1Một máy EC2 gồm những gì

EC2 là máy ảo thuê theo giây. Bạn chọn khuôn đĩa (AMI), cấu hình (instance type) và ổ đĩa.

Mảnh ghép Là gì Ví dụ
AMI Khuôn đĩa có sẵn OS, phần mềm Amazon Linux + JRE 21
Instance type CPU, RAM, mạng m7g.large
EBS Ổ đĩa mạng, giữ dữ liệu Ổ gốc gp3
User data Script chạy lúc khởi động lần đầu Cài agent, chạy app

2Load balancer và target group

Load balancer nhận request rồi chuyển cho target group. Máy nào trượt health check thì không nhận request nữa.

flowchart TD
  C["Client"] --> L["ALB: HTTPS 443"]
  L --> T["Target group: port 8080"]
  T -->|"khoẻ"| A["EC2 a"]
  T -->|"khoẻ"| B["EC2 b"]
  T -.->|"trượt health check"| X["EC2 c: bỏ qua"]

3ALB hay NLB

Web và REST API dùng ALB. NLB dành cho giao thức không phải HTTP, cần IP tĩnh hoặc lưu lượng cực lớn.

ALB NLB
Tầng 7: HTTP, HTTPS, gRPC 4: TCP, UDP, TLS
Định tuyến Theo host, path, header Theo port
Địa chỉ Tên DNS, IP thay đổi IP tĩnh mỗi AZ

4Auto Scaling group

ASG giữ số máy trong khoảng min–max, tạo máy từ launch template và thay máy hỏng.

  • desired: số máy ASG đang cố giữ
  • Target tracking: "giữ CPU trung bình 50%"
  • Scheduled: thêm máy trước giờ cao điểm đã biết
  • Trải máy đều trên các AZ

5Tắt êm khi máy bị rút

Load balancer ngừng gửi request mới và chờ request đang chạy (deregistration delay); app nhận SIGTERM thì làm nốt rồi mới thoát.

server:
  shutdown: graceful
spring:
  lifecycle:
    timeout-per-shutdown-phase: 30s

💡 Ghi nhớ

  • Máy trong ASG dùng xong bỏ: không lưu dữ liệu trên máy.

  • ALB cho HTTP, NLB cho TCP/UDP và IP tĩnh.

  • Health check trỏ vào readiness, không gọi database sâu.

  • Deregistration delay dài hơn request chậm nhất.

⭐ Điểm phỏng vấn

Tự trả lời trước, rồi bấm từng câu để xem đáp án.

  • ALB khác NLB?

    Tầng 7 theo HTTP, khác tầng 4 theo TCP.

  • Min, desired, max là gì?

    Sàn, số đang giữ, trần số máy.

  • Vì sao scale-in làm rớt request?

    Thiếu draining hoặc graceful shutdown.

⚠️ Lỗi thường gặp

  • Lưu file upload hoặc session trên đĩa của máy trong ASG.

  • ASG chỉ dùng health check EC2: app treo vẫn được giữ.

  • Deregistration delay ngắn hơn request dài nhất.

Một máy chạy Spring Boot thì dễ; phỏng vấn hỏi phần còn lại: nhiều máy sau load balancer, tự thêm bớt theo tải, không rớt request khi một máy bị thay. Bài này đi qua EC2, load balancer, Auto Scaling group và graceful shutdown. Phần mạng ở bài VPC.

Sơ đồ tóm tắt:

flowchart LR
  U["Người dùng"] --> ALB["ALB"]
  ALB --> TG["Target group + health check"]
  TG --> A["EC2 (AZ a)"]
  TG --> B["EC2 (AZ b)"]
  ASG["Auto Scaling group"] -.->|"tạo, thay, xoá máy"| A
  ASG -.-> B
  LT["Launch template: AMI, type, user data"] --> ASG
  CW["CloudWatch: CPU, số request"] -->|"scaling policy"| ASG

1. EC2: instance type, AMI và cách mua

Ý chính: EC2 (Elastic Compute Cloud) là máy ảo thuê theo giây. AMI là khuôn tạo máy, instance type là cấu hình phần cứng, cách mua quyết định giá và mức cam kết.

  • AMI (Amazon Machine Image): ảnh đĩa có OS và phần mềm cài sẵn, thuộc về một region. Cài sẵn JRE vào AMI thì máy mới khởi động nhanh hơn cài lúc boot.
  • Instance type: m7g.large là họ m (đa dụng), thế hệ 7, g (chip ARM Graviton), cỡ large. Họ t là burstable (CPU tích điểm, hợp tải thấp), c nhiều CPU, r nhiều RAM.
Cách mua Trả tiền thế nào Hợp với
On-Demand Theo giây, không cam kết Tải chưa đoán được
Savings Plans / Reserved Cam kết 1 hoặc 3 năm để được giảm giá Tải nền ổn định
Spot Dung lượng thừa, rẻ nhất, bị thu hồi sau cảnh báo 2 phút Batch, worker chịu được gián đoạn

2. Ổ đĩa và khởi động: EBS, instance store, user data

Ý chính: EBS là ổ đĩa mạng sống độc lập với máy; instance store là ổ vật lý nhanh nhưng tạm. User data là script chạy khi máy khởi động lần đầu.

EBS Instance store
Bản chất Ổ đĩa mạng trong một AZ Ổ gắn trên máy chủ vật lý
Stop rồi start Còn dữ liệu Mất
Dùng cho Ổ gốc, dữ liệu cần giữ Cache, file tạm

User data chạy bằng quyền root ở lần boot đầu: cài gói, kéo jar, khởi động service. Quyền gọi AWS đến từ IAM role gắn vào máy, không đặt access key trong script.

3. Load balancer: ALB, NLB, target group và health check

Ý chính: load balancer là một địa chỉ đứng trước nhiều máy. ALB hiểu HTTP và định tuyến theo nội dung; NLB chỉ chuyển kết nối TCP/UDP. Cả hai gửi tới target group và bỏ qua máy trượt health check.

  • Listener: port load balancer nghe (HTTPS 443) và luật chuyển tới target group nào.
  • Target group: danh sách đích (EC2, IP của container) cùng port và health check.
  • Health check: gọi định kỳ một đường dẫn (ALB mặc định 30 giây một lần; trượt 2 lần là unhealthy, đạt 5 lần mới healthy lại).

ALB kết thúc TLS và thêm header X-Forwarded-For, X-Forwarded-Proto; đặt server.forward-headers-strategy=native để Spring Boot thấy đúng IP và scheme của client. Tầng 4, tầng 7: xem bài reverse proxy.

Với Spring Boot, bật probe của Actuator và trỏ health check vào readiness:

management:
  endpoint:
    health:
      probes:
        enabled: true   # /actuator/health/readiness

Endpoint này không nên phụ thuộc database: database chậm một nhịp là mọi máy cùng trượt.

4. Auto Scaling group: launch template, min/desired/max, scaling policy

Ý chính: Auto Scaling group (ASG) giữ số máy bằng desired, trong khoảng min–max. Nó tạo máy từ launch template, thay máy hỏng, và đổi desired theo scaling policy.

  • Launch template: công thức tạo máy (AMI, instance type, security group, IAM role, user data), có version.
  • min / desired / max: sàn (ít nhất 2, ở 2 AZ), số đang giữ, trần để chặn chi phí.
  • Health check grace period: thời gian chờ máy mới khởi động trước khi tính health check.
Scaling policy Cách hoạt động
Target tracking Giữ một chỉ số quanh đích, ví dụ CPU trung bình 50%
Scheduled Đổi min/desired theo lịch, cho giờ cao điểm biết trước

Đổi AMI hay version app: tạo version launch template mới rồi chạy instance refresh, ASG thay máy từng đợt như rolling update ở bài chiến lược deploy.

5. Tắt êm: connection draining và graceful shutdown

Ý chính: khi rút một máy, load balancer ngừng gửi request mới và chờ request đang chạy trong deregistration delay (mặc định 300 giây). App vẫn cần graceful shutdown cho lúc process bị dừng mà không qua bước chờ này, ví dụ restart khi deploy tại chỗ.

sequenceDiagram
  participant ASG as Auto Scaling group
  participant LB as ALB
  participant App as Spring Boot
  ASG->>LB: Huỷ đăng ký máy
  LB-->>App: Không gửi request mới
  Note over LB,App: Chờ request đang chạy (deregistration delay)
  ASG->>App: Terminate, OS gửi SIGTERM
  App-->>App: Graceful shutdown, làm nốt request
  App-->>ASG: Process thoát
server:
  shutdown: graceful            # mặc định từ Spring Boot 3.4
spring:
  lifecycle:
    timeout-per-shutdown-phase: 30s

Request chậm nhất phải ngắn hơn cả deregistration delay lẫn timeout-per-shutdown-phase. App phải nhận được SIGTERM: chạy bằng systemd, hoặc ENTRYPOINT dạng exec trong container (Docker).

Bài tập

Đề. Service orders (Spring Boot, khởi động 40 giây, request chậm nhất 20 giây) chạy sau ALB trong một ASG. Mỗi lần scale-in có vài request lỗi, và có lần 3 máy treo mà ASG không thay. Viết cấu hình ASG, target group và app để sửa cả hai.

Lời giải: cấu hình ASG, target group và Spring Boot

Target group (lệnh AWS CLI, chưa chạy trên tài khoản thật):

aws elbv2 modify-target-group \
  --target-group-arn "$TG_ARN" \
  --health-check-path /actuator/health/readiness \
  --health-check-interval-seconds 10 \
  --healthy-threshold-count 2 \
  --unhealthy-threshold-count 3

aws elbv2 modify-target-group-attributes \
  --target-group-arn "$TG_ARN" \
  --attributes Key=deregistration_delay.timeout_seconds,Value=45

Auto Scaling group:

aws autoscaling update-auto-scaling-group \
  --auto-scaling-group-name orders-asg \
  --min-size 2 --max-size 8 \
  --health-check-type ELB \
  --health-check-grace-period 90

aws autoscaling put-scaling-policy \
  --auto-scaling-group-name orders-asg \
  --policy-name cpu-50 \
  --policy-type TargetTrackingScaling \
  --target-tracking-configuration '{
    "PredefinedMetricSpecification":
      {"PredefinedMetricType": "ASGAverageCPUUtilization"},
    "TargetValue": 50.0 }'

Spring Boot:

server:
  shutdown: graceful
  tomcat:
    keep-alive-timeout: 75s
spring:
  lifecycle:
    timeout-per-shutdown-phase: 30s
management:
  endpoint:
    health:
      probes:
        enabled: true

Vì sao chọn các con số này:

  • Request lỗi khi scale-in: deregistration delay 45 giây > request chậm nhất 20 giây, nên ALB chờ đủ; nếu process bị dừng mà không qua draining, app vẫn có 30 giây để làm nốt sau SIGTERM. 300 giây mặc định cũng đúng nhưng làm scale-in và deploy chậm.
  • Máy treo không được thay: --health-check-type ELB để ASG thay máy trượt health check của target group.
  • Grace period 90 giây > thời gian khởi động 40 giây, để máy mới không bị giết khi chưa kịp sẵn sàng.
  • Health check 10 giây × 3 lần: phát hiện máy hỏng trong khoảng 30 giây; trỏ vào readiness để máy đang tắt hoặc chưa sẵn sàng không nhận request.
  • Keep-alive 75 giây > idle timeout 60 giây của ALB.
  • min 2: luôn có máy ở 2 AZ.

Ghi nhớ

  • Giải thích được AMI, instance type và ba cách mua.
  • Biết dữ liệu nào mất khi stop máy, vì sao service trong ASG phải stateless.
  • Chọn được ALB hay NLB, nói được target group và health check làm gì.
  • Giải thích được min/desired/max, target tracking, instance refresh.
  • Kể được trình tự rút máy không rớt request: draining, SIGTERM, graceful shutdown.

Câu hỏi phỏng vấn

Junior

ALB và NLB khác nhau thế nào?

ALB hoạt động ở tầng 7, hiểu HTTP và định tuyến theo host, path; NLB ở tầng 4, chuyển kết nối TCP/UDP và có IP tĩnh.

ALB kết thúc TLS, hợp REST API, gRPC, WebSocket. NLB giữ IP nguồn của client, chịu lưu lượng rất lớn, hợp giao thức không phải HTTP hoặc khi đối tác cần whitelist IP cố định.

EBS và instance store khác nhau thế nào?

EBS là ổ đĩa mạng tồn tại độc lập với máy, stop rồi start vẫn còn dữ liệu; instance store nằm trên máy chủ vật lý, mất dữ liệu khi stop hoặc terminate.

EBS có snapshot để sao lưu và gắn sang máy khác trong cùng AZ được. Instance store rất nhanh nên hợp cache, file tạm, dữ liệu dựng lại được.

Mid

Min, desired và max của Auto Scaling group nghĩa là gì?

Min là số máy tối thiểu luôn phải có, max là trần, desired là số máy ASG đang cố giữ ở thời điểm hiện tại.

Scaling policy thay đổi desired trong khoảng min–max. Máy chết thì ASG tạo máy mới để về lại desired. Min nên từ 2 trở lên, trải trên 2 AZ; max để chặn chi phí khi tải tăng bất thường hoặc khi có lỗi làm scale liên tục.

Health check của load balancer hoạt động thế nào và nên trỏ vào đâu?

Load balancer gọi định kỳ một đường dẫn trên từng máy; trượt đủ số lần thì ngừng gửi request, đạt lại đủ số lần thì gửi tiếp.

Với Spring Boot, trỏ vào /actuator/health/readiness. Endpoint nên nhẹ và chỉ nói “máy này nhận request được không”. Nếu nó kiểm cả database, một sự cố database làm mọi máy cùng unhealthy và hệ thống sập hoàn toàn thay vì chỉ lỗi một phần.

Vì sao service chạy sau Auto Scaling group phải stateless?

Vì máy được tạo và xoá tự động: thứ gì chỉ nằm trên một máy sẽ mất, và request kế tiếp của cùng user có thể tới máy khác.

Session để ở Redis hoặc dùng token, file để ở S3, log đẩy ra ngoài. Khi đó máy nào cũng thay được cho máy nào, và scale-out chỉ là thêm máy.

Senior

Mỗi lần scale-in hoặc deploy có vài request lỗi 502/504. Bạn điều tra thế nào?

Thường là request bị cắt giữa chừng: máy bị tắt khi còn request, hoặc kết nối keep-alive bị đóng lệch nhịp.

  • Deregistration delay có dài hơn request chậm nhất không.
  • App có nhận SIGTERM và bật graceful shutdown không (systemd, hoặc ENTRYPOINT dạng exec trong container).
  • timeout-per-shutdown-phase có đủ dài không.
  • 502 lác đác cả lúc bình thường: keep-alive của app ngắn hơn idle timeout của ALB.
  • Máy mới nhận request quá sớm: health check trỏ vào readiness, grace period đủ dài.
Tải tăng gấp 5 trong hai phút nhưng Auto Scaling không kịp. Bạn làm gì?

Auto scaling phản ứng chậm hơn thời gian tạo máy cộng thời gian khởi động app, nên phải rút ngắn thời gian đó và chuẩn bị dư trước.

  • Rút thời gian khởi động: cài sẵn mọi thứ vào AMI thay vì cài bằng user data; giảm thời gian start của JVM.
  • Scale sớm hơn: hạ đích target tracking (ví dụ 40% thay vì 70%) để luôn có dư.
  • Tải biết trước: scheduled scaling; ASG còn có warm pool giữ máy đã khởi tạo sẵn.
  • Bảo vệ phần còn lại: rate limit, hàng đợi, để quá tải không kéo sập cả hệ thống.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
target group /ˈtɑːr.ɡɪt ɡruːp/ nhóm đích “The ALB only forwards to healthy targets.”
health check /helθ tʃek/ kiểm tra sức khoẻ “The health check points at the readiness endpoint.”
scale out / scale in /skeɪl aʊt/ thêm / bớt máy “We scale out on CPU and scale in slowly.”
launch template /lɔːntʃ ˈtem.plət/ công thức tạo máy “A new AMI means a new launch template version.”
connection draining /kəˈnek.ʃən ˈdreɪ.nɪŋ/ chờ kết nối đang chạy “Connection draining lets in-flight requests finish.”
deregistration delay /diːˌredʒ.ɪˈstreɪ.ʃən dɪˈleɪ/ thời gian chờ khi huỷ đăng ký “The deregistration delay exceeds our slowest request.”
stateless /ˈsteɪt.ləs/ không giữ trạng thái “Instances are stateless, so any can be replaced.”
burstable /ˈbɝːs.tə.bəl/ CPU dùng theo điểm tích luỹ “Burstable instances suit low, spiky load.”

Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.