Hai câu hỏi khác nhau: liveness "có cần restart không", readiness "có nên nhận traffic không". DB và cổng thanh toán chỉ vào readiness.
flowchart TD
A["Cổng thanh toán DOWN"] --> B["/health/liveness: 200"]
A --> C["/health/readiness: 503"]
B --> D["Pod không bị restart"]
C --> E["Gỡ khỏi load balancer"]
E --> F["Gateway hồi phục, traffic quay lại"]
4Metric với Micrometer
Micrometer giống SLF4J cho metric: code ghi vào MeterRegistry, registry xuất sang Prometheus. Mỗi tổ hợp tag là một time series riêng.
Counter: chỉ tăng, ví dụ đơn đã đặt.
Gauge: lên xuống, ví dụ độ dài hàng đợi.
Timer: số lần, tổng thời gian, phân bố latency.
Tag userId: 10.000 request thành 10.000 series.
5Cảnh báo theo số nào
Cảnh báo theo triệu chứng người dùng thấy: tỷ lệ lỗi và p99. Trung bình che phần đuôi: 2% request chậm 900 ms cho p99 905 ms, trung bình 38 ms.
Tín hiệu
Ngưỡng ví dụ
Tỷ lệ 5xx
> 1% trong 5 phút
p99 endpoint quan trọng
> 800 ms trong 10 phút
hikaricp.connections.pending
> 0 liên tục 5 phút
💡 Ghi nhớ
Expose khác enable: phải vừa bật vừa expose.
Health check phải rẻ và có timeout.
RED cho service, USE cho tài nguyên.
Đổi log level chỉ trên một instance, mất khi restart.
⭐ Điểm phỏng vấn
Tự trả lời trước, rồi bấm từng câu để xem đáp án.
Liveness khác readiness?
Liveness fail thì restart; readiness fail thì gỡ khỏi Service.
Bảo vệ Actuator thế nào?
Expose tối thiểu, cổng riêng, EndpointRequest yêu cầu role.
Vì sao không tag userId?
Mỗi giá trị một series, nổ bộ nhớ Prometheus.
Xong phần tự kiểm tra, bài này đã được đánh dấu đã học ✓
⚠️ Lỗi thường gặp
exposure.include=* trên production: heapdump lộ mật khẩu và token.
Đưa DB vào liveness: DB chậm, cả cụm pod restart dây chuyền.
Cảnh báo theo latency trung bình, không bao giờ kêu khi phần đuôi chậm.
Bài này dạy cách nhìn vào một ứng dụng Spring Boot đang chạy mà không cần SSH hay đoán qua log: nó còn sống không, có nhận được traffic không, chậm ở đâu. Đọc xong, bạn cấu hình được Actuator an toàn cho production, viết health indicator và metric của riêng mình, và nối chúng vào probe của Kubernetes. Phần tracing nằm ở bài distributed tracing với OpenTelemetry.
Sơ đồ tóm tắt:
flowchart LR
APP[Spring Boot app] --> ACT[Actuator, management port]
ACT --> H[health]
H --> LIV[liveness: restart?]
H --> RDY[readiness: nhận traffic?]
ACT --> M[metrics, Micrometer]
M --> PROM[Prometheus kéo]
PROM --> GRAF[Grafana, cảnh báo]
K8S[Kubernetes] -.-> LIV
K8S -.-> RDY
ACT --> LOG[loggers, env, threaddump]
1. Actuator mở gì khi vừa thêm starter
Ý chính: thêm spring-boot-starter-actuator là có khoảng hai chục endpoint, nhưng qua HTTP chỉ health được mở. Mọi endpoint khác vẫn tồn tại, chỉ chưa được expose.
Chạy thật Boot 4.0.5 với starter web + actuator, không cấu hình gì:
“Expose” (management.endpoints.web.exposure.include) khác “enable” (management.endpoint.<id>.access, Boot 3.4+; trước đó là .enabled): endpoint phải vừa được bật vừa được expose mới gọi qua HTTP được.
2. Expose và bảo vệ
Ý chính: liệt kê từng endpoint cần dùng, đưa Actuator sang cổng riêng chỉ mạng nội bộ thấy, và yêu cầu xác thực cho mọi endpoint ngoài health và info.
management.endpoints.web.exposure.include=health,info,metrics,prometheus,loggersmanagement.server.port=8081 # cổng riêng, không qua ingress công khaimanagement.endpoint.health.show-details=when-authorizedmanagement.endpoint.health.probes.enabled=true
Chạy thật với management.server.port=18081: gọi /actuator/health trên cổng chính trả 404, trên cổng 18081 mới có. Firewall hoặc NetworkPolicy chỉ cho Prometheus và kubelet chạm cổng này.
Bảo vệ bằng Spring Security, dùng matcher có sẵn của Boot thay vì tự viết đường dẫn:
EndpointRequest tự theo base-path và management port, nên đổi cấu hình không làm lệch luật bảo mật.
3. Health: indicator, nhóm liveness và readiness
Ý chính:/actuator/health gộp kết quả của các HealthIndicator (DB, đĩa, Redis, của bạn) thành một trạng thái. Kubernetes cần hai câu hỏi khác nhau, nên Boot chia nhóm: liveness chỉ hỏi “process có hỏng không”, readiness hỏi “có nên nhận traffic không”.
Liveness
Readiness
Câu hỏi
Có cần restart container không?
Có gửi request tới instance này không?
Kubernetes làm gì khi fail
Kill và restart pod
Gỡ pod khỏi Service, không restart
Nên chứa
Trạng thái nội bộ (livenessState)
readinessState + phụ thuộc bắt buộc để phục vụ (DB, cổng thanh toán)
Không được chứa
DB, Redis, API bên ngoài
Phụ thuộc không bắt buộc
Health indicator tự viết (Boot 4: package org.springframework.boot.health.contributor; Boot 3: org.springframework.boot.actuate.health):
@Componentpublic class PaymentGatewayHealthIndicator implements HealthIndicator { @Override public Health health() { return gateway.ping(Duration.ofMillis(300)) ? Health.up().withDetail("latencyMs", 42).build() : Health.down().withDetail("error", "connect timeout").build(); }}
Pod bị gỡ khỏi load balancer nhưng không bị restart; gateway hồi phục thì readiness tự UP và traffic quay lại.
Boot 4.0.5 có sẵn hai nhóm liveness/readiness (thấy trong output ở mục 1). Boot 3 chỉ tự bật khi phát hiện chạy trên Kubernetes, ngoài ra cần management.endpoint.health.probes.enabled=true.
Khi tắt máy êm (graceful shutdown), Boot chuyển readiness sang REFUSING_TRAFFIC trước, nên load balancer ngừng gửi request mới trong lúc request cũ chạy nốt.
Health check phải rẻ và có timeout: Kubernetes gọi mỗi vài giây trên mọi pod. Indicator gọi API ngoài nên cache kết quả vài giây.
4. Metric với Micrometer
Ý chính: Micrometer là lớp trung gian giống SLF4J cho metric: code ghi vào MeterRegistry, còn registry xuất sang Prometheus, Datadog hay OTLP. Boot tự đo sẵn HTTP, JVM, pool kết nối, executor; bạn thêm metric nghiệp vụ.
Loại meter
Đo cái gì
Ví dụ
Counter
Số lần, chỉ tăng
Đơn hàng đã đặt, lỗi thanh toán
Gauge
Giá trị hiện tại, lên xuống
Độ dài hàng đợi, số kết nối đang dùng
Timer
Số lần + tổng thời gian + phân bố
Thời gian gọi cổng thanh toán
DistributionSummary
Phân bố một giá trị không phải thời gian
Kích thước payload, số món trong giỏ
Đọc metric có sẵn và lọc theo tag (chạy thật, 3 request /orders/{id} và 1 request 404):
Prometheus: thêm micrometer-registry-prometheus, expose prometheus, Prometheus kéo /actuator/prometheus mỗi 15 giây. Tên metric đổi sang dạng Prometheus (http.server.requests thành http_server_requests_seconds_count, _sum, _bucket). Muốn tính p99 trên Prometheus, bật histogram:
Code đo cardinality và percentile (Micrometer, JDK 21)
MeterRegistry bad = new SimpleMeterRegistry();for (int i = 0; i < 10_000; i++) { long user = ThreadLocalRandom.current().nextLong(1, 5_000); Counter.builder("orders.placed").tag("userId", String.valueOf(user)) .tag("path", "/orders/" + i).register(bad).increment();}System.out.println("bad series = " + bad.getMeters().size());MeterRegistry good = new SimpleMeterRegistry();good.config().meterFilter(MeterFilter.maximumAllowableTags( "orders.placed", "channel", 10, MeterFilter.deny()));String[] channels = {"web", "mobile", "partner"};for (int i = 0; i < 10_000; i++) { Counter.builder("orders.placed").tag("channel", channels[i % 3]) .tag("outcome", i % 50 == 0 ? "rejected" : "ok").register(good).increment();}System.out.println("good series = " + good.getMeters().size());Timer t = Timer.builder("payment.call").publishPercentiles(0.5, 0.99).register(good);for (int i = 0; i < 1000; i++) t.record(Duration.ofMillis(i < 980 ? 20 : 900));
bad series = 10000good series = 6payment.call mean=38ms max=900ms p50 = 20ms p99 = 905ms
Percentile tính trong app (publishPercentiles) không cộng gộp được giữa các instance; trên nhiều pod, dùng percentiles-histogram và để Prometheus tính histogram_quantile trên bucket đã cộng.
Những metric Boot có sẵn đáng theo dõi:
Metric
Ý nghĩa
Lưu ý
http.server.requests
Số request, thời gian, theo uri/status/outcome
Tỷ lệ 5xx và p99 theo uri
jvm.memory.used / jvm.memory.max
Heap và non-heap theo vùng
Theo dõi jvm.memory.usage.after.gc để thấy rò bộ nhớ
Chỉ có khi server.tomcat.mbeanregistry.enabled=true
5. Vận hành lúc chạy: loggers, dump, info
Ý chính: Actuator cho phép đổi log level, lấy thread dump, xem condition report và phiên bản đang chạy mà không restart. Đó là lý do các endpoint này phải có xác thực.
Đổi level chỉ có hiệu lực trên một instance và mất khi restart. Nhớ trả về ({"configuredLevel":null}); DEBUG quên tắt làm đầy đĩa và tăng logback.events. Mỗi level nên ghi gì và log đi về đâu có ở logging tập trung với ELK và structured log.
threaddump khi app treo hoặc CPU cao: tìm thread BLOCKED cùng chờ một khoá, hay pool WAITING chờ kết nối DB.
info: bật build-info của plugin Maven/Gradle và git-commit-id để biết chính xác bản nào đang chạy; management.info.env.enabled=true để lấy info.* trong cấu hình (Boot 2.6+ tắt mặc định).
conditions trả condition report qua HTTP, giống --debug ở bài auto-configuration.
6. Cảnh báo theo số nào
Ý chính: cảnh báo theo triệu chứng người dùng cảm nhận (tỷ lệ lỗi, latency phần đuôi), còn metric tài nguyên (CPU, heap, pool) dùng để chẩn đoán. Trung bình che mất phần đuôi.
Tín hiệu
Ví dụ ngưỡng cảnh báo
Tỷ lệ 5xx
> 1% trong 5 phút
p99 latency theo endpoint quan trọng
> 800 ms trong 10 phút
Readiness DOWN
Pod không sẵn sàng > 2 phút
Pool DB
hikaricp.connections.pending > 0 liên tục 5 phút
GC
jvm.gc.pause p99 > 500 ms
Cách nhớ: RED cho service (Rate, Errors, Duration), USE cho tài nguyên (Utilization, Saturation, Errors). Số liệu ở mục 4: 2% request chậm 900 ms nâng p99 lên 905 ms nhưng trung bình chỉ 38 ms; cảnh báo theo trung bình sẽ không bao giờ kêu.
Bài tập
Bài 1: Cấu hình probe cho service đặt hàng
Service đặt hàng chạy 6 pod trên Kubernetes, phụ thuộc MySQL (bắt buộc), Redis cache (không bắt buộc, lỗi thì đọc thẳng DB) và cổng thanh toán (bắt buộc cho /checkout, không cần cho xem đơn). Viết cấu hình Actuator và probe: endpoint nào expose, nhóm liveness/readiness gồm gì, và giải thích vì sao.
Liveness chỉ có livenessState: restart không chữa được MySQL hay cổng thanh toán, chỉ làm sự cố tệ hơn.
Readiness có db: không có MySQL thì pod không phục vụ được gì, nên gỡ khỏi load balancer là đúng.
Redis tắt khỏi health: nó không bắt buộc; để nó trong nhóm tổng sẽ làm /actuator/health báo DOWN dù app vẫn chạy được.
Cổng thanh toán không vào readiness: nếu vào, cổng lỗi là cả 6 pod bị gỡ, và người dùng mất luôn chức năng xem đơn. Xử lý bằng circuit breaker cho /checkout (timeout, retry và circuit breaker), cộng một indicator riêng chỉ để hiển thị và cảnh báo (không thuộc nhóm nào).
startupProbe tránh việc liveness kill pod khởi động chậm (migration, warm cache).
Đã kiểm trên Boot 4.0.5 cơ chế cốt lõi: indicator DOWN nằm trong nhóm readiness làm /health/readiness trả 503 trong khi /health/liveness vẫn 200.
Bài 2: Review metric
Đồng nghiệp thêm đoạn sau vào controller thanh toán. Chỉ ra vấn đề và viết lại.
user, url thô và ex.getMessage() là tag có giá trị không giới hạn: mỗi user, mỗi id trong URL, mỗi message (thường chứa id) là một series mới. Đo ở mục 4: 10.000 request thành 10.000 series.
Tên payment mơ hồ, không có đơn vị và không nói đo cái gì.
gauge("payment.amount", amount) sai loại meter: gauge giữ giá trị hiện tại của một object (và giữ weak reference, nên với Double boxed dễ trả NaN), không phải “số tiền của mỗi lần”. Phân bố số tiền là DistributionSummary.
Viết lại:
Timer.builder("payment.requests") .description("Calls to the payment gateway") .tag("method", gatewayMethod) // charge, refund: vài giá trị .tag("outcome", ex == null ? "success" : "failure") .tag("error", ex == null ? "none" : ex.getClass().getSimpleName()) // tập hữu hạn .publishPercentileHistogram() .register(registry) .record(elapsed);DistributionSummary.builder("payment.amount") .baseUnit("vnd") .tag("method", gatewayMethod) .register(registry) .record(amount);
userId và message lỗi đầy đủ đi vào log có traceId để tra ngược khi cần.
Ghi nhớ
Kể được Boot mặc định expose gì qua HTTP và vì sao không dùng include=*.
Phân biệt được liveness và readiness, và biết phụ thuộc nào vào nhóm nào.
Chọn được đúng loại meter (counter, gauge, timer, summary) cho một nhu cầu đo.
Giải thích được cardinality của tag và vì sao userId không được làm tag.
Biết vì sao cảnh báo theo p99 và tỷ lệ lỗi thay vì trung bình.
Câu hỏi phỏng vấn
Junior
Spring Boot Actuator là gì, có những endpoint nào hay dùng?
Actuator là module thêm các endpoint vận hành cho app Spring Boot: health (còn sống/sẵn sàng không), info (bản nào đang chạy), metrics/prometheus (số đo), loggers (đổi log level), env, threaddump, heapdump, conditions.
Thêm spring-boot-starter-actuator; qua HTTP mặc định chỉ health được expose. Mở thêm bằng management.endpoints.web.exposure.include, và bảo vệ các endpoint nhạy cảm bằng xác thực và cổng riêng.
Liveness và readiness probe khác nhau thế nào?
Liveness hỏi “process có hỏng tới mức cần restart không”; fail thì Kubernetes restart pod. Readiness hỏi “có nên gửi traffic tới pod này không”; fail thì pod bị gỡ khỏi Service nhưng không bị restart.
Boot có sẵn /actuator/health/liveness và /actuator/health/readiness. Phụ thuộc bên ngoài (DB) chỉ vào readiness. Lúc graceful shutdown, Boot chuyển readiness sang từ chối traffic trước.
Mid
Bạn bảo vệ Actuator trên production thế nào?
Chỉ expose endpoint cần (health,info,prometheus và vài cái cho ops), đặt Actuator ở management.server.port riêng chỉ mạng nội bộ thấy, và một SecurityFilterChain riêng dùng EndpointRequest yêu cầu role cho mọi thứ ngoài health/info.
heapdump, env, threaddump, loggers coi như quyền admin: heap dump chứa bí mật ở dạng rõ.
show-details=when-authorized để người ngoài chỉ thấy UP/DOWN.
Có test tự động kiểm endpoint nhạy cảm không gọi được từ cổng công khai.
Viết một health indicator cho cổng thanh toán. Cần lưu ý gì?
Implement HealthIndicator, trả Health.up()/down() kèm detail; giữ nó rẻ (timeout ngắn, cache vài giây) và chọn đúng nhóm: thường không đưa vào liveness, chỉ đưa vào readiness nếu không có nó thì pod vô dụng.
Tên component là tên bean bỏ đuôi HealthIndicator. Indicator DOWN làm /actuator/health trả 503; nếu nằm trong nhóm readiness thì cả pod bị gỡ khỏi load balancer. Với phụ thuộc chỉ dùng cho một phần chức năng, dùng circuit breaker thay vì readiness.
Counter, Gauge, Timer khác nhau thế nào? Cho ví dụ dùng sai.
Counter chỉ tăng (số lần), Gauge đọc giá trị hiện tại lên xuống (độ dài hàng đợi), Timer ghi số lần cộng thời gian và phân bố (latency). DistributionSummary giống timer cho giá trị không phải thời gian.
Dùng sai hay gặp: gauge cho “số tiền mỗi giao dịch” (phải là summary); counter cho số kết nối đang mở (giảm được nên phải là gauge); tự tính trung bình rồi đẩy vào gauge thay vì để timer giữ phân bố.
Vì sao không gắn userId làm tag của metric?
Mỗi giá trị tag khác nhau tạo một time series riêng; userId có hàng triệu giá trị nên làm nổ bộ nhớ của app và Prometheus, truy vấn chậm, chi phí lưu trữ tăng vọt.
Tag chỉ dùng cho tập giá trị nhỏ, biết trước: method, status, outcome, channel. Thông tin theo từng user hay từng request đi vào log hoặc trace. Boot đã tránh bẫy này cho HTTP bằng cách dùng mẫu URL (/orders/{id}) và gộp request không khớp vào /**.
Senior
DB chậm 30 giây và cả cụm pod bị restart liên tục. Phân tích và sửa.
Liveness probe đang chứa health của DB: DB chậm làm mọi pod fail liveness, Kubernetes restart tất cả, pod khởi động lại đè thêm tải lên DB và lại fail. Sửa: bỏ DB khỏi liveness, chỉ giữ trong readiness, thêm startup probe và timeout hợp lý.
Liveness chỉ gồm livenessState; readiness gồm readinessState + db.
Health check của DB có timeout ngắn hơn timeout của probe.
startupProbe cho thời gian khởi động; failureThreshold đủ lớn để không phản ứng với chập chờn vài giây.
Pool kết nối có connectionTimeout để request lỗi nhanh thay vì treo thread.
Kiểm bằng chaos test: làm chậm DB và xác nhận pod chỉ chuyển NotReady, không restart.
Bạn đặt cảnh báo cho một API thanh toán thế nào?
Cảnh báo theo triệu chứng: tỷ lệ lỗi (5xx và lỗi nghiệp vụ từ cổng thanh toán) và p99 latency theo endpoint, tính trên histogram cộng gộp mọi pod, có cửa sổ thời gian để tránh báo nhầm. Metric tài nguyên chỉ để chẩn đoán.
Bật percentiles-histogram cho http.server.requests và timer gọi cổng thanh toán; Prometheus tính histogram_quantile(0.99, sum by (le, uri) (rate(..._bucket[5m]))).
Tách lỗi do mình (5xx) và lỗi do cổng (outcome=failure theo error class) để biết gọi ai.
Cảnh báo theo SLO và tốc độ đốt error budget, không theo một ngưỡng cố định cho mọi giờ.
Kèm đường dẫn tới dashboard và runbook trong cảnh báo.
Từ vựng tiếng Anh
Term
Phát âm
Nghĩa
Ví dụ câu tiếng Anh dùng trong phỏng vấn
liveness probe
/ˈlaɪv.nəs proʊb/
kiểm tra còn sống
“The liveness probe only checks internal state, never the database.”
readiness probe
/ˈred.i.nəs proʊb/
kiểm tra sẵn sàng nhận traffic
“When the database is down, readiness fails and the pod leaves the load balancer.”
expose
/ɪkˈspoʊz/
mở ra ngoài
“We expose only health, info and prometheus over HTTP.”
management port
/ˈmæn.ɪdʒ.mənt pɔːrt/
cổng quản trị riêng
“Actuator runs on a separate management port that only the cluster can reach.”
cardinality
/ˌkɑːr.dɪˈnæl.ə.t̬i/
số giá trị khác nhau của tag
“A userId tag has unbounded cardinality, so it belongs in logs, not metrics.”
time series
/taɪm ˈsɪr.iːz/
chuỗi số đo theo thời gian
“Every tag combination becomes its own time series.”
percentile
/pɚˈsen.taɪl/
phân vị
“We alert on the 99th percentile, because the mean hides the slow tail.”
scrape
/skreɪp/
kéo metric về
“Prometheus scrapes the endpoint every fifteen seconds.”
heap dump
/hiːp dʌmp/
ảnh chụp bộ nhớ heap
“A heap dump can contain decrypted secrets, so the endpoint is locked down.”
error budget
/ˈer.ɚ ˈbʌdʒ.ɪt/
lượng lỗi cho phép theo SLO
“We page when we burn the error budget too fast, not on every spike.”
Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.