Đến nội dung chính
Sổ ôn Backend

Tìm kiếm

SpringMid21 phút đọc

Spring Boot Actuator: health, metrics và giám sát production

Ôn 13 thẻ
Trong bài này

Cả bài trong một trang: ý chính, sơ đồ, điểm phỏng vấn.

Spring Boot Actuator: health, metrics và giám sát production

1Actuator là gì

Actuator thêm các endpoint vận hành cho app Spring Boot: health, metric, log level, cấu hình. Boot 4.0.5 qua HTTP mặc định chỉ mở health.

Endpoint Làm gì Nhạy cảm
health, info Trạng thái, phiên bản Thấp
metrics, prometheus Số đo Trung bình
loggers, env Đổi log level, xem property Cao
heapdump, threaddump Dump heap, thread Rất cao

2Expose và bảo vệ

Liệt kê từng endpoint cần dùng, đưa Actuator sang cổng riêng chỉ mạng nội bộ thấy, và bắt xác thực cho mọi thứ ngoài health, info.

management.endpoints.web.exposure.include=\
  health,info,metrics,prometheus,loggers
management.server.port=8081
management.endpoint.health.show-details=\
  when-authorized

3Liveness và readiness

Hai câu hỏi khác nhau: liveness "có cần restart không", readiness "có nên nhận traffic không". DB và cổng thanh toán chỉ vào readiness.

flowchart TD
  A["Cổng thanh toán DOWN"] --> B["/health/liveness: 200"]
  A --> C["/health/readiness: 503"]
  B --> D["Pod không bị restart"]
  C --> E["Gỡ khỏi load balancer"]
  E --> F["Gateway hồi phục, traffic quay lại"]

4Metric với Micrometer

Micrometer giống SLF4J cho metric: code ghi vào MeterRegistry, registry xuất sang Prometheus. Mỗi tổ hợp tag là một time series riêng.

  • Counter: chỉ tăng, ví dụ đơn đã đặt.
  • Gauge: lên xuống, ví dụ độ dài hàng đợi.
  • Timer: số lần, tổng thời gian, phân bố latency.
  • Tag userId: 10.000 request thành 10.000 series.

5Cảnh báo theo số nào

Cảnh báo theo triệu chứng người dùng thấy: tỷ lệ lỗi và p99. Trung bình che phần đuôi: 2% request chậm 900 ms cho p99 905 ms, trung bình 38 ms.

Tín hiệu Ngưỡng ví dụ
Tỷ lệ 5xx > 1% trong 5 phút
p99 endpoint quan trọng > 800 ms trong 10 phút
hikaricp.connections.pending > 0 liên tục 5 phút

💡 Ghi nhớ

  • Expose khác enable: phải vừa bật vừa expose.

  • Health check phải rẻ và có timeout.

  • RED cho service, USE cho tài nguyên.

  • Đổi log level chỉ trên một instance, mất khi restart.

⭐ Điểm phỏng vấn

Tự trả lời trước, rồi bấm từng câu để xem đáp án.

  • Liveness khác readiness?

    Liveness fail thì restart; readiness fail thì gỡ khỏi Service.

  • Bảo vệ Actuator thế nào?

    Expose tối thiểu, cổng riêng, EndpointRequest yêu cầu role.

  • Vì sao không tag userId?

    Mỗi giá trị một series, nổ bộ nhớ Prometheus.

⚠️ Lỗi thường gặp

  • exposure.include=* trên production: heapdump lộ mật khẩu và token.

  • Đưa DB vào liveness: DB chậm, cả cụm pod restart dây chuyền.

  • Cảnh báo theo latency trung bình, không bao giờ kêu khi phần đuôi chậm.

Bài này dạy cách nhìn vào một ứng dụng Spring Boot đang chạy mà không cần SSH hay đoán qua log: nó còn sống không, có nhận được traffic không, chậm ở đâu. Đọc xong, bạn cấu hình được Actuator an toàn cho production, viết health indicator và metric của riêng mình, và nối chúng vào probe của Kubernetes. Phần tracing nằm ở bài distributed tracing với OpenTelemetry.

Sơ đồ tóm tắt:

flowchart LR
  APP[Spring Boot app] --> ACT[Actuator, management port]
  ACT --> H[health]
  H --> LIV[liveness: restart?]
  H --> RDY[readiness: nhận traffic?]
  ACT --> M[metrics, Micrometer]
  M --> PROM[Prometheus kéo]
  PROM --> GRAF[Grafana, cảnh báo]
  K8S[Kubernetes] -.-> LIV
  K8S -.-> RDY
  ACT --> LOG[loggers, env, threaddump]

1. Actuator mở gì khi vừa thêm starter

Ý chính: thêm spring-boot-starter-actuator là có khoảng hai chục endpoint, nhưng qua HTTP chỉ health được mở. Mọi endpoint khác vẫn tồn tại, chỉ chưa được expose.

Chạy thật Boot 4.0.5 với starter web + actuator, không cấu hình gì:

GET /actuator         -> {"_links":{"self":..,"health":..,"health-path":..}}
GET /actuator/health  -> {"groups":["liveness","readiness"],"status":"UP"}
GET /actuator/env     -> 404
GET /actuator/metrics -> 404
Endpoint Cho biết / làm gì Mức nhạy cảm
health Trạng thái tổng và từng thành phần Thấp (chi tiết thì trung bình)
info Phiên bản, commit git, build Thấp
metrics, prometheus Metric Trung bình
loggers Xem và đổi log level lúc chạy Cao (đổi được hành vi)
env, configprops Property và nguồn của nó Cao
beans, conditions, mappings Bean, condition report, mọi URL Trung bình
threaddump, heapdump Dump thread, dump heap Rất cao (heap chứa mật khẩu, token)
shutdown Tắt app Tắt mặc định

“Expose” (management.endpoints.web.exposure.include) khác “enable” (management.endpoint.<id>.access, Boot 3.4+; trước đó là .enabled): endpoint phải vừa được bật vừa được expose mới gọi qua HTTP được.

2. Expose và bảo vệ

Ý chính: liệt kê từng endpoint cần dùng, đưa Actuator sang cổng riêng chỉ mạng nội bộ thấy, và yêu cầu xác thực cho mọi endpoint ngoài health và info.

management.endpoints.web.exposure.include=health,info,metrics,prometheus,loggers
management.server.port=8081                  # cổng riêng, không qua ingress công khai
management.endpoint.health.show-details=when-authorized
management.endpoint.health.probes.enabled=true

Chạy thật với management.server.port=18081: gọi /actuator/health trên cổng chính trả 404, trên cổng 18081 mới có. Firewall hoặc NetworkPolicy chỉ cho Prometheus và kubelet chạm cổng này.

Bảo vệ bằng Spring Security, dùng matcher có sẵn của Boot thay vì tự viết đường dẫn:

@Bean
@Order(1)
SecurityFilterChain actuator(HttpSecurity http) throws Exception {
    http.securityMatcher(EndpointRequest.toAnyEndpoint())
        .authorizeHttpRequests(a -> a
            .requestMatchers(EndpointRequest.to(HealthEndpoint.class, InfoEndpoint.class)).permitAll()
            .anyRequest().hasRole("OPS"))
        .httpBasic(Customizer.withDefaults());
    return http.build();
}

EndpointRequest tự theo base-path và management port, nên đổi cấu hình không làm lệch luật bảo mật.

3. Health: indicator, nhóm liveness và readiness

Ý chính: /actuator/health gộp kết quả của các HealthIndicator (DB, đĩa, Redis, của bạn) thành một trạng thái. Kubernetes cần hai câu hỏi khác nhau, nên Boot chia nhóm: liveness chỉ hỏi “process có hỏng không”, readiness hỏi “có nên nhận traffic không”.

Liveness Readiness
Câu hỏi Có cần restart container không? Có gửi request tới instance này không?
Kubernetes làm gì khi fail Kill và restart pod Gỡ pod khỏi Service, không restart
Nên chứa Trạng thái nội bộ (livenessState) readinessState + phụ thuộc bắt buộc để phục vụ (DB, cổng thanh toán)
Không được chứa DB, Redis, API bên ngoài Phụ thuộc không bắt buộc

Health indicator tự viết (Boot 4: package org.springframework.boot.health.contributor; Boot 3: org.springframework.boot.actuate.health):

@Component
public class PaymentGatewayHealthIndicator implements HealthIndicator {
    @Override
    public Health health() {
        return gateway.ping(Duration.ofMillis(300))
            ? Health.up().withDetail("latencyMs", 42).build()
            : Health.down().withDetail("error", "connect timeout").build();
    }
}
management.endpoint.health.group.readiness.include=readinessState,paymentGateway

Tên component là tên bean bỏ đuôi HealthIndicator (paymentGateway). Chạy thật khi gateway DOWN:

/actuator/health            -> 503
/actuator/health/liveness   -> 200
/actuator/health/readiness  -> 503

Pod bị gỡ khỏi load balancer nhưng không bị restart; gateway hồi phục thì readiness tự UP và traffic quay lại.

  • Boot 4.0.5 có sẵn hai nhóm liveness/readiness (thấy trong output ở mục 1). Boot 3 chỉ tự bật khi phát hiện chạy trên Kubernetes, ngoài ra cần management.endpoint.health.probes.enabled=true.
  • Khi tắt máy êm (graceful shutdown), Boot chuyển readiness sang REFUSING_TRAFFIC trước, nên load balancer ngừng gửi request mới trong lúc request cũ chạy nốt.
  • Health check phải rẻ và có timeout: Kubernetes gọi mỗi vài giây trên mọi pod. Indicator gọi API ngoài nên cache kết quả vài giây.

4. Metric với Micrometer

Ý chính: Micrometer là lớp trung gian giống SLF4J cho metric: code ghi vào MeterRegistry, còn registry xuất sang Prometheus, Datadog hay OTLP. Boot tự đo sẵn HTTP, JVM, pool kết nối, executor; bạn thêm metric nghiệp vụ.

Loại meter Đo cái gì Ví dụ
Counter Số lần, chỉ tăng Đơn hàng đã đặt, lỗi thanh toán
Gauge Giá trị hiện tại, lên xuống Độ dài hàng đợi, số kết nối đang dùng
Timer Số lần + tổng thời gian + phân bố Thời gian gọi cổng thanh toán
DistributionSummary Phân bố một giá trị không phải thời gian Kích thước payload, số món trong giỏ

Đọc metric có sẵn và lọc theo tag (chạy thật, 3 request /orders/{id} và 1 request 404):

GET /actuator/metrics/http.server.requests
  availableTags: uri=[/orders/{id}, /**], status=[200, 404], outcome=[SUCCESS, CLIENT_ERROR]...
  COUNT=5.0  TOTAL_TIME=0.0063  MAX=0.0027
GET /actuator/metrics/http.server.requests?tag=uri:/orders/%7Bid%7D
  COUNT=3.0

Tag uri là mẫu (/orders/{id}), không phải đường dẫn thật; request không khớp mapping nào được gộp vào /**. Nhờ vậy số series không tăng theo số id.

Metric nghiệp vụ:

@Service
class OrderMetrics {
    private final MeterRegistry registry;
    OrderMetrics(MeterRegistry registry) { this.registry = registry; }

    void placed(String channel, boolean rejected) {
        registry.counter("orders.placed", "channel", channel,
                         "outcome", rejected ? "rejected" : "ok").increment();
    }
}

Prometheus: thêm micrometer-registry-prometheus, expose prometheus, Prometheus kéo /actuator/prometheus mỗi 15 giây. Tên metric đổi sang dạng Prometheus (http.server.requests thành http_server_requests_seconds_count, _sum, _bucket). Muốn tính p99 trên Prometheus, bật histogram:

management.metrics.distribution.percentiles-histogram.http.server.requests=true
management.metrics.distribution.slo.http.server.requests=100ms,300ms,1s
management.metrics.tags.application=${spring.application.name}
Code đo cardinality và percentile (Micrometer, JDK 21)
MeterRegistry bad = new SimpleMeterRegistry();
for (int i = 0; i < 10_000; i++) {
  long user = ThreadLocalRandom.current().nextLong(1, 5_000);
  Counter.builder("orders.placed").tag("userId", String.valueOf(user))
         .tag("path", "/orders/" + i).register(bad).increment();
}
System.out.println("bad   series = " + bad.getMeters().size());

MeterRegistry good = new SimpleMeterRegistry();
good.config().meterFilter(MeterFilter.maximumAllowableTags(
    "orders.placed", "channel", 10, MeterFilter.deny()));
String[] channels = {"web", "mobile", "partner"};
for (int i = 0; i < 10_000; i++) {
  Counter.builder("orders.placed").tag("channel", channels[i % 3])
         .tag("outcome", i % 50 == 0 ? "rejected" : "ok").register(good).increment();
}
System.out.println("good  series = " + good.getMeters().size());

Timer t = Timer.builder("payment.call").publishPercentiles(0.5, 0.99).register(good);
for (int i = 0; i < 1000; i++) t.record(Duration.ofMillis(i < 980 ? 20 : 900));
bad   series = 10000
good  series = 6
payment.call mean=38ms max=900ms
  p50 = 20ms
  p99 = 905ms

Percentile tính trong app (publishPercentiles) không cộng gộp được giữa các instance; trên nhiều pod, dùng percentiles-histogram và để Prometheus tính histogram_quantile trên bucket đã cộng.

Những metric Boot có sẵn đáng theo dõi:

Metric Ý nghĩa Lưu ý
http.server.requests Số request, thời gian, theo uri/status/outcome Tỷ lệ 5xx và p99 theo uri
jvm.memory.used / jvm.memory.max Heap và non-heap theo vùng Theo dõi jvm.memory.usage.after.gc để thấy rò bộ nhớ
jvm.gc.pause Thời gian dừng do GC Ảnh hưởng trực tiếp tới latency
jvm.threads.live, jvm.threads.states Số thread, theo trạng thái Tăng mãi là rò thread
process.cpu.usage CPU của JVM này system.cpu.usage là CPU của cả máy
hikaricp.connections.active, .pending, .max Pool kết nối DB pending > 0 kéo dài là pool cạn (HikariCP)
executor.active, executor.queued Thread pool do Spring quản lý Hàng đợi tăng mãi là quá tải
tomcat.threads.busy Thread Tomcat đang bận Chỉ có khi server.tomcat.mbeanregistry.enabled=true

5. Vận hành lúc chạy: loggers, dump, info

Ý chính: Actuator cho phép đổi log level, lấy thread dump, xem condition report và phiên bản đang chạy mà không restart. Đó là lý do các endpoint này phải có xác thực.

GET  /actuator/loggers/lab                      -> {"effectiveLevel":"INFO"}
POST /actuator/loggers/lab {"configuredLevel":"DEBUG"}  -> 204
GET  /actuator/loggers/lab                      -> {"configuredLevel":"DEBUG","effectiveLevel":"DEBUG"}
  • Đổi level chỉ có hiệu lực trên một instance và mất khi restart. Nhớ trả về ({"configuredLevel":null}); DEBUG quên tắt làm đầy đĩa và tăng logback.events. Mỗi level nên ghi gì và log đi về đâu có ở logging tập trung với ELK và structured log.
  • threaddump khi app treo hoặc CPU cao: tìm thread BLOCKED cùng chờ một khoá, hay pool WAITING chờ kết nối DB.
  • info: bật build-info của plugin Maven/Gradle và git-commit-id để biết chính xác bản nào đang chạy; management.info.env.enabled=true để lấy info.* trong cấu hình (Boot 2.6+ tắt mặc định).
  • conditions trả condition report qua HTTP, giống --debug ở bài auto-configuration.

6. Cảnh báo theo số nào

Ý chính: cảnh báo theo triệu chứng người dùng cảm nhận (tỷ lệ lỗi, latency phần đuôi), còn metric tài nguyên (CPU, heap, pool) dùng để chẩn đoán. Trung bình che mất phần đuôi.

Tín hiệu Ví dụ ngưỡng cảnh báo
Tỷ lệ 5xx > 1% trong 5 phút
p99 latency theo endpoint quan trọng > 800 ms trong 10 phút
Readiness DOWN Pod không sẵn sàng > 2 phút
Pool DB hikaricp.connections.pending > 0 liên tục 5 phút
GC jvm.gc.pause p99 > 500 ms

Cách nhớ: RED cho service (Rate, Errors, Duration), USE cho tài nguyên (Utilization, Saturation, Errors). Số liệu ở mục 4: 2% request chậm 900 ms nâng p99 lên 905 ms nhưng trung bình chỉ 38 ms; cảnh báo theo trung bình sẽ không bao giờ kêu.

Bài tập

Bài 1: Cấu hình probe cho service đặt hàng

Service đặt hàng chạy 6 pod trên Kubernetes, phụ thuộc MySQL (bắt buộc), Redis cache (không bắt buộc, lỗi thì đọc thẳng DB) và cổng thanh toán (bắt buộc cho /checkout, không cần cho xem đơn). Viết cấu hình Actuator và probe: endpoint nào expose, nhóm liveness/readiness gồm gì, và giải thích vì sao.

Lời giải Bài 1
management.server.port=8081
management.endpoints.web.exposure.include=health,info,prometheus
management.endpoint.health.probes.enabled=true
management.endpoint.health.show-details=when-authorized
management.endpoint.health.group.liveness.include=livenessState
management.endpoint.health.group.readiness.include=readinessState,db
management.health.redis.enabled=false
livenessProbe:
  httpGet: { path: /actuator/health/liveness, port: 8081 }
  periodSeconds: 10
  failureThreshold: 3
readinessProbe:
  httpGet: { path: /actuator/health/readiness, port: 8081 }
  periodSeconds: 5
  failureThreshold: 2
startupProbe:
  httpGet: { path: /actuator/health/liveness, port: 8081 }
  periodSeconds: 5
  failureThreshold: 30        # cho tối đa 150 giây để khởi động

Lý do:

  • Liveness chỉ có livenessState: restart không chữa được MySQL hay cổng thanh toán, chỉ làm sự cố tệ hơn.
  • Readiness có db: không có MySQL thì pod không phục vụ được gì, nên gỡ khỏi load balancer là đúng.
  • Redis tắt khỏi health: nó không bắt buộc; để nó trong nhóm tổng sẽ làm /actuator/health báo DOWN dù app vẫn chạy được.
  • Cổng thanh toán không vào readiness: nếu vào, cổng lỗi là cả 6 pod bị gỡ, và người dùng mất luôn chức năng xem đơn. Xử lý bằng circuit breaker cho /checkout (timeout, retry và circuit breaker), cộng một indicator riêng chỉ để hiển thị và cảnh báo (không thuộc nhóm nào).
  • startupProbe tránh việc liveness kill pod khởi động chậm (migration, warm cache).

Đã kiểm trên Boot 4.0.5 cơ chế cốt lõi: indicator DOWN nằm trong nhóm readiness làm /health/readiness trả 503 trong khi /health/liveness vẫn 200.

Bài 2: Review metric

Đồng nghiệp thêm đoạn sau vào controller thanh toán. Chỉ ra vấn đề và viết lại.

registry.counter("payment", "user", userId, "url", request.getRequestURI(),
                 "error", ex == null ? "" : ex.getMessage()).increment();
registry.gauge("payment.amount", amount);
Lời giải Bài 2

Vấn đề:

  1. user, url thô và ex.getMessage() là tag có giá trị không giới hạn: mỗi user, mỗi id trong URL, mỗi message (thường chứa id) là một series mới. Đo ở mục 4: 10.000 request thành 10.000 series.
  2. Tên payment mơ hồ, không có đơn vị và không nói đo cái gì.
  3. gauge("payment.amount", amount) sai loại meter: gauge giữ giá trị hiện tại của một object (và giữ weak reference, nên với Double boxed dễ trả NaN), không phải “số tiền của mỗi lần”. Phân bố số tiền là DistributionSummary.

Viết lại:

Timer.builder("payment.requests")
     .description("Calls to the payment gateway")
     .tag("method", gatewayMethod)                       // charge, refund: vài giá trị
     .tag("outcome", ex == null ? "success" : "failure")
     .tag("error", ex == null ? "none" : ex.getClass().getSimpleName())  // tập hữu hạn
     .publishPercentileHistogram()
     .register(registry)
     .record(elapsed);

DistributionSummary.builder("payment.amount")
     .baseUnit("vnd")
     .tag("method", gatewayMethod)
     .register(registry)
     .record(amount);

userId và message lỗi đầy đủ đi vào log có traceId để tra ngược khi cần.

Ghi nhớ

  • Kể được Boot mặc định expose gì qua HTTP và vì sao không dùng include=*.
  • Phân biệt được liveness và readiness, và biết phụ thuộc nào vào nhóm nào.
  • Chọn được đúng loại meter (counter, gauge, timer, summary) cho một nhu cầu đo.
  • Giải thích được cardinality của tag và vì sao userId không được làm tag.
  • Biết vì sao cảnh báo theo p99 và tỷ lệ lỗi thay vì trung bình.

Câu hỏi phỏng vấn

Junior

Spring Boot Actuator là gì, có những endpoint nào hay dùng?

Actuator là module thêm các endpoint vận hành cho app Spring Boot: health (còn sống/sẵn sàng không), info (bản nào đang chạy), metrics/prometheus (số đo), loggers (đổi log level), env, threaddump, heapdump, conditions.

Thêm spring-boot-starter-actuator; qua HTTP mặc định chỉ health được expose. Mở thêm bằng management.endpoints.web.exposure.include, và bảo vệ các endpoint nhạy cảm bằng xác thực và cổng riêng.

Liveness và readiness probe khác nhau thế nào?

Liveness hỏi “process có hỏng tới mức cần restart không”; fail thì Kubernetes restart pod. Readiness hỏi “có nên gửi traffic tới pod này không”; fail thì pod bị gỡ khỏi Service nhưng không bị restart.

Boot có sẵn /actuator/health/liveness và /actuator/health/readiness. Phụ thuộc bên ngoài (DB) chỉ vào readiness. Lúc graceful shutdown, Boot chuyển readiness sang từ chối traffic trước.

Mid

Bạn bảo vệ Actuator trên production thế nào?

Chỉ expose endpoint cần (health,info,prometheus và vài cái cho ops), đặt Actuator ở management.server.port riêng chỉ mạng nội bộ thấy, và một SecurityFilterChain riêng dùng EndpointRequest yêu cầu role cho mọi thứ ngoài health/info.

  • heapdump, env, threaddump, loggers coi như quyền admin: heap dump chứa bí mật ở dạng rõ.
  • show-details=when-authorized để người ngoài chỉ thấy UP/DOWN.
  • Có test tự động kiểm endpoint nhạy cảm không gọi được từ cổng công khai.
Viết một health indicator cho cổng thanh toán. Cần lưu ý gì?

Implement HealthIndicator, trả Health.up()/down() kèm detail; giữ nó rẻ (timeout ngắn, cache vài giây) và chọn đúng nhóm: thường không đưa vào liveness, chỉ đưa vào readiness nếu không có nó thì pod vô dụng.

Tên component là tên bean bỏ đuôi HealthIndicator. Indicator DOWN làm /actuator/health trả 503; nếu nằm trong nhóm readiness thì cả pod bị gỡ khỏi load balancer. Với phụ thuộc chỉ dùng cho một phần chức năng, dùng circuit breaker thay vì readiness.

Counter, Gauge, Timer khác nhau thế nào? Cho ví dụ dùng sai.

Counter chỉ tăng (số lần), Gauge đọc giá trị hiện tại lên xuống (độ dài hàng đợi), Timer ghi số lần cộng thời gian và phân bố (latency). DistributionSummary giống timer cho giá trị không phải thời gian.

Dùng sai hay gặp: gauge cho “số tiền mỗi giao dịch” (phải là summary); counter cho số kết nối đang mở (giảm được nên phải là gauge); tự tính trung bình rồi đẩy vào gauge thay vì để timer giữ phân bố.

Vì sao không gắn userId làm tag của metric?

Mỗi giá trị tag khác nhau tạo một time series riêng; userId có hàng triệu giá trị nên làm nổ bộ nhớ của app và Prometheus, truy vấn chậm, chi phí lưu trữ tăng vọt.

Tag chỉ dùng cho tập giá trị nhỏ, biết trước: method, status, outcome, channel. Thông tin theo từng user hay từng request đi vào log hoặc trace. Boot đã tránh bẫy này cho HTTP bằng cách dùng mẫu URL (/orders/{id}) và gộp request không khớp vào /**.

Senior

DB chậm 30 giây và cả cụm pod bị restart liên tục. Phân tích và sửa.

Liveness probe đang chứa health của DB: DB chậm làm mọi pod fail liveness, Kubernetes restart tất cả, pod khởi động lại đè thêm tải lên DB và lại fail. Sửa: bỏ DB khỏi liveness, chỉ giữ trong readiness, thêm startup probe và timeout hợp lý.

  • Liveness chỉ gồm livenessState; readiness gồm readinessState + db.
  • Health check của DB có timeout ngắn hơn timeout của probe.
  • startupProbe cho thời gian khởi động; failureThreshold đủ lớn để không phản ứng với chập chờn vài giây.
  • Pool kết nối có connectionTimeout để request lỗi nhanh thay vì treo thread.
  • Kiểm bằng chaos test: làm chậm DB và xác nhận pod chỉ chuyển NotReady, không restart.
Bạn đặt cảnh báo cho một API thanh toán thế nào?

Cảnh báo theo triệu chứng: tỷ lệ lỗi (5xx và lỗi nghiệp vụ từ cổng thanh toán) và p99 latency theo endpoint, tính trên histogram cộng gộp mọi pod, có cửa sổ thời gian để tránh báo nhầm. Metric tài nguyên chỉ để chẩn đoán.

  • Bật percentiles-histogram cho http.server.requests và timer gọi cổng thanh toán; Prometheus tính histogram_quantile(0.99, sum by (le, uri) (rate(..._bucket[5m]))).
  • Tách lỗi do mình (5xx) và lỗi do cổng (outcome=failure theo error class) để biết gọi ai.
  • Cảnh báo theo SLO và tốc độ đốt error budget, không theo một ngưỡng cố định cho mọi giờ.
  • Kèm đường dẫn tới dashboard và runbook trong cảnh báo.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
liveness probe /ˈlaɪv.nəs proʊb/ kiểm tra còn sống “The liveness probe only checks internal state, never the database.”
readiness probe /ˈred.i.nəs proʊb/ kiểm tra sẵn sàng nhận traffic “When the database is down, readiness fails and the pod leaves the load balancer.”
expose /ɪkˈspoʊz/ mở ra ngoài “We expose only health, info and prometheus over HTTP.”
management port /ˈmæn.ɪdʒ.mənt pɔːrt/ cổng quản trị riêng “Actuator runs on a separate management port that only the cluster can reach.”
cardinality /ˌkɑːr.dɪˈnæl.ə.t̬i/ số giá trị khác nhau của tag “A userId tag has unbounded cardinality, so it belongs in logs, not metrics.”
time series /taɪm ˈsɪr.iːz/ chuỗi số đo theo thời gian “Every tag combination becomes its own time series.”
percentile /pɚˈsen.taɪl/ phân vị “We alert on the 99th percentile, because the mean hides the slow tail.”
scrape /skreɪp/ kéo metric về “Prometheus scrapes the endpoint every fifteen seconds.”
heap dump /hiːp dʌmp/ ảnh chụp bộ nhớ heap “A heap dump can contain decrypted secrets, so the endpoint is locked down.”
error budget /ˈer.ɚ ˈbʌdʒ.ɪt/ lượng lỗi cho phép theo SLO “We page when we burn the error budget too fast, not on every spike.”

Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.