Cả bài trong một trang: ý chính, sơ đồ, điểm phỏng vấn.
Xử lý sự cố production và viết postmortem
1Vòng đời một sự cố
Sự cố đi qua năm bước, mỗi bước trả lời một câu hỏi. Đo bằng MTTD (bao lâu mới phát hiện) và MTTR (bao lâu mới phục hồi).
flowchart TD
A["Phát hiện: người dùng bị gì?"] --> B["Phân loại: SEV mấy?"]
B --> C["Mitigate: hết lỗi ngay"]
C --> D["Khắc phục gốc"]
D --> E["Postmortem + action item"]
E -.->|"chặn lặp lại"| A
2Mức SEV và ba vai trò
SEV viết theo ảnh hưởng người dùng, quyết định gọi ai và cập nhật bao lâu. Tách người điều phối (IC) khỏi người sửa.
Vai trò
Làm gì
IC
Điều phối, quyết rollback, không tự debug
Comms
Thông báo nội bộ và khách hàng
Ops
Làm kỹ thuật, báo IC trước
Scribe
Ghi dòng thời gian
3Mitigate trước, tìm gốc sau
Việc đầu tiên là người dùng hết lỗi, không phải hiểu lỗi. Lỗi bắt đầu sau một thay đổi thì rollback trước khi điều tra.
Rollback deploy hoặc config: mặc định, đã chạy ổn hôm qua
Tắt feature flag: nhanh nhất nếu có kill switch
Scale out: vô ích nếu nghẽn ở DB
Shed load (cắt tải): rate limit, trả 503 sớm
4Debug từ rộng tới hẹp
Hỏi cái gì vừa thay đổi, rồi metric (ở đâu, từ lúc nào), log (lỗi gì), trace (chậm ở bước nào). Mỗi lần một giả thuyết.
flowchart TD
A["5xx, p99 tăng"] --> B{"Vừa thay đổi gì?"}
B -->|"deploy, flag"| R["Đảo ngược"]
B -->|"không rõ"| C["Metric RED, USE"]
C --> D["Log: nhóm theo exception"]
D --> E["Trace: span chậm"]
5Chữ ký của các mẫu sự cố
Phần lớn sự cố rơi vào vài mẫu quen; nhận ra tín hiệu là biết việc làm đầu tiên.
Tín hiệu
Mẫu
active = max, pending > 0
Cạn connection pool
Exit code 137, không stack trace
OOMKilled bởi cgroup
df đầy, du không thấy
File đã xoá còn mở
Lỗi TLS cùng một thời điểm
Chứng chỉ hết hạn
6Postmortem blameless
Hỏi "hệ thống nào cho phép lỗi này", không hỏi "ai làm". Action item có owner, hạn, và thay đổi hệ thống.
Ưu tiên: loại bỏ → tự động chặn → phát hiện sớm
Yếu: "cẩn thận hơn khi viết query"
Tốt: "CI fail nếu query quét toàn bảng lớn"
Chọn 3–5 việc tác động lớn nhất, theo dõi tới xong
💡 Ghi nhớ
Năm bước: phát hiện, phân loại, mitigate, khắc phục, rút kinh nghiệm.
Chưa chắc thì khai báo SEV cao, hạ xuống sau.
Lấy thread dump, heap dump, log trước khi restart.
Alert theo triệu chứng, mỗi alert có một runbook.
⭐ Điểm phỏng vấn
Tự trả lời trước, rồi bấm từng câu để xem đáp án.
Vì sao IC không tự debug?
Phải giữ bức tranh chung: người, rollback, thông báo.
Rollback hay fix forward?
Mặc định rollback; fix forward khi rollback không an toàn.
Pool cạn, có tăng pool không?
Không vội; tìm vì sao connection bị giữ lâu.
Xong phần tự kiểm tra, bài này đã được đánh dấu đã học ✓
⚠️ Lỗi thường gặp
Mọi người cùng debug, không ai điều phối, không ai báo khách.
Tăng maximumPoolSize khi DB đã 95% CPU, dồn thêm tải.
Action item "nhắc team double-check": lần sau vẫn mắc đúng lỗi.
Lúc 2 giờ sáng, API trả 503 và năm người cùng mở dashboard, mỗi người thử một giả thuyết, không ai báo khách hàng. Bài này là quy trình để tránh cảnh đó: ai làm gì, làm gì trước, debug theo thứ tự nào, và viết postmortem sao cho lỗi không lặp lại, kèm tám mẫu sự cố backend hay gặp.
Sơ đồ tóm tắt:
flowchart LR
D[Phát hiện] --> T["Phân loại SEV"]
T --> R["Gán vai trò: IC, comms, ops"]
R --> M["Mitigate: rollback, flag off, scale, shed load"]
M --> S["Khắc phục gốc"]
S --> L["Postmortem blameless"]
L --> A["Action item: owner + hạn"]
A -.->|"chặn lặp lại"| D
M -.-> C["Thông báo định kỳ"]
1. Vòng đời một sự cố
Ý chính: một sự cố đi qua năm bước, mỗi bước trả lời một câu hỏi. Bỏ bước nào thì sự cố kéo dài hoặc lặp lại.
Bước
Câu hỏi
Đầu ra
Phát hiện (detect)
Người dùng đang bị gì?
alert hoặc báo cáo, mở kênh sự cố
Phân loại (triage)
Nặng cỡ nào, ảnh hưởng ai?
mức SEV, IC được chỉ định
Giảm thiệt hại (mitigate)
Làm sao hết lỗi ngay?
dịch vụ phục hồi, có thể chưa biết gốc
Khắc phục (resolve)
Sửa gốc thế nào?
bản vá, dọn dữ liệu sai
Rút kinh nghiệm (learn)
Vì sao hệ thống cho phép?
postmortem, action item
Hai con số hay dùng: MTTD (lỗi bắt đầu → phát hiện) và MTTR (→ phục hồi). Người dùng báo trước alert nghĩa là MTTD tệ, và chính nó là một action item.
2. Mức độ nghiêm trọng (SEV)
Ý chính: SEV quyết định ai bị gọi dậy, báo cho ai và cập nhật bao lâu một lần. Mỗi công ty tự định nghĩa; điều quan trọng là tiêu chí viết theo ảnh hưởng tới người dùng, để người trực không phải cân nhắc lúc 2 giờ sáng.
Ví dụ (tự đặt, chỉnh theo công ty):
Mức
Tiêu chí
Phản ứng
SEV1
Chức năng chính ngừng cho đa số, mất tiền, rò dữ liệu
IC + on-call các team, cập nhật 30 phút/lần, báo lãnh đạo
SEV2
Chức năng chính lỗi một phần, có cách tạm
On-call + IC, cập nhật mỗi giờ
SEV3
Chức năng phụ lỗi, ít người bị
On-call xử lý trong giờ làm
SEV4
Chưa ai bị ảnh hưởng (rủi ro, cảnh báo sớm)
Ticket
3. Vai trò khi xử lý sự cố
Ý chính: tách người điều phối khỏi người sửa. Một người vừa debug vừa trả lời sếp vừa cập nhật status page sẽ làm dở cả ba. Mô hình lấy từ Incident Command System của ngành cứu hộ, được sách SRE của Google phổ biến cho phần mềm.
Incident commander (IC): chỉ định vai trò, chọn hướng mitigate, quyết định rollback, gọi thêm người, tuyên bố kết thúc. IC không tự gõ lệnh debug; nếu buộc phải nhảy vào, giao vai IC cho người khác một cách rõ ràng.
Comms: thông báo nội bộ và cho khách hàng đúng nhịp, giữ câu hỏi ngoài kênh kỹ thuật.
Ops / chuyên gia: làm kỹ thuật, báo IC trước thao tác nguy hiểm.
Scribe: ghi dòng thời gian, nguyên liệu chính của postmortem. Sự cố nhỏ thì một người kiêm nhiều vai, nhưng vẫn nói rõ “mình đang là IC”.
4. Mitigate trước, tìm nguyên nhân sau
Ý chính: việc đầu tiên là người dùng hết lỗi, không phải hiểu lỗi. Lỗi bắt đầu ngay sau một thay đổi thì đảo ngược nó trước khi điều tra.
rate limit, tắt tính năng phụ, trả 503 sớm (rate limiting)
Failover / drain node
một node, một vùng hỏng
bên còn lại phải đủ sức gánh
5. Giao tiếp trong sự cố
Ý chính: người ngoài cần ba điều: người dùng đang bị gì, đang làm gì, khi nào có tin tiếp. Cập nhật đúng nhịp kể cả khi “chưa có gì mới”, vì im lặng bị hiểu là không ai xử lý.
[SEV2] Thanh toán thẻ lỗi một phần - ĐANG XỬ LÝẢnh hưởng: ~30% giao dịch thẻ lỗi từ 14:05. Ví điện tử bình thường.Đang làm: đã rollback bản 14:00, đang theo dõi tỉ lệ lỗi.IC: @an Comms: @binh Kênh: #inc-paymentCập nhật tiếp: 14:45[SEV2] Thanh toán thẻ - ĐÃ PHỤC HỒILỗi về mức bình thường từ 14:38 sau rollback. Ảnh hưởng 14:05–14:38,không bị trừ tiền hai lần. Tiếp theo: đối soát, postmortem trong 5 ngày làm việc.
Status page cho khách hàng nói về ảnh hưởng và thời gian, không nêu service nội bộ.
6. Debug production từng bước
Ý chính: đi từ rộng tới hẹp. Hỏi cái gì vừa thay đổi; rồi metric cho biết ở đâu và từ lúc nào, log cho biết lỗi gì, trace cho biết chậm ở bước nào.
flowchart TD
A["Triệu chứng: 5xx, p99 tăng"] --> B{"Có gì vừa thay đổi?"}
B -->|"deploy, config, flag"| R[Đảo ngược thay đổi]
B -->|không rõ| C["Metric RED: endpoint, pod, từ lúc nào"]
C --> D["Metric USE: CPU, heap, pool, disk, downstream"]
D --> E["Log: lỗi gì"]
E --> F["Trace: chậm ở span nào"]
F --> G["Một giả thuyết, một kiểm chứng"]
Thay đổi gần đây: deploy, config, flag, migration, traffic bất thường, downstream.
Metric:RED (Rate, Errors, Duration) theo endpoint, rồi USE (Utilization, Saturation, Errors) cho tài nguyên. Tìm thứ đổi cùng lúc với triệu chứng.
Log: lọc theo khung giờ, nhóm theo loại exception, đọc Caused by cuối (đọc log và stack trace).
Trace: vài trace chậm/lỗi, xem span nào chiếm thời gian: query, downstream hay chờ pool (distributed tracing).
Giả thuyết: viết một câu (“pool cạn vì query mới chậm”) và một cách kiểm chứng. Đừng thử ba thay đổi cùng lúc.
Lệnh hay dùng với service Java trên Kubernetes
kubectl describe pod <pod> # Last State: OOMKilled, Exit Code 137, sự kiện probekubectl logs <pod> --previous # log của container trước khi restartkubectl top pod # CPU/memory thực tế (cần metrics-server)kubectl exec <pod> -- jcmd 1 Thread.print # thread dump: thread BLOCKED, chờ poolkubectl exec <pod> -- jcmd 1 GC.heap_infokubectl exec <pod> -- df -hcurl -s localhost:8080/actuator/metrics/hikaricp.connections.pending
Lấy thread dump 2–3 lần cách nhau vài giây: thread đứng yên ở cùng chỗ qua các lần là chỗ nghẽn. Lưu bằng chứng trước khi restart. Các lệnh này chưa chạy trong bài (máy viết bài không có cluster).
7. Tám mẫu sự cố backend hay gặp
Ý chính: phần lớn sự cố backend rơi vào vài mẫu quen; nhận ra tín hiệu là biết việc làm đầu tiên.
Mẫu
Tín hiệu
Việc đầu tiên
Sửa gốc
Cạn connection pool
Connection is not available; active = max, pending > 0
tìm chỗ giữ connection lâu; rollback nếu sau deploy
query nhanh, không gọi HTTP trong transaction (HikariCP)
Cạn pool: phân biệt “pool nhỏ” với “connection bị giữ lâu”. hikaricp.connections.usage (thời gian giữ) tăng thì lỗi ở query/transaction, tăng maximumPoolSize chỉ dồn tải lên DB. leakDetectionThreshold log stack trace của chỗ mượn quá lâu.
Query chậm: câu mới thiếu index, N+1 (N+1), plan đổi sau khi thống kê cập nhật, hoặc một transaction mở lâu làm mọi câu đọc chậm dần (MVCC).
Retry storm: ba tầng, mỗi tầng 1 lần gọi + 3 lần retry, thì một request thành tới 4 × 4 × 4 = 64 lời gọi xuống tầng cuối, đúng lúc nó yếu nhất.
OOM có hai kiểu. JVM hết heap ném OutOfMemoryError; với -XX:+ExitOnOutOfMemoryError process thoát mã 3 (mình chạy một “cache” không giới hạn với -Xmx64m: Terminating due to java.lang.OutOfMemoryError: Java heap space, exit=3). Cgroup giết container vì vượt memory limit là SIGKILL, mã 128 + 9 = 137 (thử kill -9 một process: exit=137), không có stack trace; thường do phần ngoài heap (metaspace, thread stack, direct buffer).
Ổ đầy:df đầy mà du không thấy thì có file đã rm nhưng còn mở; truncate hoặc restart process. Kiểm tra cả df -i (hết inode).
Chứng chỉ:openssl s_client -connect host:443 -servername host </dev/null | openssl x509 -noout -enddate; thêm -checkend 2592000 để có exit code 0/1 cho “còn ≥ 30 ngày” (đã chạy với example.com). Theo ballot SC-081 của CA/Browser Forum, hạn tối đa của chứng chỉ TLS công khai giảm dần (200 ngày từ 3/2026, 47 ngày từ 2029), nên gia hạn tay không còn khả thi. Nhớ cả chứng chỉ nội bộ (mTLS, truststore).
Giờ: lỗi gắn với đồng hồ chứ không với traffic. LocalDate.now() trong container UTC trả “hôm qua” cho người dùng Việt Nam trước 7h sáng; job chạy hai lần hoặc bị bỏ qua khi đổi giờ mùa hè.
8. Postmortem blameless
Ý chính: postmortem ghi lại chuyện gì xảy ra, vì sao hệ thống cho phép, làm gì để không lặp lại. “Blameless” (không đổ lỗi) giả định mọi người đã làm điều hợp lý với thông tin họ có; câu hỏi là quy trình, công cụ nào để lỗi lọt qua.
Bị phạt khi nói thật thì người ta giấu chi tiết. “Kỹ sư A chạy nhầm lệnh” không sửa được gì; “lệnh xoá production chạy mà không cần xác nhận” thì sửa được. Viết cho mọi SEV1/SEV2 và cho near miss (suýt thành sự cố lớn).
# Postmortem: <tiêu đề> (SEV<n>, <ngày>)## Tóm tắt 2–3 câu: chuyện gì, ảnh hưởng, khắc phục thế nào## Ảnh hưởng ai, bao nhiêu, bao lâu, mất gì (đơn, tiền, SLO)## Dòng thời gian giờ (có múi giờ) | sự kiện## Nguyên nhân chuỗi nguyên nhân (5 Whys), các yếu tố góp phần## Phát hiện ai/cái gì phát hiện; vì sao alert không bắt sớm hơn## Làm tốt / chưa tốt / may mắn## Action item việc | loại | owner | hạn | ticket
Phần “may mắn” quan trọng: “may là xảy ra giờ hành chính” là lỗ hổng chờ lần sau. Đào nguyên nhân bằng 5 Whys và causal diagram như trong bài giải quyết vấn đề; thường có nhiều yếu tố góp phần, không phải một “root cause” duy nhất.
Ví dụ postmortem (giả định, số liệu minh hoạ)
Postmortem: API đặt hàng trả 503 sau deploy (SEV2)
Tóm tắt: bản deploy 14:00 thêm bộ lọc “đơn theo mã giảm giá” vào trang lịch sử đơn. Query mới quét cả bảng orders, giữ connection lâu, làm cạn pool mà API đặt hàng dùng chung. Rollback lúc 14:36 khắc phục.
Ảnh hưởng: 14:05–14:38 (33 phút), khoảng 40% request đặt hàng lỗi; không có đơn trùng.
Giờ (UTC+7)
Sự kiện
14:00
Deploy v2.31 hoàn tất
14:05
5xx của /orders bắt đầu tăng
14:12
CSKH báo khách không đặt được hàng (alert chưa kêu)
14:15
On-call khai báo SEV2, làm IC
14:20
Dashboard: pending 40+, active = max = 20
14:28
Trace: span findByCoupon 8–12 s; đề xuất tăng pool lên 50, IC từ chối (DB CPU 90%)
14:31
IC quyết định rollback; 14:36 xong, 14:38 lỗi về bình thường
5 Whys: đặt hàng lỗi vì không lấy được connection → pool cạn vì query lịch sử đơn chạy 8–12 s → lọc theo coupon_code không có index, quét 30 triệu dòng → staging chỉ có 5.000 dòng, không ai xem EXPLAIN → trang phụ và đặt hàng dùng chung một pool, không có statement timeout.
Làm tốt: rollback một lệnh; IC từ chối tăng pool. Chưa tốt: alert kêu sau CSKH 7 phút; 16 phút từ lúc thấy pool cạn tới lúc rollback. May mắn: không trùng đợt khuyến mãi.
Action item
Loại
Owner
Hạn
statement_timeout 2 s cho role đọc của API
chặn
@an
1 tuần
Tách pool cho truy vấn lịch sử/báo cáo
chặn
@binh
2 tuần
CI chạy EXPLAIN trên dữ liệu cỡ production, fail nếu Seq Scan bảng > 1 triệu dòng
tự động
@chi
3 tuần
Alert theo SLO burn rate cho /orders
phát hiện
@dung
1 tuần
Runbook “pool cạn”: khi nào rollback ngay
quy trình
@an
1 tuần
9. Action item thật sự ngăn tái diễn
Ý chính: action item tốt thay đổi hệ thống, không thay đổi lời hứa của con người. Ưu tiên: loại bỏ khả năng lỗi → tự động chặn → phát hiện nhanh hơn → giảm thiệt hại → tài liệu, đào tạo. Mỗi việc có owner, hạn, ticket, và được theo dõi tới khi xong.
Action item yếu
Action item tốt
“Cẩn thận hơn khi viết query”
“CI fail nếu query mới quét toàn bảng lớn”
“Cải thiện monitoring”
“Alert khi hikaricp.connections.pending > 0 quá 2 phút”
“Theo dõi chứng chỉ”
“Job hằng ngày openssl -checkend mọi domain, alert dưới 30 ngày”
15 action item thường không xong cái nào: chọn 3–5 việc tác động lớn nhất và theo dõi tỉ lệ hoàn thành. Sự cố lặp lại vì action item chưa làm là quy trình hỏng, không phải xui.
10. On-call bền vững
Ý chính: on-call chỉ bền khi alert ít và đáng tin. Mỗi alert phải nghĩa là “người dùng đang hoặc sắp bị ảnh hưởng, cần người làm gì đó ngay”; alert không cần hành động dạy người trực bỏ qua alert.
Alert theo triệu chứng (lỗi, latency so với SLO), không theo nguyên nhân (“CPU > 80%”).
Mỗi alert một runbook: ý nghĩa, dashboard, việc làm đầu tiên, khi nào leo thang. Alert kêu mà không ai làm gì thì sửa ngưỡng hoặc xoá.
Giới hạn tải: sách SRE của Google nhắm tối đa khoảng 2 sự cố mỗi ca 12 giờ; vượt thường xuyên thì đầu tư vào độ ổn định, không thêm người trực.
Bàn giao ca (sự cố đang mở, thay đổi rủi ro), và quyền mitigate (rollback, tắt flag) không cần xin phép lúc 2 giờ sáng.
Bài tập
Bài 1: Đọc tín hiệu và chọn việc làm đầu tiên
Đề: 14:02 deploy xong. 14:06: p99 /checkout từ 180 ms lên 4 s, 5xx 15%. hikaricp.connections.active = 30 = max, pending = 60. CPU DB 95%, CPU pod 20%. Bạn là IC: SEV mấy, việc đầu tiên, và hai đề xuất bạn sẽ từ chối?
Bài 2: Viết lại action item
Đề: postmortem sự cố chứng chỉ hết hạn có ba action item: “Nhớ gia hạn chứng chỉ”, “Thêm monitoring”, “Viết tài liệu”. Viết lại cho tốt.
Lời giải Bài 1 và Bài 2
Bài 1:
SEV1 (checkout là luồng ra tiền), hạ sau nếu thấy ít người bị.
Khớp mẫu “query chậm sau deploy dẫn tới cạn pool”: pool đầy có người chờ, DB CPU cao còn pod CPU thấp, bắt đầu 4 phút sau deploy.
Việc đầu tiên: rollback bản 14:02; song song một người lấy query chạy lâu (pg_stat_activity sắp theo now() - query_start) và vài trace chậm làm bằng chứng.
Từ chối: (1) tăng maximumPoolSize lên 100: DB đã 95% CPU, thêm connection là thêm query đồng thời. (2) Scale thêm pod: pod không phải chỗ nghẽn, pod mới còn mở thêm connection vào DB. Hoãn luôn “tìm ra query nào rồi mới quyết”: rollback trước.
Bài 2:
Việc
Loại
Owner
Hạn
Chuyển mọi chứng chỉ công khai sang tự gia hạn (ACME/cert-manager)
loại bỏ
@ops-lead
2 tuần
Job hằng ngày kiểm tra hạn mọi endpoint TLS (cả nội bộ, truststore), alert ở 30 và 7 ngày
phát hiện
@sre
1 tuần
Runbook “chứng chỉ hết hạn”: gia hạn khẩn, reload không downtime, client nào pin chứng chỉ
giảm thiệt hại
@sre
1 tuần
“Viết tài liệu” thành runbook cụ thể; “nhớ gia hạn” bị thay bằng việc loại bỏ thao tác tay.
Ghi nhớ
Kể được năm bước của vòng đời sự cố và đầu ra của từng bước.
Giải thích được vì sao IC không tự debug, và vì sao mitigate trước khi tìm nguyên nhân.
Biết thứ tự debug: thay đổi gần đây → metric → log → trace, và lấy bằng chứng trước khi restart.
Nhận ra tín hiệu của tám mẫu sự cố, nhất là cạn pool so với pool nhỏ, và OOM của JVM so với OOMKilled.
Viết được action item có owner, hạn và thuộc loại “loại bỏ” hoặc “tự động chặn”.
Câu hỏi phỏng vấn
Junior
Postmortem “blameless” nghĩa là gì, và vì sao cần?
Là postmortem tập trung vào hệ thống và quy trình đã để lỗi lọt qua, không vào ai có lỗi. Cần vì bị phạt khi nói thật thì người ta giấu chi tiết, và tổ chức không học được gì.
Blameless không có nghĩa là không ai chịu trách nhiệm: action item vẫn có owner và hạn.
Mid
Vì sao incident commander không nên tự debug?
Vì IC giữ bức tranh chung: ai đang làm gì, cần thêm người không, có rollback không, khi nào báo khách hàng. Người đang đọc log không theo dõi được những việc đó.
Nếu IC là người duy nhất hiểu hệ thống, họ chuyển vai IC cho người khác rõ ràng rồi mới nhảy vào debug.
Khi nào rollback, khi nào fix forward?
Mặc định rollback khi sự cố bắt đầu sau một thay đổi, vì bản cũ đã chạy ổn và rollback nhanh. Fix forward chỉ khi rollback không an toàn (migration không tương thích ngược) hoặc bản vá rất nhỏ và chắc.
Fix forward lúc căng thẳng dễ tạo sự cố thứ hai. Thiết kế để luôn rollback được: expand/contract cho schema, feature flag cho tính năng.
Senior
API trả 5xx tăng đột biến. Kể từng bước bạn làm trong 15 phút đầu.
Khai báo sự cố và SEV, nhận hoặc giao vai IC, hỏi “cái gì vừa thay đổi”, mitigate nếu thấy thay đổi đáng nghi, rồi thu hẹp bằng metric → log → trace.
Phút 0–3: mở kênh, SEV, vai trò, thông báo đầu tiên kèm giờ cập nhật tiếp.
Phút 3–8: có deploy/config/flag gần đây thì rollback. RED theo endpoint và pod: một chỗ hay mọi chỗ.
Phút 8–15: pool, heap, CPU DB, downstream; log nhóm theo exception; vài trace lỗi. Lấy bằng chứng trước khi restart.
Log báo “Connection is not available, request timed out after 30000ms”. Bạn phân tích thế nào, có tăng pool không?
Pool đã cạn: mọi connection đang bị mượn và request chờ quá connectionTimeout. Trước khi tăng pool, tìm vì sao connection bị giữ lâu: query chậm, transaction dài, hay gọi HTTP trong transaction.
DB đã quá tải thì tăng pool làm tệ hơn. Nhìn hikaricp.connections.usage, pg_stat_activity, span DB trong trace. Mitigate: rollback nếu sau deploy, statement timeout, tách pool cho truy vấn nặng.
Retry storm là gì và bạn phòng thế nào?
Downstream chậm, mọi tầng phía trên cùng retry, nhân số request lên nhiều lần đúng lúc downstream yếu nhất; ba tầng mỗi tầng 3 retry là tới 64 lời gọi cho một request.
Phòng: retry ở một tầng, backoff có jitter, retry budget (ví dụ tối đa 10% request là retry), circuit breaker, chỉ retry lỗi tạm thời với thao tác idempotent.
Thế nào là một action item tốt sau postmortem?
Cụ thể, có owner, có hạn, được theo dõi, và thay đổi hệ thống thay vì dựa vào trí nhớ con người: ưu tiên loại bỏ khả năng lỗi, rồi tự động chặn, rồi phát hiện sớm hơn.
“Cẩn thận hơn” và “cải thiện monitoring” là action item yếu. Ít mà xong tốt hơn nhiều mà bỏ dở.
On-call của team bạn bị đánh thức quá nhiều. Bạn cải thiện thế nào?
Đếm alert theo loại và hỏi mỗi cái “có cần người làm gì ngay không”; không cần thì xoá hoặc hạ thành ticket, alert theo nguyên nhân thì đổi sang theo triệu chứng/SLO.
Thêm runbook cho alert còn lại, cho người trực quyền mitigate, và đưa nguồn sự cố lặp lại vào kế hoạch kỹ thuật thay vì thêm người trực.
Từ vựng tiếng Anh
Term
Phát âm
Nghĩa
Ví dụ câu trong phỏng vấn
incident commander
/ˈɪnsɪdənt kəˈmændər/
người điều phối sự cố
“As incident commander, I coordinate instead of debugging.”
mitigate
/ˈmɪtɪɡeɪt/
giảm thiệt hại
“We mitigated first by rolling back, then looked for the cause.”
shed load
/ʃed loʊd/
cắt bớt tải
“We shed load by turning off recommendations.”
blameless
/ˈbleɪmləs/
không đổ lỗi
“A blameless postmortem asks what let the mistake through.”
contributing factor
/kənˈtrɪbjətɪŋ ˈfæktər/
yếu tố góp phần
“The missing index was one contributing factor; the shared pool was another.”
action item
/ˈækʃən ˈaɪtəm/
việc cần làm
“Every action item has an owner and a due date.”
runbook
/ˈrʌnbʊk/
sổ tay xử lý
“Each alert links to a runbook.”
alert fatigue
/əˈlɝːt fəˈtiːɡ/
mệt mỏi vì alert
“Non-actionable alerts cause alert fatigue.”
Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.