1Đề bài và con số
1 triệu thiết bị IoT gửi heartbeat (tín hiệu "còn sống") mỗi 3 giây; im quá ngưỡng thì báo mất kết nối, trễ ≤ 5 s.
| Đại lượng | Kết quả |
|---|---|
| Heartbeat/s | 1M / 3 ≈ 333K/s |
| Heartbeat/ngày | ~29 tỷ |
| Trạng thái | 1M × ~100 B ≈ 100 MB |
System DesignSenior18 phút đọc
Cả bài trong một trang: ý chính, sơ đồ, điểm phỏng vấn.
1 triệu thiết bị IoT gửi heartbeat (tín hiệu "còn sống") mỗi 3 giây; im quá ngưỡng thì báo mất kết nối, trễ ≤ 5 s.
| Đại lượng | Kết quả |
|---|---|
| Heartbeat/s | 1M / 3 ≈ 333K/s |
| Heartbeat/ngày | ~29 tỷ |
| Trạng thái | 1M × ~100 B ≈ 100 MB |
Trạng thái vừa RAM, nên cái khó là hẹn giờ cho 1M đối tượng. UPDATE last_seen mỗi heartbeat vượt xa sức ghi của PostgreSQL (~1K–20K ghi/s).
last_seen + job quét: không chịu nổiPartition theo device_id nên một thiết bị luôn về cùng worker. Worker giữ deadline trong RAM bằng timing wheel (vòng ô thời gian, thêm O(1)).
flowchart TD
D["1M thiết bị"] --> G["Ingest gateway"]
G -->|"key = device_id"| K["Kafka heartbeats"]
K --> W["Worker: map + timing wheel"]
W --> S["Kafka device-status"]
S --> A["Alert service"]
Mỗi heartbeat B gọi ZADD; checker mỗi giây ZRANGEBYSCORE -inf now. C chỉ ghi Kafka và cập nhật RAM, nhưng tự xử lý rebalance.
| B: Redis ZSET | C: Kafka + wheel | |
|---|---|---|
| Đường nóng | Một lệnh Redis | Kafka + RAM |
| Hợp khi | < ~100K/s, chưa có Kafka | Vài trăm nghìn/s |
| Khó ở | Vận hành cluster | Rebalance, watermark |
Hỏng nặng nhất là báo hàng loạt offline vì chính hệ thống chậm. Consumer lag 20 s làm mọi deadline hết hạn giả.
💡 Ghi nhớ
Dùng thời điểm server nhận, không dùng đồng hồ thiết bị.
Gia hạn rẻ: chỉ cập nhật deadline trong HashMap.
Một offline một cảnh báo: key deviceId + offlineSince.
Lịch sử heartbeat đẩy sang kho rẻ, ngoài đường phát hiện.
⭐ Điểm phỏng vấn
Tự trả lời trước, rồi bấm từng câu để xem đáp án.
Vì sao không ghi DB mỗi heartbeat?
333K UPDATE/s vượt sức một node.
Partition theo device_id để làm gì?
Một worker giữ trạng thái, không cần khoá.
Consumer trễ 30 s thì sao?
Hết hạn theo watermark, lag cao thì tạm ngừng.
Xong phần tự kiểm tra, bài này đã được đánh dấu đã học ✓
⚠️ Lỗi thường gặp
Tính deadline bằng đồng hồ máy worker, lag thành triệu cảnh báo giả.
Gửi 50.000 tin khi cả vùng mất mạng thay vì một sự cố.
Báo online/offline liên tục khi thiết bị chập chờn, không giới hạn.
Cụm bài Microservices trong system design: 1. Ranh giới service · 2. Distributed transaction: 2PC, saga, outbox · 3. Case study: hệ thống liveness
1 triệu thiết bị IoT gửi heartbeat mỗi 3 giây; thiết bị nào im lặng quá ngưỡng thì hệ thống phải báo “mất kết nối”. Đề nghe đơn giản nhưng chứa đủ thứ của system design: ghi rất nhiều, hẹn giờ cho hàng triệu đối tượng, phân vùng trạng thái, và báo động giả khi chính hệ thống bị chậm. Đây là bài tập về nhà của phần microservices, mình tự giải đầy đủ. Cùng đề nhưng đào sâu cấu trúc dữ liệu (ZSET, timing wheel) và hàng đợi giữa các thread (LMAX Disruptor): Hệ thống liveness: từ Redis sorted set đến timing wheel và LMAX Disruptor.
Ý chính: chốt con số và định nghĩa “mất kết nối” trước; đề gốc để mở độ trễ báo động và cách cấu hình ngưỡng.
Chức năng
Phi chức năng
Ý chính: tính ra hai con số quyết định thiết kế: tải ghi và kích thước trạng thái.
| Đại lượng | Phép tính | Kết quả |
|---|---|---|
| Heartbeat/s | 1.000.000 / 3 | ~333K/s (5M thiết bị: ~1,7M/s) |
| Băng thông vào | 333K × ~100 B | ~33 MB/s |
| Heartbeat/ngày | 333K × 86.400 | ~29 tỷ |
| Trạng thái | 1M × (id 16 B + deadline 8 B + loại + overhead) | ~100 MB |
| Cảnh báo | giả sử 0,1% thiết bị rớt mỗi giờ | ~1.000/giờ, rất nhỏ |
Kết luận: không lưu từng heartbeat vào database quan hệ (29 tỷ dòng/ngày, 333K ghi/s). Trạng thái vừa RAM của một máy, nhưng tải 333K/s nên chia cho vài worker. Nếu cần lịch sử heartbeat để phân tích, đẩy vào kho rẻ (Kafka → S3/ClickHouse theo lô) chứ không nằm trên đường phát hiện.
Ý chính: đầu vào phải nhẹ và chịu được 333K kết nối/s; giao thức hợp IoT là MQTT hoặc UDP, HTTP thì gom lô.
hb/{deviceId}. Broker MQTT (EMQX, HiveMQ) có sẵn sự kiện “client disconnected” và Last Will, nhưng mất kết nối TCP chưa chắc là thiết bị chết, và nhiều thiết bị chỉ kết nối ngắn. Vẫn cần lớp liveness riêng.POST /v1/heartbeats {deviceId, seq, sentAt}, trả 204. Gateway ghi thẳng vào Kafka, không chạm database.sentAt của thiết bị (đồng hồ thiết bị lệch).Bảng cấu hình nhỏ ở PostgreSQL: device(id, type, tenant), device_type(type, timeout_ms). Worker cache bảng này, cập nhật khi có sự kiện đổi cấu hình.
Ý chính: cả bốn đều “lưu deadline và tìm cái đã hết hạn”; khác nhau ở chỗ lưu và cách tìm. Chọn theo tải ghi và độ phức tạp vận hành.
| Phương án | Ghi mỗi heartbeat | Tìm hết hạn | Chịu 333K/s? | Độ phức tạp |
|---|---|---|---|---|
A. Cột last_seen trong DB + job quét |
UPDATE một dòng |
WHERE last_seen < now() - timeout mỗi vài giây |
Không | Thấp |
| B. Redis ZSET (score = deadline) | ZADD O(log n) |
ZRANGEBYSCORE -inf now mỗi giây |
Có, với Redis Cluster | Trung bình |
| C. Kafka + timing wheel trong worker | Cập nhật map trong RAM | Bánh xe thời gian, O(1) mỗi tick | Có, scale theo partition | Cao hơn |
| D. Delay message cho mỗi heartbeat | Gửi một message hẹn giờ | Message tới hạn thì kiểm tra | Không (333K message hẹn giờ/s) | Trung bình |
Mỗi heartbeat: ZADD live:{shard} <now + timeout(type)> <deviceId> (ghi đè score cũ). Một checker cho mỗi shard chạy mỗi giây: lấy các phần tử có score ≤ now, phát DeviceOffline, rồi ZREM (gộp trong Lua để hai checker không phát trùng).
ZADD/s vượt một node Redis (~50K), nên chia 64 ZSET live:{0..63} theo hash(deviceId) % 64 rải trên 8–10 master.ZADD và quét rất rẻ.flowchart LR
D[1M thiết bị] --> GW[Ingest gateway]
GW -->|key = device_id| K[[Kafka heartbeats 64 partition]]
K --> W1[Liveness worker P0..P7]
K --> W2[Liveness worker P8..P15]
W1 --> E[[Kafka device-status]]
W2 --> E
E --> AL[Alert service]
E --> ST[(Trạng thái hiện tại)]
CFG[(device_type timeout)] -.-> W1
heartbeats, key = device_id, nên mọi heartbeat của một thiết bị vào cùng partition và cùng worker.Map<deviceId, deadline> cho các partition của mình và một hashed timing wheel: vòng N ô, mỗi ô là một khoảng thời gian (ví dụ 100 ms); thiết bị được bỏ vào ô ứng với deadline. Mỗi tick, worker xem một ô, thiết bị nào deadline thật sự đã qua (không được gia hạn) thì phát DeviceOffline.ONLINE → OFFLINE, OFFLINE → ONLINE) ghi vào topic device-status (compacted, key = device_id); Alert service đọc topic này.Vì sao chọn C: không có kho ngoài trên đường nóng (mỗi heartbeat chỉ là ghi Kafka + cập nhật RAM), scale bằng cách thêm partition và worker, và Kafka đã giữ heartbeat nên worker chết thì worker khác đọc lại được.
DelayQueue/PriorityQueue là heap: thêm và lấy O(log n), và gia hạn một phần tử là xoá rồi thêm lại (xoá phần tử bất kỳ trong heap Java là O(n)). Với 40K thiết bị mỗi worker gia hạn ~40K lần/s, heap chịu được nhưng tốn CPU và rác cho GC.
Hashed timing wheel (Netty HashedWheelTimer, Kafka purgatory dùng biến thể nhiều tầng): thêm O(1), tick O(1) + số phần tử trong ô. Với độ trễ chấp nhận 1–5 s, tick 100 ms × 1.024 ô = vòng 102,4 s; deadline xa hơn (ngưỡng 5 phút) thì dùng thêm vòng (rounds) hoặc wheel nhiều tầng.
Cách gia hạn rẻ nhất: chỉ cập nhật deadline trong HashMap. Khi một ô tới lượt, với mỗi thiết bị trong ô: nếu deadline > now thì dời nó sang ô mới; nếu không thì phát offline. Số lần dời ≈ số lần thiết bị “đáng lẽ hết hạn”, rất ít so với số heartbeat.
void onHeartbeat(String id, long now) {
Entry e = map.computeIfAbsent(id, k -> new Entry(k));
boolean wasOffline = e.offline;
e.deadline = now + timeoutOf(id);
e.offline = false;
if (wasOffline) emit(id, "ONLINE", now);
if (!e.scheduled) { wheel.add(e, e.deadline); e.scheduled = true; }
}
void onTick(long now) {
for (Entry e : wheel.drainSlot(now)) {
if (e.deadline > now) { wheel.add(e, e.deadline); continue; } // đã được gia hạn
e.scheduled = false;
if (!e.offline) { e.offline = true; emit(e.id, "OFFLINE", e.deadline); }
}
}
Ý chính: hệ liveness hỏng nặng nhất không phải khi bỏ sót, mà khi báo hàng loạt thiết bị offline vì chính nó chậm hoặc vì sự cố mạng chung.
device-status (compacted) cộng đọc lại heartbeat vài phút gần nhất.(tenant, vùng, phút): vượt X% thiết bị một vùng thì gửi một sự cố “vùng mất kết nối” thay vì 50.000 tin.Ý chính: mỗi lần chuyển trạng thái là một event có id xác định, nên bên gửi cảnh báo khử trùng được dù event tới nhiều lần.
DeviceOffline{deviceId, offlineSince}: key khử trùng = deviceId + offlineSince. Alert service insert vào bảng alert với unique trên key này, trùng thì bỏ qua (at-least-once từ Kafka vẫn ra đúng một cảnh báo).device-status cập nhật bảng device_status(device_id, status, since). Số lần đổi trạng thái nhỏ (~1.000/giờ), PostgreSQL thừa sức.last_seen cho màn hình chi tiết: worker ghi xuống theo lô mỗi 60 s (1M dòng/phút ≈ 17K dòng/s theo lô UPSERT) hoặc chỉ hỏi worker qua API khi cần.Ý chính: dành thời gian cho phần thú vị (hẹn giờ hàng triệu đối tượng và báo động giả), không sa đà vào giao thức.
| Phút | Nội dung |
|---|---|
| 0–5 | Hỏi lại yêu cầu: định nghĩa offline, ngưỡng theo loại, độ trễ báo, có báo online lại không, quy mô tăng trưởng |
| 5–10 | Ước lượng: 333K/s, 100 MB trạng thái, loại bỏ “ghi DB mỗi heartbeat” |
| 10–20 | Phương án A → B → C, vẽ sơ đồ C, giải thích partition theo device_id |
| 20–30 | Deep dive timing wheel và gia hạn rẻ |
| 30–40 | Báo động giả: lag/watermark, rebalance, mất mạng cả vùng, flapping; khử trùng cảnh báo |
| 40–45 | Mở rộng lên 5M thiết bị, giám sát chính hệ liveness (lag, số cảnh báo/phút), trade-off B vs C |
Bài tập về nhà còn lại của phần này (bốn điều kiện deadlock và cách tránh đơn giản) đã có lời giải ở bài optimistic và pessimistic locking.
Đề: quản trị đổi ngưỡng của loại “camera” từ 10 s lên 30 s lúc hệ thống đang chạy. Thiết kế để thay đổi có hiệu lực trong vòng 10 s, không báo động giả và không bỏ sót.
device_type và phát event DeviceTypeTimeoutChanged{type, timeoutMs, version} lên topic cấu hình (compacted). Mọi worker đọc topic này, cập nhật cache trong vòng vài giây.lastSeen + timeoutMới trước khi báo, nếu chưa tới thì dời ô. Cần lưu lastSeen thay vì chỉ deadline.lastSeen + timeoutMới ở tick; thiết bị đã im > 10 s sẽ bị báo ngay ở tick kế tiếp của ô hiện tại, chậm nhất bằng khoảng cách tới ô đó. Muốn nhanh hơn, khi nhận event giảm ngưỡng thì quét một lần các thiết bị loại đó (vài chục nghìn) và dời ô.version cấu hình vào event offline để truy vết vì sao một cảnh báo được phát.deviceId + offlineSince.333K UPDATE/s vượt xa khả năng ghi của một node quan hệ (vài nghìn tới vài chục nghìn ghi/s), và mỗi UPDATE tạo phiên bản dòng mới phải VACUUM.
Quét WHERE last_seen < ... mỗi vài giây trên 1M dòng cũng tốn. Dữ liệu này là trạng thái tạm, nên để trong RAM hoặc Redis, DB chỉ lưu thay đổi trạng thái.
Score là deadline: mỗi heartbeat ZADD ghi đè score bằng now + timeout; checker mỗi giây ZRANGEBYSCORE key -inf now lấy thiết bị hết hạn, phát cảnh báo và ZREM.
Gộp lấy và xoá trong Lua để hai checker không phát trùng. Chia nhiều ZSET theo hash device_id khi tải vượt một node.
Phát event chuyển trạng thái (chỉ khi ONLINE → OFFLINE) và khử trùng ở bên gửi cảnh báo bằng key deviceId + offlineSince với ràng buộc unique.
Kafka giao at-least-once nên event có thể tới hai lần; key xác định giúp bên nhận idempotent.
Nó không được báo offline hàng loạt: deadline tính theo thời gian dữ liệu và chỉ hết hạn tới watermark của partition; lag vượt ngưỡng thì tạm ngừng phát hiện cho partition đó và báo một sự cố hạ tầng.
Sau khi đuổi kịp, worker xử lý heartbeat tồn đọng, deadline được gia hạn đúng, chỉ thiết bị thật sự im lặng mới bị báo.
Mọi heartbeat của một thiết bị vào cùng partition, nên đúng một worker giữ trạng thái và deadline của thiết bị đó, không cần khoá hay kho dùng chung.
Scale bằng cách thêm partition và worker. Cái giá: rebalance làm worker mới thiếu trạng thái, phải có thời gian ân hạn hoặc dựng lại từ topic trạng thái compacted.
Gom theo vùng/tenant trong cửa sổ ngắn: vượt ngưỡng tỉ lệ thì phát một sự cố “vùng mất kết nối” và giữ lại cảnh báo từng thiết bị.
Khi vùng phục hồi, đóng sự cố và chỉ báo các thiết bị vẫn còn offline sau đó. Cần thông tin vùng (trạm, gateway) trong dữ liệu thiết bị để gom được.
Tải lên ~1,7M heartbeat/s và trạng thái ~500 MB: tăng partition Kafka (ví dụ 256) và số worker; gateway scale ngang; timing wheel không đổi.
Kiểm tra băng thông (~170 MB/s vào), cân nhắc gom heartbeat ở gateway (một record chứa nhiều thiết bị), và giảm tần suất heartbeat cho loại thiết bị có ngưỡng dài (5 phút thì gửi 60 s một lần là đủ).
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| heartbeat | /ˈhɑːrt.biːt/ | tín hiệu định kỳ báo còn sống | “Each device sends a heartbeat every three seconds.” |
| liveness | /ˈlaɪv.nəs/ | trạng thái còn sống | “The liveness service only emits state transitions.” |
| timing wheel | /ˈtaɪ.mɪŋ wiːl/ | bánh xe hẹn giờ | “A hashed timing wheel gives O(1) timer inserts.” |
| deadline | /ˈded.laɪn/ | hạn chót | “Every heartbeat pushes the device’s deadline forward.” |
| consumer lag | /kənˈsuː.mɚ læɡ/ | độ trễ của consumer | “If consumer lag spikes, we pause offline detection.” |
| watermark | /ˈwɑː.t̬ɚ.mɑːrk/ | mốc thời gian dữ liệu đã xử lý tới | “Timers only fire up to the partition’s watermark.” |
| false alarm | /fɔːls əˈlɑːrm/ | báo động giả | “A rebalance must not cause a flood of false alarms.” |
| flapping | /ˈflæp.ɪŋ/ | chập chờn | “We debounce flapping devices before alerting.” |
| grace period | /ɡreɪs ˈpɪr.i.əd/ | thời gian ân hạn | “A new worker waits one grace period before firing timers.” |
| alert storm | /əˈlɝːt stɔːrm/ | bão cảnh báo | “Grouping by region turns an alert storm into one incident.” |
Ghi chép dựa trên khoá System Design (Ronin Engineer), viết lại theo cách hiểu của mình.