Cả bài trong một trang: ý chính, sơ đồ, điểm phỏng vấn.
Thiết kế hệ thống thông báo: push, SMS, email, hàng đợi theo kênh, chống gửi trùng và giới hạn tần suất
1Yêu cầu và con số
Gửi qua push, SMS, email; tin giao dịch (OTP, đơn hàng) cần nhanh và chắc, tin khuyến mãi được trễ. Trần thật là quota nhà cung cấp.
Đại lượng
Ước lượng
Tin mỗi ngày
16 triệu
Trung bình
~185 tin/s
Đỉnh chiến dịch
~2.800 tin/s
Log trạng thái
~24 GB/ngày
2Tách nhận khỏi gửi
API chỉ kiểm tra, chống trùng, đọc tuỳ chọn, dựng nội dung, đẩy vào hàng đợi rồi trả 202. Worker của từng kênh mới gọi nhà cung cấp.
flowchart TD
S["Service gọi tới"] --> API["Notification API"]
API --> Q1[["Queue OTP ưu tiên cao"]]
API --> Q2[["Queue push, SMS, email"]]
Q1 --> W["Worker theo kênh"]
Q2 --> W
W --> P["APNs, FCM, SMS, email"]
W -.->|"hết lượt retry"| D[["Dead letter"]]
3Chống gửi trùng
Hàng đợi và retry cho at-least-once, nên trùng chắc chắn xảy ra. Chặn ở API bằng idempotency key, ở worker bằng chuyển trạng thái có điều kiện.
UPDATE notification
SET status = 'SENDING'
WHERE id = ? AND status = 'PENDING';
-- 0 dòng: worker khác đang lo
4Retry và dead letter
Retry lỗi tạm thời với backoff có jitter, không retry lỗi vĩnh viễn. Quá số lần thì vào dead letter.
Lỗi
Xử lý
Timeout, 5xx
Retry qua queue có delay
429 + Retry-After
Tôn trọng, giảm tốc cả kênh
Token sai, email không tồn tại
Không retry
OTP đã hết hạn
Bỏ tác vụ
5Rate limit và token
Hai loại giới hạn: theo nhà cung cấp (token bucket ~80% quota) và theo người dùng (N tin khuyến mãi mỗi ngày, giờ yên lặng).
Tin giao dịch không bị giới hạn khuyến mãi
Vẫn chống spam OTP: vài lần mỗi 10 phút
APNs 410, FCM UNREGISTERED: xoá token ngay
Push không đảm bảo tới: có bản in-app
💡 Ghi nhớ
Mỗi kênh × mức ưu tiên một hàng đợi riêng.
Nhà cung cấp chậm chỉ làm kênh đó trễ.
Circuit breaker mở thì chuyển nhà cung cấp SMS dự phòng.
Ghi log và đẩy queue: dùng transactional outbox.
⭐ Điểm phỏng vấn
Tự trả lời trước, rồi bấm từng câu để xem đáp án.
Sao không gọi thẳng SendGrid?
Chậm lây sang luồng đặt hàng, không chịu đỉnh.
Không nhận OTP hai lần?
Idempotency key ở API, UPDATE có điều kiện ở worker.
Nhà cung cấp SMS chính chết?
Circuit breaker mở, chuyển nhà cung cấp dự phòng.
Xong phần tự kiểm tra, bài này đã được đánh dấu đã học ✓
⚠️ Lỗi thường gặp
Đánh dấu "đã gửi" trước khi gửi: worker chết là tin mất hẳn.
OTP xếp hàng sau 5 triệu email khuyến mãi.
Không xoá token chết, mỗi chiến dịch lại gửi vào đó.
Gần như hệ thống nào cũng phải gửi thông báo: OTP, xác nhận đơn hàng, nhắc lịch, khuyến mãi. Bài này thiết kế một dịch vụ thông báo dùng chung, đi theo quy trình 4 bước phỏng vấn system design: làm rõ yêu cầu, ước lượng, thiết kế tổng thể, rồi đào sâu vào chống trùng, retry và giới hạn tần suất.
Sơ đồ tóm tắt:
flowchart LR
S[Service gọi tới / scheduler chiến dịch] --> API[Notification API]
API --> C[(Cache: user, device, tuỳ chọn, template)]
API --> Q1[[Queue OTP ưu tiên cao]]
API --> Q2[[Queue push / SMS / email]]
Q1 --> W[Worker theo kênh]
Q2 --> W
W --> P[APNs / FCM / SMS / Email provider]
W --> L[(Notification log)]
W -.->|hết lượt retry| D[[Dead letter]]
P -.->|webhook trạng thái| L
1. Làm rõ yêu cầu
Ý chính: chốt kênh, nguồn kích hoạt, độ trễ chấp nhận được cho từng loại tin, và mức đảm bảo (được trùng hay được mất). Hai loại tin khác hẳn nhau: tin giao dịch (OTP, đơn hàng) cần nhanh và chắc; tin khuyến mãi chịu trễ nhưng phải tôn trọng tuỳ chọn người dùng.
Phạm vi chốt với người phỏng vấn:
Kênh: push iOS (APNs), push Android (FCM), SMS, email; thông báo trong ứng dụng (in-app) là mở rộng.
Nguồn: service nội bộ gọi API (đơn hàng, thanh toán), và chiến dịch đặt lịch gửi cho một tập người dùng.
Độ trễ: soft real-time. OTP dưới vài giây; tin giao dịch dưới một phút; khuyến mãi được trễ vài phút tới vài giờ khi tải cao.
Đảm bảo: không mất tin giao dịch; trùng một lần hiếm khi chấp nhận được với OTP và tin trừ tiền, nên phải chống trùng.
Tuỳ chọn người dùng: tắt từng loại tin theo kênh, giờ yên lặng, ngôn ngữ.
Theo dõi: đã gửi, đã tới (nếu kênh báo lại), đã mở; thống kê theo chiến dịch.
2. Ước lượng
Ý chính: lưu lượng trung bình nhỏ (vài trăm tin mỗi giây); thứ quyết định thiết kế là đỉnh khi chạy chiến dịch, và giới hạn của nhà cung cấp chứ không phải của mình.
Đại lượng
Tính
Kết quả
Tin mỗi ngày
10 triệu push + 1 triệu SMS + 5 triệu email
16 triệu
Trung bình
16 triệu / 86.400
~185 tin/s
Đỉnh chiến dịch
5 triệu push trong 30 phút
~2.800 tin/s
Log trạng thái
16 triệu × ~500 byte × 3 trạng thái
~24 GB/ngày, ~8,7 TB/năm
Chi phí SMS
1 triệu × ~400–800 đồng
400–800 triệu đồng/ngày
SMS đắt hơn push hàng trăm lần: lý do để ưu tiên push/email khi người dùng cho phép, và để chống gửi trùng SMS bằng mọi giá.
Quota nhà cung cấp mới là trần thật: tài khoản SMS có thể chỉ cho vài trăm tin mỗi giây, gói email có giới hạn mỗi giây và mỗi ngày. Worker phải chạy dưới trần đó. Xem thêm cách ước lượng nhanh.
3. Thiết kế tổng thể
Ý chính: tách nhận yêu cầu khỏi gửi bằng hàng đợi. API trả 202 Accepted ngay khi tin đã vào hàng đợi; worker của từng kênh lấy ra gửi, cập nhật trạng thái, retry khi cần.
3.1. Thiết kế đơn giản và vì sao nó không đủ
Một notification server nhận request, dựng nội dung, gọi thẳng SendGrid hay APNs rồi mới trả lời:
Một điểm chết: server đó chết là mọi service không gửi được tin.
Chậm lây lan: SendGrid trả lời 3 giây thì thread của server bị giữ 3 giây, service gọi tới cũng chờ, luồng đặt hàng chậm theo. Xem timeout, retry, circuit breaker.
Không chịu được đỉnh: chiến dịch 5 triệu tin bắn vào là server quá tải, tin OTP bị kẹt chung.
Khó scale riêng: dựng HTML email tốn CPU, gọi APNs tốn connection; gộp chung thì không tách ra scale được.
3.2. Các thành phần
Thành phần
Việc
Ghi chú
Notification API
xác thực service gọi, kiểm tra input, chống trùng, đọc tuỳ chọn, dựng nội dung, đẩy vào queue
stateless, scale ngang; trả 202
Cache
user, device token, tuỳ chọn, template
đọc rất nhiều, ghi ít; Redis
Database
user, device, tuỳ chọn, template, log thông báo
log ghi rất nhiều: Cassandra/DynamoDB hoặc PostgreSQL partition theo ngày
Hàng đợi
một topic/queue cho mỗi kênh × độ ưu tiên
Kafka, SQS, RabbitMQ; cô lập lỗi giữa các kênh
Worker
lấy tin, gọi nhà cung cấp, retry, ghi trạng thái
scale riêng theo kênh, chạy dưới quota nhà cung cấp
Nhà cung cấp
APNs, FCM, SMS gateway, SendGrid/SES
bọc sau một interface để thay được
Webhook nhận trạng thái
delivered, bounced, opened từ nhà cung cấp
cập nhật log, đánh dấu email bounce cứng
3.3. Luồng gửi
Service đơn hàng gọi POST /v1/notifications với Idempotency-Key, userId, type=ORDER_CONFIRMED, dữ liệu cho template.
API kiểm tra key đã thấy chưa, đọc tuỳ chọn (user có tắt loại này không, có đang giờ yên lặng không), chọn kênh, lấy device token, dựng nội dung theo ngôn ngữ.
Ghi bản ghi PENDING vào log, đẩy tác vụ vào queue của kênh, trả 202 kèm notificationId.
Worker lấy tác vụ, kiểm tra rate limit, gọi nhà cung cấp, cập nhật SENT hoặc lên lịch retry.
Nhà cung cấp gọi webhook báo DELIVERED/BOUNCED; ứng dụng báo OPENED.
Ghi log và đẩy queue là hai hệ thống: dùng transactional outbox nếu không được phép mất tin khi API chết giữa hai bước.
4. Đào sâu
4.1. Chống gửi trùng
Ý chính: hàng đợi và retry cho at-least-once, nên trùng là chuyện chắc chắn sẽ xảy ra; chặn ở hai chỗ: API (cùng một yêu cầu gửi hai lần) và worker (cùng một tác vụ bị giao hai lần).
Service gọi tới gửi Idempotency-Key (ví dụ order-98765-confirmed); API lưu key kèm notificationId trong Redis hoặc bảng có UNIQUE, gặp lại thì trả kết quả cũ. Chi tiết ở Idempotency phần 1.
Worker: trước khi gọi nhà cung cấp, chuyển trạng thái PENDING → SENDING có điều kiện (UPDATE … WHERE status = 'PENDING'); 0 dòng bị ảnh hưởng là đã có worker khác lo.
Vẫn còn một khe không đóng được: worker gọi nhà cung cấp thành công rồi chết trước khi ghi SENT. Retry sẽ gửi lại. Chỗ nào có, truyền id của mình cho nhà cung cấp để họ chống trùng (APNs có apns-collapse-id, FCM có collapse key gộp tin cùng loại, nhiều SMS gateway nhận id của client).
4.2. Retry, backoff và dead letter
Ý chính: retry lỗi tạm thời (timeout, 5xx, 429), không retry lỗi vĩnh viễn (token sai, số điện thoại sai, email không tồn tại); giãn cách tăng dần có jitter; quá số lần thì đưa vào dead letter để người xem.
Không ngủ trong worker để chờ retry: đẩy lại vào hàng đợi có delay (SQS delay, RabbitMQ TTL + dead-letter exchange, Kafka topic retry theo tầng).
429 kèm Retry-After: tôn trọng nó, đồng thời giảm tốc độ của cả kênh (đây là tín hiệu quá quota, không phải lỗi riêng một tin).
OTP có hạn vài phút: retry sau khi OTP hết hạn là vô nghĩa, đặt TTL cho tác vụ và bỏ khi quá hạn.
Nhà cung cấp chết hẳn: circuit breaker mở, chuyển sang nhà cung cấp dự phòng (SMS hay có hai nhà mạng/aggregator).
4.3. Rate limit và tuỳ chọn người dùng
Ý chính: có hai loại giới hạn khác nhau: giới hạn kỹ thuật của nhà cung cấp (áp lên worker) và giới hạn trải nghiệm cho từng người dùng (áp lên lúc nhận yêu cầu).
Theo nhà cung cấp: token bucket chung cho cả cụm worker của kênh, đặt dưới quota thật (ví dụ 80%). Dùng rate limiter trên Redis.
Theo người dùng: tối đa N tin khuyến mãi mỗi ngày (INCR notif:mkt:{user}:{yyyyMMdd} + EXPIRE), giờ yên lặng theo múi giờ của người dùng (tin khuyến mãi lúc 2 giờ sáng được dời tới 8 giờ, không bỏ).
Tin giao dịch (OTP, cảnh báo bảo mật) không bị giới hạn khuyến mãi và không bị tắt bởi tuỳ chọn marketing; nhưng vẫn cần chống spam OTP (tối đa vài lần trong 10 phút cho một số điện thoại).
Tuỳ chọn là dữ liệu pháp lý (đồng ý nhận quảng cáo): lưu lịch sử thay đổi, email phải có link huỷ đăng ký.
4.4. Device token và độ tin cậy của push
Ý chính: push đi qua hạ tầng của Apple/Google nên không đảm bảo tới nơi hay đúng giờ; việc của mình là giữ danh sách token sạch và không coi “đã gửi lên APNs” là “người dùng đã thấy”.
Một user nhiều thiết bị: bảng device(user_id, platform, token, app_version, last_seen_at). Token đổi khi cài lại app hoặc khôi phục máy; app gửi token mới mỗi lần khởi động.
APNs trả 410 Unregistered, FCM trả UNREGISTERED/NOT_FOUND: xoá token ngay, nếu không mỗi chiến dịch lại tốn công gửi vào token chết.
Payload giới hạn khoảng 4 KB: chỉ gửi tiêu đề, nội dung ngắn và id; app tự gọi API lấy chi tiết.
Thông báo quan trọng (đơn hàng, giao dịch) nên có bản trong ứng dụng (in-app inbox) để người dùng vẫn thấy khi push thất lạc.
Kết nối tới APNs và FCM, và chiến dịch gửi hàng loạt
APNs: HTTP/2 tới api.push.apple.com:443, xác thực bằng JWT ký bằng khoá .p8 (token-based) hoặc chứng chỉ. Một connection HTTP/2 chạy nhiều stream song song, nên giữ vài connection lâu dài thay vì mở mới mỗi tin. Header quan trọng: apns-push-type, apns-priority (10 gửi ngay, 5 cho tin không gấp), apns-expiration, apns-collapse-id.
FCM: HTTP v1 API (POST /v1/projects/{id}/messages:send) với OAuth2 access token của service account. API gửi hàng loạt kiểu cũ đã bị Google ngừng; gửi số lượng lớn bằng nhiều request song song, hoặc dùng topic của FCM cho tin phát chung không cá nhân hoá.
Chiến dịch 5 triệu người dùng:
Scheduler tạo chiến dịch, truy vấn tập người dùng theo segment, ghi danh sách theo lô (10.000 user mỗi lô) vào bảng hoặc object storage.
Một job chia lô thành tác vụ, đẩy vào queue khuyến mãi (ưu tiên thấp) với tốc độ có kiểm soát, không bắn 5 triệu message trong một giây.
Worker kiểm tra tuỳ chọn và giới hạn tần suất của từng user ngay lúc gửi (user có thể vừa tắt nhận tin).
Tiến độ, số đã gửi, số lỗi theo chiến dịch; có nút dừng khẩn cấp (nội dung sai là phải dừng được trong vài giây).
Cách chia một việc lớn cho nhiều worker cũng là chủ đề của bài lập lịch job phân tán.
4.5. Lưu trạng thái và theo dõi
Ý chính: log thông báo ghi rất nhiều, đọc chủ yếu theo userId hoặc notificationId và theo khoảng thời gian gần đây; chọn kho và khoá phân vùng theo đúng hai kiểu truy vấn đó.
Bảng notification(id, user_id, type, channel, status, provider_message_id, created_at, updated_at). Cassandra/DynamoDB: partition key user_id, sort key thời gian; PostgreSQL: partition theo tháng, index (user_id, created_at), xoá partition cũ thay vì DELETE.
Metric cho từng kênh: tin vào queue mỗi giây, lag của queue, tỉ lệ lỗi theo mã, độ trễ từ lúc nhận tới lúc gửi (p50, p99). Cảnh báo khi lag của queue OTP vượt vài giây.
Thống kê mở/nhấp cho chiến dịch đi sang kho phân tích, không truy vấn trên bảng log nóng.
Bài tập
Bài 1: Worker chống trùng, giới hạn tần suất và retry
Viết NotificationWorker.handle(notification, provider) trả về SENT, DUPLICATE, CAPPED hoặc DEAD_LETTER: bỏ qua idempotency key đã thấy; tin MARKETING tối đa 2 lần mỗi user; retry tối đa 4 lần với lỗi 429/5xx theo exponential backoff có full jitter (trần 30 giây); lỗi 4xx khác (như 410) không retry. Thử với nhà cung cấp luôn OK, lỗi 2 lần rồi OK, luôn 503, và trả 410.
Lời giải Bài 1
import java.util.*;public class NotificationWorker { record Notification(String idempotencyKey, String userId, String channel, String type) {} enum Result { SENT, DUPLICATE, CAPPED, RETRY_LATER, DEAD_LETTER } static final int MAX_ATTEMPTS = 4; static final int MARKETING_CAP_PER_DAY = 2; private final Set<String> seenKeys = new HashSet<>(); // thực tế: Redis SET NX với TTL private final Map<String, Integer> marketingToday = new HashMap<>(); // thực tế: INCR + EXPIRE theo ngày private final Random random = new Random(42); /** Gọi provider giả: trả mã HTTP. */ interface Provider { int send(Notification n, int attempt); } Result handle(Notification n, Provider provider, List<Long> backoffsOut) { if (!seenKeys.add(n.idempotencyKey())) return Result.DUPLICATE; if (n.type().equals("MARKETING")) { int count = marketingToday.merge(n.userId(), 1, Integer::sum); if (count > MARKETING_CAP_PER_DAY) return Result.CAPPED; } for (int attempt = 1; attempt <= MAX_ATTEMPTS; attempt++) { int status = provider.send(n, attempt); if (status / 100 == 2) return Result.SENT; boolean retryable = status == 429 || status >= 500; if (!retryable) return Result.DEAD_LETTER; // 400/410: token sai, không retry if (attempt < MAX_ATTEMPTS) backoffsOut.add(backoffMillis(attempt)); } seenKeys.remove(n.idempotencyKey()); // cho phép gửi lại thủ công từ DLQ return Result.DEAD_LETTER; } /** Exponential backoff có "full jitter": ngẫu nhiên trong [0, base * 2^(attempt-1)], trần 30s. */ long backoffMillis(int attempt) { long cap = Math.min(30_000, 500L << (attempt - 1)); return (long) (random.nextDouble() * cap); } public static void main(String[] args) { NotificationWorker w = new NotificationWorker(); Provider ok = (n, a) -> 200; Provider flaky = (n, a) -> a < 3 ? 503 : 200; // lỗi 2 lần rồi thành công Provider down = (n, a) -> 503; Provider badToken = (n, a) -> 410; List<Long> b = new ArrayList<>(); System.out.println("otp-1 " + w.handle(new Notification("otp-1", "u1", "SMS", "OTP"), ok, b)); System.out.println("otp-1 lặp " + w.handle(new Notification("otp-1", "u1", "SMS", "OTP"), ok, b)); for (int i = 1; i <= 3; i++) System.out.println("mkt-" + i + " " + w.handle(new Notification("mkt-" + i, "u1", "PUSH", "MARKETING"), ok, b)); b.clear(); System.out.println("order-7 " + w.handle(new Notification("order-7", "u2", "EMAIL", "ORDER"), flaky, b) + " backoff=" + b); b.clear(); System.out.println("order-8 " + w.handle(new Notification("order-8", "u2", "EMAIL", "ORDER"), down, b) + " backoff=" + b); System.out.println("push-9 " + w.handle(new Notification("push-9", "u3", "PUSH", "ORDER"), badToken, new ArrayList<>())); }}
Chạy java NotificationWorker.java (JDK 21, seed cố định nên số backoff lặp lại được):
Hai chỗ bản này đơn giản hoá so với production, đúng là những gì người phỏng vấn sẽ hỏi tiếp:
Ghi key vào tập “đã thấy” trước khi gửi: worker chết giữa chừng là tin mất (xem pitfall ở 4.1). Bản thật dùng trạng thái SENDING có lease.
Retry ngay trong vòng lặp: bản thật không giữ worker chờ, mà đẩy lại vào hàng đợi với delay bằng giá trị backoff. Với 410, ngoài dead letter còn phải xoá device token.
Bài 2: Tách hàng đợi
Đội marketing chạy chiến dịch 5 triệu push lúc 20 giờ, cùng lúc người dùng đăng nhập nhận OTP qua SMS và push. Trong thiết kế “một topic notifications chung, 12 partition, 12 worker”, chuyện gì xảy ra với OTP, và bạn sửa thiết kế thế nào?
Lời giải Bài 2
Với một topic chung, OTP xếp sau hàng triệu tin khuyến mãi trên cùng partition; worker đọc tuần tự nên OTP trễ hàng phút và hết hạn. Nếu nhà cung cấp push bị throttle (429), worker chậm lại và kéo cả SMS theo.
Sửa: tách theo kênh × độ ưu tiên: otp-sms, otp-push, transactional-email, marketing-push… mỗi topic một nhóm worker riêng. OTP có worker luôn chạy sẵn, không chia với khuyến mãi.
Chiến dịch đẩy vào queue với tốc độ có kiểm soát (ví dụ 2.000 tin/s), dưới quota của nhà cung cấp; rate limiter của kênh push dành sẵn một phần quota cho tin giao dịch.
Cảnh báo riêng cho lag của topic OTP (vài giây), khác ngưỡng của topic khuyến mãi (vài chục phút vẫn chấp nhận được).
Ghi nhớ
Giải thích được vì sao notification API chỉ đẩy vào queue mà không gọi thẳng nhà cung cấp.
Biết vì sao mỗi kênh và mỗi mức ưu tiên cần hàng đợi riêng.
Nêu được hai chỗ chống trùng (API và worker) và khe hở còn lại khi worker chết sau khi gửi.
Phân biệt được lỗi nên retry và lỗi không nên retry, và vì sao cần dead letter.
Phân biệt được rate limit theo nhà cung cấp với giới hạn tần suất theo người dùng.
Câu hỏi phỏng vấn
Junior
Vì sao service đơn hàng không gọi thẳng SendGrid để gửi email xác nhận?
Vì nhà cung cấp chậm hay lỗi sẽ làm luồng đặt hàng chậm hay lỗi theo, và mỗi service phải tự lo retry, template, tuỳ chọn người dùng. Đẩy yêu cầu vào notification service qua hàng đợi tách hai việc ra.
Đặt hàng xong trong vài mili giây; email gửi sau đó vài giây, có retry, và không ảnh hưởng tới đơn hàng nếu SendGrid đang có sự cố.
Worker trong hệ thống thông báo là gì?
Là tiến trình chạy nền, lấy tác vụ từ hàng đợi, gọi nhà cung cấp để gửi, rồi ghi kết quả; nó không nhận request trực tiếp từ client.
Mỗi kênh một nhóm worker để scale riêng: email cần dựng HTML, push cần giữ connection HTTP/2 tới APNs, SMS bị giới hạn bởi quota nhà mạng.
Mid
Làm sao để người dùng không nhận một OTP hai lần?
Chống trùng ở hai chỗ: API nhận Idempotency-Key và trả kết quả cũ khi gặp lại; worker chuyển trạng thái PENDING → SENDING có điều kiện để chỉ một worker gửi.
Key lưu trong Redis (SET key value NX EX 86400) hoặc bảng có UNIQUE.
Trạng thái SENDING có lease, không đánh dấu “đã gửi” trước khi gửi.
Khe còn lại: gửi xong mà chết trước khi ghi; giảm bằng id phía nhà cung cấp nếu họ hỗ trợ, và OTP vẫn nên hợp lệ khi nhận hai tin giống nhau (cùng một mã).
Lỗi nào nên retry khi gửi thông báo, lỗi nào không?
Retry lỗi tạm thời: timeout, mất kết nối, 5xx, 429 (tôn trọng Retry-After). Không retry lỗi vĩnh viễn: token không còn (410), số điện thoại hay email sai, nội dung bị từ chối.
Retry giãn cách tăng dần có jitter, có giới hạn số lần và thời hạn (OTP quá hạn thì bỏ). Hết lượt thì vào dead letter để xem và gửi lại có chủ đích. Lỗi vĩnh viễn còn kéo theo dọn dữ liệu: xoá token, đánh dấu email bounce.
Thiết kế giới hạn “không quá 3 tin khuyến mãi mỗi ngày, không gửi sau 22 giờ”.
Kiểm tra lúc gửi (không chỉ lúc tạo chiến dịch): bộ đếm theo user và ngày trong Redis, và giờ yên lặng tính theo múi giờ của user; tin rơi vào giờ yên lặng được dời lịch chứ không bỏ.
INCR notif:mkt:{userId}:{yyyyMMdd} rồi EXPIRE 2 ngày; vượt 3 thì bỏ tin hoặc ghi CAPPED.
Tin giao dịch không tính vào giới hạn này.
Lưu múi giờ của user; tin bị dời vào hàng đợi có delay tới 8 giờ sáng giờ địa phương.
Senior
Thiết kế hệ thống thông báo cho 16 triệu tin mỗi ngày qua push, SMS, email.
Notification API stateless nhận yêu cầu, chống trùng, đọc tuỳ chọn và template từ cache, ghi log PENDING và đẩy vào hàng đợi riêng theo kênh và ưu tiên; worker theo kênh gửi dưới quota nhà cung cấp, retry có backoff, dead letter; webhook cập nhật trạng thái.
Ước lượng: ~185 tin/s trung bình, đỉnh ~2.800 tin/s khi chạy chiến dịch; log ~24 GB/ngày.
Cô lập: một nhà cung cấp chết chỉ làm kênh đó trễ; OTP không chung hàng đợi với khuyến mãi.
Độ tin cậy: at-least-once + idempotency key, outbox giữa log và queue, nhà cung cấp dự phòng cho SMS.
Trải nghiệm: giới hạn tần suất, giờ yên lặng, huỷ đăng ký, in-app inbox cho tin quan trọng.
Vận hành: metric lag theo topic, độ trễ nhận-tới-gửi, tỉ lệ lỗi theo mã; nút dừng khẩn cấp chiến dịch.
Nhà cung cấp SMS chính chết lúc cao điểm OTP. Hệ thống của bạn phản ứng thế nào?
Circuit breaker của kênh SMS mở sau một ngưỡng lỗi, worker chuyển sang nhà cung cấp dự phòng; trong lúc đó tin vẫn nằm an toàn trong hàng đợi, không mất, và người dùng có thể được đề nghị kênh khác (OTP qua email hoặc app xác thực).
Chọn nhà cung cấp bằng một lớp định tuyến có trọng số, đổi được lúc chạy, không cần deploy.
Theo dõi tỉ lệ thành công theo nhà mạng đích: có khi chỉ một nhà mạng hỏng, chuyển riêng phần đó.
OTP quá hạn trong hàng đợi thì bỏ, không gửi bù những mã đã vô dụng.
Sau sự cố: đối soát số tin tính phí với hai nhà cung cấp, kiểm tra không gửi trùng khi chuyển qua lại.
Một chiến dịch gửi nhầm nội dung cho 5 triệu người, đã gửi được 400 nghìn. Thiết kế của bạn cho phép làm gì?
Dừng ngay: chiến dịch có cờ trạng thái mà worker kiểm tra trước mỗi tin (hoặc mỗi lô), bật cờ là các tin còn lại trong hàng đợi bị bỏ qua trong vài giây; không phải xoá hàng triệu message khỏi queue.
Biết chính xác ai đã nhận: log theo campaignId và trạng thái SENT.
Gửi tin đính chính chỉ cho 400 nghìn người đã nhận, dùng idempotency key mới theo chiến dịch đính chính.
Phòng trước: duyệt nội dung hai người, gửi thử cho nhóm nhỏ (canary 1%) và chờ vài phút trước khi mở toàn bộ, giới hạn tốc độ để còn thời gian phản ứng.
Từ vựng tiếng Anh
Term
Phát âm
Nghĩa
Ví dụ câu tiếng Anh dùng trong phỏng vấn
push notification
/pʊʃ ˌnoʊ.t̬ə.fəˈkeɪ.ʃən/
thông báo đẩy
“Push notifications go through APNs and FCM, so delivery isn’t guaranteed.”
fan-out
/ˈfæn.aʊt/
phát ra nhiều nơi
“The campaign fan-out is throttled to stay under the provider quota.”
idempotency key
/ˌaɪ.dəmˈpoʊ.tən.si kiː/
khoá chống làm trùng
“Callers send an idempotency key so retries don’t send the OTP twice.”
dead letter queue
/ded ˈlet̬.ɚ kjuː/
hàng đợi tin hỏng
“After four attempts the task goes to the dead letter queue.”
exponential backoff
/ˌek.spoʊˈnen.ʃəl ˈbæk.ɑːf/
giãn cách tăng dần
“We retry with exponential backoff and full jitter.”
throttle
/ˈθrɑː.t̬əl/
bóp tốc độ
“The provider throttled us with 429s, so the whole channel slowed down.”
quiet hours
/ˈkwaɪ.ət aʊrz/
giờ yên lặng
“Marketing messages during quiet hours are rescheduled, not dropped.”
opt-out
/ˈɑːpt.aʊt/
từ chối nhận
“Every marketing email has a one-click opt-out.”
device token
/dɪˈvaɪs ˈtoʊ.kən/
mã định danh thiết bị để push
“We delete a device token as soon as APNs returns 410.”
failover provider
/ˈfeɪlˌoʊ.vɚ prəˈvaɪ.dɚ/
nhà cung cấp dự phòng
“When the main SMS gateway fails, traffic shifts to the failover provider.”
Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.