Cả bài trong một trang: ý chính, sơ đồ, điểm phỏng vấn.
Mạng máy tính cho backend: DNS, TCP, TLS và cách debug kết nối
1Một lần gọi API
Trước byte đầu tiên của request, client phải tìm IP (DNS), mở kết nối (TCP) và thoả thuận mã hoá (TLS). Mỗi bước tốn khoảng một vòng đi về (RTT).
sequenceDiagram
participant C as Client
participant D as DNS
participant S as Server
C->>D: api.example.com?
D-->>C: IP, TTL
C->>S: TCP SYN, SYN-ACK, ACK (1 RTT)
C->>S: TLS 1.3 ClientHello (1 RTT)
C->>S: GET /orders (1 RTT)
2Dùng lại connection
Keep-alive bỏ được DNS, TCP và TLS, nên HTTP client và JDBC đều dùng connection pool. Đo thật với RTT ~48 ms:
Lần gọi
Tổng
Connection mới, DNS đã cache
166 ms
Connection mới, DNS chưa cache
217 ms
Request thứ hai, cùng connection
52 ms
3TCP: những điều phải biết
TCP là đường ống tin cậy giữa hai IP:port. Vài chi tiết nhỏ gây phần lớn sự cố ở backend.
Ephemeral port 32768–60999: nhiều connection ngắn thì cạn
TIME_WAIT 60 giây ở bên đóng trước
Nagle + delayed ACK: trễ hàng chục ms, bật TCP_NODELAY
Backlog đầy: Linux bỏ SYN, client connect timeout
4Đọc đúng tên lỗi
Mỗi lỗi mạng chỉ ra một tầng. Connect timeout đặt 1–2 giây; read timeout đặt theo p99 của bên kia.
flowchart TD
P["Pool JDBC, connection rảnh 10 phút"] --> N["NAT xoá dòng sau 350 giây"]
N --> Q["Query tiếp theo: không ai trả lời"]
Q --> H["TCP gửi lại, treo khoảng 15 phút"]
H --> F["Sửa: maxLifetime ngắn hơn timeout"]
6Bộ công cụ debug
Đi từ dưới lên: tên ra IP chưa, mở TCP và TLS mất bao lâu, socket ở trạng thái nào, vẫn mù thì xem gói thật.
JVM cache DNS 30 giây; connection đang mở không hỏi lại DNS.
L4 cân bằng theo connection, L7 theo request.
HTTP/2 thường một connection mỗi host; L4 LB không chia được.
Certificate hết hạn là sự cố mTLS phổ biến nhất.
⭐ Điểm phỏng vấn
Tự trả lời trước, rồi bấm từng câu để xem đáp án.
Connect khác read timeout?
Connect: mở TCP; read: chờ giữa hai lần nhận dữ liệu.
TIME_WAIT là vấn đề khi nào?
Client mở nhiều connection ngắn, không keep-alive.
DB failover mà service lỗi vài phút?
Pool giữ connection tới IP cũ; cần maxLifetime.
Xong phần tự kiểm tra, bài này đã được đánh dấu đã học ✓
⚠️ Lỗi thường gặp
Không đặt connect timeout: Linux thử lại SYN khoảng 2 phút.
Pool giữ connection rảnh lâu hơn keep-alive timeout của server: reset sau khoảng rảnh.
Chỉnh tcp_tw_reuse thay vì dùng chung client và keep-alive.
“Connection reset”, “connect timed out”, request treo 15 phút sau một đêm rảnh: dev backend phải tự đọc được các lỗi mạng này. Bài này đi theo một lần gọi API từ DNS tới byte cuối, gom những điều TCP hay gây sự cố, và chỉ cách khoanh vùng lỗi bằng curl, dig, ss, tcpdump, openssl. Số liệu là từ lần chạy của mình (macOS, JDK 21.0.13, curl tới example.com).
1. Chuyện gì xảy ra khi gọi một API
Ý chính: trước khi byte đầu tiên của request đi được, client phải tìm IP (DNS), mở kết nối (TCP) và thoả thuận mã hoá (TLS). Mỗi bước tốn khoảng một vòng đi về (RTT), nên dùng lại connection là cách tăng tốc rẻ nhất.
sequenceDiagram
participant C as Client
participant D as DNS resolver
participant S as Server
C->>D: A/AAAA api.example.com?
D-->>C: 104.20.23.154 (TTL 300)
C->>S: SYN
S-->>C: SYN-ACK
C->>S: ACK + TLS ClientHello (SNI, ALPN, key share)
S-->>C: ServerHello + Certificate + Finished
C->>S: Finished + GET /orders
S-->>C: 200 OK (connection giữ lại để dùng tiếp)
Đo bằng curl -w (các mốc thời gian đều tính từ lúc bắt đầu, không phải từng đoạn):
Lần gọi
DNS xong
TCP xong
TLS xong
Byte đầu (TTFB)
Tổng
Connection mới, DNS đã cache ở OS
1,9 ms
47,9 ms
106,6 ms
166,0 ms
166,1 ms
Connection mới, DNS chưa cache
32,2 ms
76,5 ms
159,6 ms
217,0 ms
217,2 ms
Request thứ hai trên cùng connection
0
0
0
51,7 ms
52,1 ms
RTT khoảng 48 ms: TCP 1 RTT, TLS 1.3 thêm 1 RTT, request thêm 1 RTT. Keep-alive cắt 166 ms xuống 52 ms, nên HTTP client và JDBC đều dùng connection pool (bể connection mở sẵn), xem Connection pool và HikariCP.
DNS đổi tên thành IP; câu trả lời có TTL (được cache bao lâu). Đường đi: cache trong app → resolver của OS → recursive resolver → root → TLD → authoritative server.
DNS chi tiết: cấu hình TTL của JVM, stale cache, Kubernetes ndots
Đặt TTL của JVM: sửa $JAVA_HOME/conf/security/java.security, hoặc gọi Security.setProperty("networkaddress.cache.ttl", "10") trước lookup đầu tiên. -Dsun.net.inetaddr.ttl là cách cũ, không chính thức.
File java.security của JDK 21 còn có networkaddress.cache.stale.ttl (mặc định 0): cho dùng tạm kết quả cũ khi resolver không trả lời.
Kubernetes đặt ndots:5 trong pod: tên ít hơn 5 dấu chấm được thử ghép với từng search domain trước, một lần gọi ra ngoài thành 4–5 lookup. Dùng tên có dấu chấm cuối (api.stripe.com.) hoặc hạ ndots trong dnsConfig.
TLS 1.3 handshake: SNI, ALPN, 0-RTT và cái mình thấy bằng openssl
Linux có hai hàng: SYN queue (đang bắt tay) và accept queue (đã xong, chờ accept()). Kích thước accept queue = min(backlog app truyền vào listen(), net.core.somaxconn); somaxconn mặc định 4096 từ Linux 5.4 (trước đó 128). Tomcat truyền server.tomcat.accept-count (mặc định 100).
Xem: ss -lnt với socket LISTEN, cột Recv-Q là số connection đang chờ accept, Send-Q là kích thước backlog. Bộ đếm tràn: nstat -az TcpExtListenOverflows hoặc netstat -s | grep -i listen.
Accept queue đầy thường nghĩa là app không theo kịp (hết worker, GC dài); tăng backlog chỉ làm client chờ lâu hơn.
Nagle + delayed ACK: client ghi header rồi body thành hai lần nhỏ. Nagle giữ lần thứ hai chờ ACK, bên kia hoãn ACK (Linux tới khoảng 40 ms). Mỗi request chậm thêm một khoảng cố định. Code tự viết bằng Socket thì gọi setTcpNoDelay(true) và gom dữ liệu thành một lần ghi.
3. Connect timeout, read timeout và các lỗi hay gặp
Ý chính: mỗi lỗi mạng chỉ ra một tầng cụ thể. Đọc đúng tên lỗi là đã khoanh được nửa vùng tìm.
Chương trình JDK 21 của mình tạo từng tình huống (code ở Bài tập 2):
Tình huống
Java báo
Thời gian đo
Nghĩa là
Không ai nghe port
ConnectException: Connection refused
7 ms
Tới được máy, kernel trả RST cho SYN (hoặc firewall REJECT)
SYN vào hư không (10.255.255.1)
SocketTimeoutException: Connect timed out
1001 ms (timeout 1 s)
Không ai trả lời: firewall DROP, máy chết, IP sai, backlog đầy
Server nhận nhưng không trả lời
SocketTimeoutException: Read timed out
504 ms (timeout 500 ms)
Connection ổn, bên kia chậm hoặc treo
Server đóng với SO_LINGER=0
SocketException: Connection reset
1 ms
Bên kia gửi RST
Server đóng bình thường
read() trả -1; ghi tiếp thì Broken pipe
—
FIN, rồi RST khi ta cố ghi
Connect timeout đo việc mở TCP (client HTTP thường gộp cả TLS), đặt 1–2 giây. Read timeout đo khoảng chờ giữa hai lần nhận dữ liệu, đặt theo p99 của bên kia. Không có connect timeout thì Linux thử lại SYN (tcp_syn_retries=6) khoảng 2 phút mới bỏ. Chọn giá trị và retry ở Timeout, retry và circuit breaker.
4. Load balancer L4, L7, NAT và MTU
Ý chính: giữa client và server thường có load balancer, NAT, firewall. Mỗi thiết bị giữ trạng thái connection với idle timeout riêng; quên connection thì drop gói hoặc trả RST.
L4 (TCP/UDP)
L7 (HTTP)
Nhìn thấy
IP, port
URL, header, cookie, từng request HTTP/2
Cân bằng theo
Connection
Request
TLS
Chuyển nguyên (passthrough) hoặc terminate
Terminate để đọc HTTP
Ví dụ
AWS NLB, kube-proxy (Service ClusterIP)
AWS ALB, Nginx, Envoy, ingress
Vì L4 cân bằng theo connection, connection sống lâu (HTTP/2, gRPC, pool JDBC) bám mãi vào một backend; đây là cái bẫy gRPC trên Kubernetes ở bài giao tiếp đồng bộ.
NAT và conntrack. NAT (đổi IP:port riêng thành IP công khai) và conntrack của Linux (bảng theo dõi connection, dùng cho NAT và kube-proxy) giữ một dòng cho mỗi connection. Rảnh quá idle timeout thì dòng bị xoá: gói sau bị drop hoặc nhận RST. Bảng đầy thì kernel log nf_conntrack: table full, dropping packet.
MTU (gói lớn nhất một chặng truyền được): Ethernet 1500 byte, trừ header IPv4 + TCP còn MSS 1460 byte. VPN, overlay (VXLAN thêm 50 byte) làm MTU nhỏ hơn. Firewall chặn ICMP “fragmentation needed” thì Path MTU Discovery hỏng: request nhỏ chạy, response lớn treo.
5. HTTP/1.1, HTTP/2, HTTP/3 ở tầng transport và mTLS
Ý chính: phiên bản HTTP quyết định cần bao nhiêu connection và connection sống bao lâu. mTLS thêm bước server kiểm tra certificate của client.
HTTP/1.1: một connection chỉ chạy một request tại một thời điểm, nên client cần pool nhiều connection mỗi host.
HTTP/2: nhiều stream trên một connection TCP, thường chỉ một connection mỗi host. Mất một gói thì mọi stream chờ (head-of-line blocking ở TCP), và L4 LB không chia được tải.
HTTP/3: chạy trên QUIC (UDP), gộp bắt tay transport và TLS, connection định danh bằng connection ID nên đổi mạng không đứt. Firewall hay chặn UDP, nên client luôn có đường lùi về TCP.
mTLS (mutual TLS): server cũng đòi client trình certificate do CA nội bộ ký. Dùng giữa các service theo kiểu zero-trust (không tin ai chỉ vì cùng mạng). Trong Java, keystore chứa certificate và private key của mình, truststore chứa các CA mình tin; Spring Boot 3.1+ gom vào spring.ssl.bundle. Service mesh (Istio, Linkerd) tự cấp và xoay vòng certificate.
6. Bộ công cụ debug
Ý chính: đi từ dưới lên: tên ra IP chưa (dig), mở TCP/TLS mất bao lâu (curl, openssl), socket ở trạng thái nào (ss), vẫn mù thì xem gói thật (tcpdump).
ss -tan state time-wait | wc -l, ss -tnp dst :5432, ss -ti (RTT, retransmit); macOS: netstat -an
Ai gửi RST, SYN có ra không
sudo tcpdump -i any -nn 'port 5432 and (tcp[tcpflags] & (tcp-syn|tcp-rst) != 0)'
tcpdump -w file.pcap rồi mở bằng Wireshark: lọc tcp.flags.reset == 1 tìm ai gửi RST, tcp.analysis.retransmission tìm gói phải gửi lại.
Mình chưa chạy ss (macOS không có), tcpdump (cần sudo) và các tham số kernel Linux; cần thử lại trên máy Linux.
Bài tập
Bài 1: Đọc bảng thời gian của curl -w
Chạy lệnh dưới đây ba lần, rồi trả lời: RTT tới server là bao nhiêu, TLS tốn mấy RTT, server xử lý mất bao lâu? Nếu time_connect là 3 giây, time_appconnect − time_connect là 2 giây, hoặc time_starttransfer − time_appconnect là 2 giây, thì mỗi trường hợp nghi ngờ gì?
Kết quả của mình: dns=0.001857 connect=0.047921 tls=0.106648 ttfb=0.165987 total=0.166090 new=1.
Các mốc cộng dồn từ lúc bắt đầu, nên lấy hiệu:
Pha
Cách tính
Kết quả
DNS
dns
1,9 ms (đã cache ở OS; lần lạnh là 32 ms)
TCP handshake
connect − dns
46 ms ≈ 1 RTT
TLS 1.3
tls − connect
59 ms ≈ 1 RTT + chút CPU
Request tới byte đầu
ttfb − tls
59 ms ≈ 1 RTT + thời gian server
Tải body
total − ttfb
0,1 ms (trang nhỏ)
RTT khoảng 46–48 ms, nên server (CDN) xử lý chỉ vài ms. Ba trường hợp bất thường:
connect = 3 s: SYN bị mất và gửi lại (Linux chờ 1 s rồi tăng dần), backlog server đầy, hoặc firewall drop. tcpdump sẽ thấy nhiều SYN không có SYN-ACK.
TLS = 2 s: server thiếu CPU cho handshake, hoặc client kiểm tra OCSP/CRL chậm. Dùng openssl s_client để tách khỏi app.
ttfb − tls = 2 s: mạng ổn, chính ứng dụng chậm. Chuyển sang distributed tracing.
new=0 và ba mốc đầu bằng 0 nghĩa là request đi trên connection cũ (52 ms ở lần đo của mình).
Bài 2: Phân biệt “connection reset” và “connect timeout”
Viết chương trình Java tạo lại năm tình huống ở mục 3. Sau đó chẩn đoán: (a) service báo Connect timed out tới DB sau khi đổi security group; (b) service báo Connection reset lác đác vào buổi sáng khi gọi một API nội bộ qua ALB.
Lời giải bài 2: code và chẩn đoán
// Trích phần cốt lõi; ba tình huống còn lại (refused, read timeout, FIN) viết tương tựtry (Socket s = new Socket()) { // SYN vào hư không start(); s.connect(new InetSocketAddress("10.255.255.1", 80), 1000);} catch (IOException e) { System.out.println("connect : " + e + " after " + ms()); }try (ServerSocket server = new ServerSocket(0, 50, InetAddress.getLoopbackAddress())) { Thread srv = Thread.ofPlatform().start(() -> { // server huỷ connection bằng RST try { Socket c = server.accept(); c.setSoLinger(true, 0); c.close(); } catch (Exception ignored) {} }); try (Socket s = new Socket()) { s.connect(server.getLocalSocketAddress(), 1000); srv.join(); Thread.sleep(100); start(); s.getInputStream().read(); } catch (IOException e) { System.out.println("rst : " + e + " after " + ms()); }}// Read timeout: server accept() rồi ngủ, client setSoTimeout(500) rồi read().// FIN: server close() bình thường, client read() trả -1, ghi tiếp thì Broken pipe.
Kết quả trên JDK 21.0.13 (macOS):
refused : java.net.ConnectException: Connection refused (connect failed) after 7 msconnect : java.net.SocketTimeoutException: Connect timed out after 1001 msread : java.net.SocketTimeoutException: Read timed out after 504 msrst : java.net.SocketException: Connection reset after 1 msfin : read returned -1fin : write after FIN -> java.net.SocketException: Broken pipe
(a) Connect timeout sau khi đổi security group. Security group drop gói chứ không trả RST, nên client thấy timeout chứ không phải refused. Kiểm tra: dig tên DB ra đúng IP chưa; nc -vz -w 2 db-host 5432 từ chính máy app; tcpdump thấy SYN ra mà không có SYN-ACK; rồi rà inbound rule và NACL. Nếu là Connection refused thì mạng thông, chỉ là DB không nghe port đó.
(b) Reset lác đác buổi sáng qua ALB. Lác đác và sau khoảng rảnh gợi ý connection keep-alive cũ: ALB đóng connection rảnh sau 60 giây, pool client vẫn dùng lại. Xác nhận: lỗi chỉ ở request đầu trên mỗi connection, tcpdump thấy RST từ phía LB. Sửa: idle eviction của pool ngắn hơn idle timeout của ALB, retry một lần cho request idempotent. Reset giữa lúc tải cao thì nghĩ tới backend crash, deploy không drain connection, hoặc conntrack đầy.
Ghi nhớ
Giải thích được một lần gọi HTTPS mới tốn những RTT nào và vì sao keep-alive cắt được ~2/3 thời gian.
Biết JVM cache DNS bao lâu, cấu hình ở đâu, và vì sao connection trong pool không thấy DNS đổi.
Phân biệt được refused, connect timeout, read timeout, reset, và chỉ ra tầng gây ra mỗi lỗi.
Biết idle timeout của LB/NAT ảnh hưởng gì tới pool và đặt maxLifetime, keepalive cho đúng.
Dùng được curl -w, dig, openssl s_client, ss, tcpdump để khoanh vùng lỗi mạng.
Tra DNS ra IP, bắt tay TCP (1 RTT), bắt tay TLS (1 RTT với TLS 1.3), gửi request và chờ response (1 RTT + thời gian server); connection được giữ lại cho lần sau.
Đo thật với RTT 48 ms: connection mới 166 ms, dùng lại connection 52 ms.
Connect timeout và read timeout khác nhau thế nào?
Connect timeout giới hạn thời gian mở kết nối; read timeout giới hạn thời gian chờ dữ liệu trên kết nối đã mở.
Connect timeout đặt 1–2 giây, read timeout theo p99 của bên kia, thêm deadline tổng nếu có retry.
Mid
TIME_WAIT là gì và khi nào nó thành vấn đề?
Trạng thái bên đóng connection trước giữ socket thêm 2×MSL (60 giây trên Linux) để gói trễ không lẫn vào connection mới; nó thành vấn đề khi một client mở rất nhiều connection ngắn tới cùng một đích.
Tới cùng một đích chỉ có khoảng 28.000 ephemeral port; triệu chứng Cannot assign requested address. Chữa bằng keep-alive và connection pool.
Load balancer L4 và L7 khác nhau thế nào, khi nào chọn cái nào?
L4 chuyển tiếp TCP/UDP theo connection mà không đọc nội dung; L7 hiểu HTTP và cân bằng, route theo từng request.
L4 nhanh, mọi giao thức, chuyển nguyên TLS được. L7 route theo path/header, retry, chia tải đúng cho HTTP/2 và gRPC.
Log có Connection reset by peer. Bạn nghĩ tới những nguyên nhân nào?
Bên kia, hoặc thiết bị giữa đường, đã gửi RST: thường là dùng lại connection đã bị đóng vì rảnh, process bên kia chết, hoặc LB/NAT quên connection.
Xem lỗi có đi sau khoảng rảnh hay trùng lúc deploy không, tcpdump để biết RST từ IP nào. Sửa idle timeout của pool ngắn hơn bên kia, retry request idempotent.
Senior
DB failover xong nhưng service Java vẫn lỗi vài phút. Vì sao?
Connection đang mở trong pool vẫn trỏ tới IP cũ vì DNS chỉ được hỏi khi tạo connection mới, cộng thêm cache DNS của JVM và TTL của bản ghi.
Cần TTL DNS ngắn, networkaddress.cache.ttl thấp, socket timeout để phát hiện connection chết, và maxLifetime để connection được thay định kỳ.
Query đầu tiên sau một đêm rảnh treo khoảng 15 phút rồi mới lỗi. Bạn điều tra thế nào?
Nghi ngay idle timeout của NAT, firewall hoặc LB: connection rảnh bị xoá khỏi bảng trạng thái, gói gửi đi bị drop, TCP retransmit tới khi bỏ cuộc.
15 phút khớp tcp_retries2=15. Kiểm tra idle timeout trên đường (NAT Gateway, NLB 350 giây), tcpdump thấy retransmit không ACK. Sửa: maxLifetime ngắn hơn timeout đó, keepaliveTime của pool, và socket timeout.
Service Spring Boot quá tải. Request xếp hàng ở đâu, và vì sao lúc thì client thấy connect timeout, lúc thì 502, 503 hay 504?
Request chờ qua nhiều hàng đợi: backlog TCP của OS, giới hạn connection của Tomcat, hàng đợi của thread pool, rồi pool connection DB. Đầy ở tầng nào thì triệu chứng ở tầng đó: backlog đầy là connect timeout/refused, proxy chờ quá lâu là 504, upstream chết hoặc đóng kết nối là 502, không còn upstream khoẻ hoặc bị limiter từ chối là 503.
Tomcat (NIO) mặc định: maxThreads 200 luồng xử lý, maxConnections 8.192, acceptCount 100 là backlog của OS khi đã đủ maxConnections. Hết cả backlog thì OS bỏ hoặc từ chối kết nối mới: Tomcat không trả 503 ở đây.
Request đã vào nhưng chờ luồng hoặc chờ connection DB: client thấy read timeout; Hikari báo Connection is not available, request timed out after 30000ms.
Có proxy phía trước: proxy chờ quá proxy_read_timeout là 504; backend refuse, reset, hoặc trả response hỏng là 502; mọi backend bị đánh dấu down là 502/503 tuỳ proxy.
Chẩn đoán: thread dump (bao nhiêu luồng đang chờ getConnection hay chờ HTTP ra ngoài), metric tomcat.threads.busy, hikaricp.connections.pending, ss -lnt xem Recv-Q của socket đang listen.
Chữa gốc: timeout ngắn tới dependency, giới hạn đồng thời, trả 503 sớm có chủ ý (load shedding) thay vì để hàng đợi dài vô hạn.
Từ vựng tiếng Anh
Term
Phát âm
Nghĩa
Ví dụ câu tiếng Anh dùng trong phỏng vấn
round trip time (RTT)
/raʊnd trɪp taɪm/
thời gian một vòng đi về
“A fresh HTTPS call costs about three round trips before the first byte.”
ephemeral port
/ɪˈfem.ər.əl pɔːrt/
port tạm phía client
“We ran out of ephemeral ports because every request opened a new connection.”
connection reset
/kəˈnek.ʃən ˌriːˈset/
kết nối bị huỷ bằng RST
“The reset came from the load balancer, not from our service.”
black-holed
/ˈblæk.hoʊld/
gói bị nuốt, không phản hồi
“Our SYNs were black-holed by the security group, so we saw connect timeouts.”
idle timeout
/ˈaɪ.dəl ˈtaɪm.aʊt/
thời gian rảnh tối đa
“The NAT gateway’s idle timeout is shorter than our pool’s max lifetime.”
TLS termination
/ˌtiː.elˈes ˌtɝː.mɪˈneɪ.ʃən/
giải mã TLS tại một điểm
“We terminate TLS at the ingress and use mTLS inside the mesh.”
head-of-line blocking
/hed əv laɪn ˈblɑː.kɪŋ/
nghẽn đầu hàng
“HTTP/2 still suffers TCP-level head-of-line blocking on lossy networks.”
path MTU discovery
/pæθ ˌem.tiːˈjuː dɪˈskʌv.ər.i/
dò kích thước gói tối đa
“Blocking ICMP broke path MTU discovery, so large responses hung.”
Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.