Nginx proxy_read_timeout vs. proxy_connect_timeout

Zacząłem używać Nginx jako odwrotnego proxy dla zestawu serwerów, które świadczą jakąś usługę.

Usługa może być czasami dość powolna (działa na Javie, a JVM czasami utknie w „pełnym śmieciu”, co może potrwać kilka sekund), więc ustawiłem na proxy_connect_timeout2 sekundy, co da Nginxowi wystarczająco dużo czasu na wymyślenie obecnie usługa utknęła na GC i nie odpowie na czas i powinna przekazać żądanie do innego serwera.

Ustawiłem również, proxy_read_timeoutaby zapobiec blokowaniu się zwrotnego serwera proxy, jeśli sama usługa zajmuje zbyt dużo czasu na obliczenie odpowiedzi - ponownie powinna przenieść żądanie na inny serwer, który powinien być wystarczająco wolny, aby zwrócić szybką odpowiedź.

Uruchomiłem kilka testów porównawczych i wyraźnie widzę, że proxy_connect_timeoutdziała poprawnie, ponieważ niektóre żądania zwracają się dokładnie w czasie określonym dla limitu czasu połączenia, ponieważ usługa jest zablokowana i nie przyjmuje połączeń przychodzących (usługa używa Jetty jako wbudowanego pojemnik serwletu). proxy_read_timeoutRównież działa, jak widzę, że wnioski o zwrot Po upływie czasu określonego tam.

Problem polega na tym, że spodziewałbym się, że niektóre żądania przekroczą limit czasu proxy_read_timeout + proxy_connect_timeoutlub prawie tak długo, jeśli usługa utknie i nie zaakceptuje połączeń, gdy Nginx spróbuje uzyskać do niej dostęp, ale zanim Nginx zdoła przekroczyć limit czasu - zostanie zwolniona i rozpoczyna przetwarzanie, ale jest zbyt wolny i Nginx przerwałby z powodu przekroczenia limitu czasu odczytu. Uważam, że usługa ma takie przypadki, ale po uruchomieniu kilku testów porównawczych, w sumie kilku milionów żądań - nie widziałem żadnego żądania, które zwraca coś powyżej proxy_read_timeout(co oznacza dłuższy limit czasu).

Byłbym wdzięczny za każdy komentarz na ten temat, choć myślę, że może to wynikać z błędu w Nginx (muszę jeszcze przyjrzeć się kodowi, więc to tylko założenie), że licznik limitu czasu nie resetuje się po połączeniu powiedzie się, jeśli Nginx nie odczytał niczego z serwera nadrzędnego.

Nie byłem w stanie odtworzyć tego na:

2011/08/20 20:08:43 [notice] 8925#0: nginx/0.8.53
2011/08/20 20:08:43 [notice] 8925#0: built by gcc 4.1.2 20080704 (Red Hat 4.1.2-48)
2011/08/20 20:08:43 [notice] 8925#0: OS: Linux 2.6.39.1-x86_64-linode19

Skonfigurowałem to w moim pliku nginx.conf:

proxy_connect_timeout   10;
proxy_send_timeout      15;
proxy_read_timeout      20;

Następnie skonfigurowałem dwa serwery testowe. Taki, który po prostu przekroczy limit czasu w SYN i taki, który zaakceptuje połączenia, ale nigdy nie odpowie:

upstream dev_edge {
  server 127.0.0.1:2280 max_fails=0 fail_timeout=0s; # SYN timeout
  server 10.4.1.1:22 max_fails=0 fail_timeout=0s; # accept but never responds
}

Następnie wysłałem jedno połączenie testowe:

[m4@ben conf]$ telnet localhost 2480
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
GET / HTTP/1.1
Host: localhost

HTTP/1.1 504 Gateway Time-out
Server: nginx
Date: Sun, 21 Aug 2011 03:12:03 GMT
Content-Type: text/html
Content-Length: 176
Connection: keep-alive

Potem obejrzał error_log, który pokazał to:

2011/08/20 20:11:43 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while connecting to upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://10.4.1.1:22/", host: "localhost"

następnie:

2011/08/20 20:12:03 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:2280/", host: "localhost"

A następnie access.log, który ma spodziewany limit 30s (10 + 20):

504:32.931:10.003, 20.008:.:176 1 127.0.0.1 localrhost - [20/Aug/2011:20:12:03 -0700] "GET / HTTP/1.1" "-" "-" "-" dev_edge 10.4.1.1:22, 127.0.0.1:2280 -

Oto używany przeze mnie format dziennika, który obejmuje indywidualne przekroczenia limitu czasu:

log_format  edge  '$status:$request_time:$upstream_response_time:$pipe:$body_bytes_sent $connection $remote_addr $host $remote_user [$time_local] "$request" "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $edge $upstream_addr $upstream_cache_status';

Problem polega na tym, że spodziewałbym się, że niektóre żądania przekroczą limit czasu po proxy_read_timeout + proxy_connect_timeout lub prawie po tym czasie, jeśli usługa utknęła i nie akceptuje połączeń, gdy Nginx próbuje uzyskać do niej dostęp, ale zanim Nginx zdoła przekroczyć limit czasu - zostaje zwolniony i rozpoczyna przetwarzanie, ale jest zbyt wolny i Nginx przerwałby z powodu przekroczenia limitu czasu odczytu.

Limit czasu połączenia oznacza opóźnienie TCP podczas uzgadniania (np. Nie było SYN_ACK). TCP spróbuje ponownie wysłać SYN, ale dałeś tylko 2 sekundy. do Nginx, aby przejść na inny Serwer, więc po prostu nie ma czasu na ponowne wysyłanie SYN.

UPD.: Nie można znaleźć w dokumentach, ale tcpdump pokazuje, że są 3 sekundy. opóźnienie między 1. wysłanym SYN a 2. próbą wysłania SYN.