Co to jest latencja P99?

Co oznacza opóźnienie P99? Ciągle słyszę o tym w dyskusjach na temat wydajności aplikacji, ale nie mogłem znaleźć w Internecie zasobu, który by o tym mówił.

To 99 centyl . Oznacza to, że 99% żądań powinno być szybszych niż podane opóźnienie. Innymi słowy, tylko 1% żądań może być wolniejszych.

Możemy to wyjaśnić poprzez analogię, jeśli 100 uczniów bierze udział w wyścigu, wówczas 99 uczniów powinno ukończyć wyścig w czasie „latencji”.

Wyobraź sobie, że zbierasz dane o wydajności swojej usługi, a poniższa tabela to zbiór wyników (wartości opóźnienia są fikcyjne i ilustrują ten pomysł).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

Opóźnienie P99 Twojej usługi wynosi 7 sekund. Tylko 1% żądań trwa dłużej. Jeśli więc możesz zmniejszyć opóźnienie P99 swojej usługi, zwiększysz jej wydajność.

Weźmy przykład stąd

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Można więc powiedzieć, że 99 procent żądań internetowych, znalezione opóźnienie wynosiło 1,3 ms (ms / mikrosekund zależy od skonfigurowanych miar opóźnienia systemu) lub mniej. Jak powiedział @tranmq, jeśli zmniejszymy opóźnienie P99 usługi, możemy zwiększyć jej wydajność.

Warto również zwrócić uwagę na p95, ponieważ może być niewiele żądań, co powoduje, że p99 jest droższy niż p95, np.) Żądania początkowe, które budują pamięć podręczną, rozgrzewają się obiekty klas, inicjują wątki ...

Wreszcie; w naszych pomiarach możemy mieć około 1% szumu (np. przeciążenia sieci, przerwy w dostawie, degradacja usług), więc opóźnienie p99 jest dobrym przykładem praktycznie najgorszego przypadku. I prawie zawsze naszym celem jest zmniejszenie opóźnienia p99.