Rejestrowanie obniża wydajność MySQL - ale dlaczego?

Jestem bardzo zaskoczony, że nie mogę znaleźć odpowiedzi na to gdziekolwiek na miejscu już, ani w dokumentacji MySQL ( sekcja 5.2 wydaje się być dobrze pokryte zalogowaniu inaczej!)

Po włączeniu binlogów widzę niewielki spadek wydajności (subiektywnie), którego należy się spodziewać przy odrobinie dodatkowego We / Wy - ale po włączeniu ogólnego dziennika zapytań widzę ogromny spadek wydajności (dwukrotnie dłuższy czas na uruchamianie zapytań, lub gorzej), znacznie przekraczając to, co widzę w binlogach. Oczywiście teraz rejestruję każdy WYBÓR, a także każdą AKTUALIZACJĘ / WSTAW, ale inne demony rejestrują każde żądanie (Apache, Exim) bez zatrzymywania się.

Czy widzę tylko efekty zbliżenia się do „punktu krytycznego” wydajności, jeśli chodzi o IO, czy też jest coś zasadniczo trudnego w rejestrowaniu zapytań, które to powoduje? Chciałbym móc rejestrować wszystkie zapytania, aby ułatwić programowanie, ale nie mogę usprawiedliwić tego rodzaju sprzętu, który wydaje się potrzebny do odzyskania wydajności przy ogólnym logowaniu zapytań.

Oczywiście rejestruję powolne zapytania, a jeśli je wyłączę, poprawa ogólnego zastosowania będzie nieznaczna.

(Wszystko to dotyczy Ubuntu 10.04 LTS, MySQLd 5.1.49, ale badania sugerują, że jest to dość uniwersalny problem)

Ogólne dzienniki zapytań to dużo więcej operacji IO niż dzienniki binarne. Poza tym, że większość serwerów SQL ma 90% odczytów do 10% zapisów, dzienniki binarne są przechowywane w formacie binarnym zamiast zwykłego tekstu, który zajmuje mniej miejsca na dysku. (Ile mniej miejsca? Nie jestem pewien. Przepraszam.)

Istnieją dwa aspekty, dlaczego Apache i Exim mogą rejestrować każde żądanie bez znaczącego wpływu na wydajność. Po pierwsze, rejestrują fakt, że żądanie miało miejsce, ale to, co umieszczają w dzienniku, jest zwykle znacznie mniejsze niż rzeczywiste żądanie. Żądanie HTTP jest często dwa razy większe niż linia w dzienniku, a nawet krótki tekst w postaci zwykłego tekstu jest 10 lub 20 razy większy niż linia dziennika, która mu towarzyszy. Wiadomość e-mail z załącznikiem 10 MB nadal będzie zawierała tylko kilka wierszy w dzienniku.

Drugą częścią tego jest to, że w normalnej aplikacji internetowej zwykle jest kilkadziesiąt zapytań SQL powiązanych z jedną stroną HTTP. Wiadomości e-mail mają zwykle mniejszą liczbę niż żądania HTTP. Twój serwer MySQL prawdopodobnie próbuje zarejestrować znacznie więcej niż Apache lub Exim.

Spójrz na rozmiar (nieskompresowany) dzienników binarnych i ogólnych MySQL oraz dzienników Apache i Exim na koniec dnia. Założę się, że okaże się, że ogólny dziennik MySQL jest największy co najmniej 5 razy.

Aby dodać do podanej odpowiedzi , zobaczysz także spadek wydajności, jeśli logujesz się na to samo urządzenie, na którym znajdują się Twoje magazyny danych MySQL - jeśli jest to ten sam dysk, będziesz czytać i zapisywać w wielu lokalizacjach cały czas, spowalniając cały proces.

Jest to prawdą, nawet jeśli jest to inna partycja na tym samym dysku fizycznym.

Jeśli rejestrowanie odbywa się na innym urządzeniu, powinno to złagodzić niektóre problemy z wydajnością.