Dlaczego PostgreSQL wybiera droższe zamówienie na dołączenie?

PostgreSQL używa domyślnych ustawień plus

default_statistics_target=1000
random_page_cost=1.5

Wersja

PostgreSQL 10.4 on x86_64-pc-linux-musl, compiled by gcc (Alpine 6.4.0) 6.4.0, 64-bit

Odkurzyłem i przeanalizowałem. Zapytanie jest bardzo proste:

SELECT r.price
FROM account_payer ap
  JOIN account_contract ac ON ap.id = ac.account_payer_id
  JOIN account_schedule "as" ON ac.id = "as".account_contract_id
  JOIN schedule s ON "as".id = s.account_schedule_id
  JOIN rate r ON s.id = r.schedule_id
WHERE ap.account_id = 8

Każda idkolumna jest kluczem podstawowym, a wszystko, co jest połączone, jest relacją klucza obcego, a każdy klucz obcy ma indeks. Plus indeks dla account_payer.account_id.

Zwrócenie 76 tys. Wierszy zajmuje 3,93 s.

Merge Join  (cost=8.06..83114.08 rows=3458267 width=6) (actual time=0.228..3920.472 rows=75548 loops=1)
  Merge Cond: (s.account_schedule_id = "as".id)
  ->  Nested Loop  (cost=0.57..280520.54 rows=6602146 width=14) (actual time=0.163..3756.082 rows=448173 loops=1)
        ->  Index Scan using schedule_account_schedule_id_idx on schedule s  (cost=0.14..10.67 rows=441 width=16) (actual time=0.035..0.211 rows=89 loops=1)
        ->  Index Scan using rate_schedule_id_code_modifier_facility_idx on rate r  (cost=0.43..486.03 rows=15005 width=10) (actual time=0.025..39.903 rows=5036 loops=89)
              Index Cond: (schedule_id = s.id)
  ->  Materialize  (cost=0.43..49.46 rows=55 width=8) (actual time=0.060..12.984 rows=74697 loops=1)
        ->  Nested Loop  (cost=0.43..49.32 rows=55 width=8) (actual time=0.048..1.110 rows=66 loops=1)
              ->  Nested Loop  (cost=0.29..27.46 rows=105 width=16) (actual time=0.030..0.616 rows=105 loops=1)
                    ->  Index Scan using account_schedule_pkey on account_schedule "as"  (cost=0.14..6.22 rows=105 width=16) (actual time=0.014..0.098 rows=105 loops=1)
                    ->  Index Scan using account_contract_pkey on account_contract ac  (cost=0.14..0.20 rows=1 width=16) (actual time=0.003..0.003 rows=1 loops=105)
                          Index Cond: (id = "as".account_contract_id)
              ->  Index Scan using account_payer_pkey on account_payer ap  (cost=0.14..0.21 rows=1 width=8) (actual time=0.003..0.003 rows=1 loops=105)
                    Index Cond: (id = ac.account_payer_id)
                    Filter: (account_id = 8)
                    Rows Removed by Filter: 0
Planning time: 5.843 ms
Execution time: 3929.317 ms

Jeśli join_collapse_limit=1ustawię, zajmie to 0,16 s, czyli 25-krotne przyspieszenie.

Nested Loop  (cost=6.32..147323.97 rows=3458267 width=6) (actual time=8.908..151.860 rows=75548 loops=1)
  ->  Nested Loop  (cost=5.89..390.23 rows=231 width=8) (actual time=8.730..11.655 rows=66 loops=1)
        Join Filter: ("as".id = s.account_schedule_id)
        Rows Removed by Join Filter: 29040
        ->  Index Scan using schedule_pkey on schedule s  (cost=0.27..17.65 rows=441 width=16) (actual time=0.014..0.314 rows=441 loops=1)
        ->  Materialize  (cost=5.62..8.88 rows=55 width=8) (actual time=0.001..0.011 rows=66 loops=441)
              ->  Hash Join  (cost=5.62..8.61 rows=55 width=8) (actual time=0.240..0.309 rows=66 loops=1)
                    Hash Cond: ("as".account_contract_id = ac.id)
                    ->  Seq Scan on account_schedule "as"  (cost=0.00..2.05 rows=105 width=16) (actual time=0.010..0.028 rows=105 loops=1)
                    ->  Hash  (cost=5.02..5.02 rows=48 width=8) (actual time=0.178..0.178 rows=61 loops=1)
                          Buckets: 1024  Batches: 1  Memory Usage: 11kB
                          ->  Hash Join  (cost=1.98..5.02 rows=48 width=8) (actual time=0.082..0.143 rows=61 loops=1)
                                Hash Cond: (ac.account_payer_id = ap.id)
                                ->  Seq Scan on account_contract ac  (cost=0.00..1.91 rows=91 width=16) (actual time=0.007..0.023 rows=91 loops=1)
                                ->  Hash  (cost=1.64..1.64 rows=27 width=8) (actual time=0.048..0.048 rows=27 loops=1)
                                      Buckets: 1024  Batches: 1  Memory Usage: 10kB
                                      ->  Seq Scan on account_payer ap  (cost=0.00..1.64 rows=27 width=8) (actual time=0.009..0.023 rows=27 loops=1)
                                            Filter: (account_id = 8)
                                            Rows Removed by Filter: 24
  ->  Index Scan using rate_schedule_id_code_modifier_facility_idx on rate r  (cost=0.43..486.03 rows=15005 width=10) (actual time=0.018..1.685 rows=1145 loops=66)
        Index Cond: (schedule_id = s.id)
Planning time: 4.692 ms
Execution time: 160.585 ms

Te wyniki nie mają dla mnie sensu. Pierwszy ma (bardzo wysoki) koszt 280,500 dla łączenia w pętli zagnieżdżonej dla wskaźników harmonogramu i wskaźników. Dlaczego PostgreSQL celowo wybiera najpierw bardzo drogie połączenie?

Dodatkowe informacje wymagane za pośrednictwem komentarzy

Czy rate_schedule_id_code_modifier_facility_idxindeks jest złożony?

Jest to schedule_idpierwsza kolumna. Uczyniłem go dedykowanym indeksem i jest wybierany przez narzędzie do planowania zapytań, ale nie wpływa to na wydajność ani w żaden inny sposób nie wpływa na plan.

— Paul Draper
źródło

Czy możesz zmienić ustawienia default_statistics_targeti random_page_costprzywrócić ustawienia domyślne? Co się stanie, gdy podbijesz default_statistics_targetjeszcze bardziej? Czy możesz zrobić DB Fiddle (at dbfiddle.uk) i spróbować odtworzyć tam problem?

— Colin 't Hart

Czy możesz sprawdzić rzeczywiste statystyki, aby sprawdzić, czy w twoich danych jest coś wypaczonego / dziwnego? postgresql.org/docs/10/static/planner-stats.html

— Colin 't Hart

Jaka jest aktualna wartość parametru work_mem? Zmiana go daje różne czasy?

— eppesuig

Wygląda na to, że albo twoje statystyki nie są dokładne (uruchom analizę próżni, aby je odświeżyć) albo masz skorelowane kolumny w swoim modelu (i dlatego musisz wykonać, create statisticsaby poinformować planistę o tym fakcie).

Ten join_collapseparametr pozwala planistom zmienić kolejność połączeń, aby wykonać tę pierwszą, która pobiera mniej danych. Jednak ze względu na wydajność nie możemy pozwolić, aby planista zrobił to w przypadku zapytania z wieloma połączeniami. Domyślnie jest ustawiony na maksymalnie 8 złączeń. Ustawiając ją na 1, po prostu wyłączasz tę umiejętność.

Jak więc Postgres przewiduje, ile wierszy powinno pobrać to zapytanie? Wykorzystuje statystyki do oszacowania liczby wierszy.

To, co widzimy w twoich planach wyjaśniających, to to, że istnieje kilka niedokładnych oszacowań liczby wierszy (pierwsza wartość to oszacowanie, druga to rzeczywistość).

Na przykład tutaj:

Materialize  (cost=0.43..49.46 rows=55 width=8) (actual time=0.060..12.984 rows=74697 loops=1)

Szacuje się, że planista uzyskał 55 rzędów, kiedy faktycznie dostał 74697.

Co bym zrobił (gdybym był w twoich butach) to:

analyze pięć tabel potrzebnych do odświeżenia statystyk
Powtórna rozgrywka explain analyze
Spójrz na różnicę między szacowanymi numerami wierszy a rzeczywistymi numerami wierszy
Jeśli szacunkowe numery wierszy są prawidłowe, być może plan się zmienił i jest bardziej wydajny. Jeśli wszystko jest w porządku, możesz rozważyć zmianę ustawień automatycznego odkurzania, więc analiza (i próżnia) działa częściej
Jeśli szacunkowe numery wierszy są nadal niepoprawne, wygląda na to, że masz skorelowane dane w tabeli (trzecie naruszenie normalnego formularza). Możesz rozważyć ich zadeklarowanie CREATE STATISTICS( tutaj dokumentacja )

Jeśli potrzebujesz więcej informacji o szacunkach wierszy i ich obliczeniach, znajdziesz wszystko, czego potrzebujesz w przemówieniu Konfederacji Tomas Vondra „Tworzenie statystyk - do czego to służy?” (slajdy tutaj )

— Arkhena
źródło