ST_Distance nie używa indeksu dla zapytania przestrzennego

10

Nie mogę uruchomić PostGIS 2.1 na PostgreSQL 9.3.5 do korzystania z indeksu przestrzennego nawet dla najprostszych zapytań. Cały zestaw danych jest 8 milionów punktów (siatka liczba ludności stąd) . Tabela jest tworzona jako

CREATE TABLE points (
    population DOUBLE PRECISION NOT NULL,
    location GEOGRAPHY(4326, POINT) NOT NULL
)
CREATE INDEX points_gix ON points USING GIST(location);

Zapytania są tak proste, jak tylko się da

SELECT SUM(population)
FROM points
WHERE ST_Distance(
    location,
    ST_GeographyFromText('SRID=4326; POINT(0 0)')
) < 1000

PostgreSQL zawsze używa do tego skanowania Seq, próbowałem podzestawu z 10000 punktami - nadal skanowanie Seq. Jakieś pomysły?

postgis  postgresql  spatial-index  st-distance  st-dwithin 
— synapsa
źródło
3
Nie używasz żadnej funkcji, która może korzystać z indeksu. Zamiast tego użyj st_dwithin. Następnie fuction najpierw wykona skanowanie indeksu.
— Nicklas Avén
Zastanów się, co robi Twoje zapytanie - oblicz odległość od każdego punktu w tabeli do stałego punktu - a zrozumiesz, dlaczego nie można użyć żadnego indeksu . Zamiast tego użyj operatora, który może korzystać z indeksu, takiego jak ST_DWithin
— Vince

Odpowiedzi:

19

ST_Distance faktycznie oblicza odległość między wszystkimi parami punktów, więc jako taki nie można zastosować żadnego indeksu. Twoje zapytanie wykona skanowanie sekwencji, a następnie wybierze te geometrie, które są mniejsze niż podana odległość. Szukasz ST_DWithin , który korzysta z indeksu.

SELECT SUM(population) FROM points 
WHERE ST_DWithin(location, ST_GeographyFromText('SRID=4326; POINT(0 0)'), 1000);

ST_Distance jest bardziej przydatny do zamawiania wyników, często w połączeniu z ORDER BY i / lub LIMIT, które zostały uzyskane przy zapytaniach korzystających z indeksu.

— John Powell
źródło
1
Dzięki. Naprawdę powinienem przeczytać dokumenty przed zadawaniem pytań.
— synaps
1
ŁAŁ! DZIĘKUJĘ CI! Właśnie „przyspieszyłeś” moje wolne zapytanie, takie jak 100-krotnie lub więcej, ze względu na zmianę st_distance na st_dwithin. (Mówię „przyspieszony”, ponieważ nigdy nie powinno się to zdarzyć, gdybym był bardziej ostrożny)
— Hendy Irawan
1
@HendyIrawan. Zapraszamy. Łatwo jest popełnić błąd.
— John Powell,
@ JohnPowellakaBarça Dodałem kolejną optymalizację (chociaż bardzo stratną , dodałem odpowiedź do mojej sprawy), ale wskazałeś mi właściwy kierunek, dzięki.
— Hendy Irawan
4

Jak powiedział @ JohnPowellakaBarça, ST_DWithin()jest to droga do zrobienia, gdy chcesz poprawności .

Jednak w moim przypadku chcę tylko przybliżone oszacowanie, więc nawet ST_DWithin()było zbyt drogie (koszt zapytania) na moje potrzeby. Zamiast tego użyłem &&i ST_Expand(box2d)(nie myl tego z geometrywersją). Przykład:

SELECT * FROM profile
  WHERE
    address_point IS NOT NULL AND
    address_point && CAST(ST_Expand(CAST(ST_GeomFromText(:point) AS box2d), 0.5) AS geometry;

To, co natychmiast stanie się oczywiste, to fakt, że mamy do czynienia ze stopniami zamiast z licznikami i używamy obwiedni zamiast koła w sferoidie. W moim przypadku skraca się to z 24 ms do zaledwie 2 ms (lokalnie w SSD). Jednak w przypadku mojej produkcyjnej bazy danych w AWS RDS PostgreSQL ze współbieżnymi połączeniami i mało hojnymi limitami IOPS (100 IOPS) pierwotne ST_DWithin()zapytanie wydaje zbyt dużo IOPS i może wykonać ponad 2000 ms, a nawet gorzej, gdy limit IOPS zostanie wyczerpany.

To nie jest dla wszystkich, ale jeśli możesz poświęcić trochę dokładności dla prędkości (lub aby zaoszczędzić IOPS), to podejście może być dla ciebie. Jak widać na poniższych planach zapytań, ST_DWithinnadal wymaga ono filtru przestrzennego wewnątrz skanowania stosu bitmap oprócz Recheck Cond, podczas gdy &&geometria pudełka nie wymaga filtra i używa tylko Recheck Cond.

Zauważyłem również, że to ma IS NOT NULLznaczenie, bez niego pozostaniesz z gorszym planem zapytań. Wydaje się, że indeks GIST nie jest do tego wystarczająco „inteligentny”. (oczywiście nie jest to konieczne, jeśli twoja kolumna jest NOT NULL, w moim przypadku jest w NULLstanie)

Tabela 20000 wierszy ST_DWithin(geography, geography, 100000, FALSE)na AWS RDS 512 MB RAM z 300 IOPS:

Aggregate  (cost=4.61..4.62 rows=1 width=8) (actual time=2011.358..2011.358 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..4.61 rows=1 width=0) (actual time=1735.025..2010.635 rows=1974 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)))
        Filter: (((status)::text = 'ACTIVE'::text) AND ((gender)::text = 'MALE'::text) AND (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(address_point, '100000'::double precision)) AND _st_dwithin(address_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, false)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(hometown_point, '100000'::double precision)) AND _st_dwithin(hometown_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, false))))
        Rows Removed by Filter: 3323
        Heap Blocks: exact=7014
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=1716.425..1716.425 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.42 rows=1 width=0) (actual time=1167.698..1167.698 rows=16086 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.42 rows=1 width=0) (actual time=548.723..548.723 rows=7846 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
Planning time: 47.366 ms
Execution time: 2011.429 ms

Tabela 20000 wierszy &&i ST_Expand(box2d)na AWS RDS 512 MB RAM z 300 IOPS:

Aggregate  (cost=3.85..3.86 rows=1 width=8) (actual time=584.346..584.346 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..3.85 rows=1 width=0) (actual time=555.048..584.083 rows=1154 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)))
        Filter: (((status)::text = 'ACTIVE'::text) AND ((gender)::text = 'MALE'::text))
        Rows Removed by Filter: 555
        Heap Blocks: exact=3812
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=553.091..553.091 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.42 rows=1 width=0) (actual time=413.074..413.074 rows=4850 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.42 rows=1 width=0) (actual time=140.014..140.014 rows=3100 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
Planning time: 0.673 ms
Execution time: 584.386 ms

Ponownie z prostszym zapytaniem:

Tabela 20000 wierszy ST_DWithin(geography, geography, 100000, FALSE)na AWS RDS 512 MB RAM z 300 IOPS:

Aggregate  (cost=4.60..4.61 rows=1 width=8) (actual time=36.448..36.448 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..4.60 rows=1 width=0) (actual time=7.694..35.545 rows=2982 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)))
        Filter: (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(address_point, '100000'::double precision)) AND _st_dwithin(address_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, true)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(hometown_point, '100000'::double precision)) AND _st_dwithin(hometown_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, true)))
        Rows Removed by Filter: 2322
        Heap Blocks: exact=2947
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=7.197..7.197 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.41 rows=1 width=0) (actual time=5.265..5.265 rows=5680 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.41 rows=1 width=0) (actual time=1.930..1.930 rows=2743 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
Planning time: 0.479 ms
Execution time: 36.512 ms

Tabela 20000 wierszy &&i ST_Expand(box2d)na AWS RDS 512 MB RAM z 300 IOPS:

Aggregate  (cost=3.84..3.85 rows=1 width=8) (actual time=6.263..6.264 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..3.84 rows=1 width=0) (actual time=4.295..5.864 rows=1711 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)))
        Heap Blocks: exact=1419
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=4.122..4.122 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.41 rows=1 width=0) (actual time=3.018..3.018 rows=1693 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.41 rows=1 width=0) (actual time=1.102..1.102 rows=980 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
Planning time: 0.399 ms
Execution time: 6.306 ms
— Hendy Irawan
źródło
1
Dobry napis i interesujący.
— John Powell
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.