Gbroccolo itpug p_gday2014_geodbindex

PGDay.IT 2014
Prato
Venerdì 7 Novembre 2014
Uso degli indici nei database
geospaziali con PostgreSQL
Giuseppe Broccolo
www.2ndquadrant.it
2ndQuadrant Italia Giuseppe Broccolo – giuseppe.broccolo@2ndquadrant.it

PGDay.IT 2014
Prato
Chi sono
• Consulente PostgreSQL e PostGIS
– Sviluppo, Replica, Disaster Recovery, Benchmark pre-produzione, Remote
DBA, Supporto 24/7, Formazione

PGDay.IT 2014
Prato
Sommario
• Gli indici nei DB geospaziali
• Cosa offre PostgreSQL
• Un esempio d'uso: lavorare con un “insieme di punti”
– Uso di tipi nativi in PostgreSQL
– Cosa introduce PostGIS

PGDay.IT 2014
Prato
Indici
• Struttura binaria su disco che velocizza l'accesso ai dati:
– Non solo letture veloci: INSERT, UPDATE, DELETE
– Struttura ad albero: bilanciamento (o meno) della struttura dei nodi
– Performance teoriche:
• R/W: O(log N)
• Size: O(N)
– L'indice più usato: B-tree
• Bilanciato
• Applicabile su dati che supportino operatori di ordinamento/confronto
– <, >, =, BETWEEN, IN, IS (NOT) NULL, LIKE, …

PGDay.IT 2014
Prato
Indici per dati geospaziali
• La struttura dei dati geospaziali
– Contempla oggetti generalmente n-dimensionali
– Non prevede operatori di ordinamento, ma di posizionamento
• Nodi definiti a partire da un container che includa l'intero
data set detto Bounding Box

PGDay.IT 2014
Prato
Bounding Boxes

PGDay.IT 2014
Prato
Indici per dati geospaziali
• Algoritmi:
– Bilanciati: R-tree, ...
– Non bilanciati: kd-tree, Quad-tree, ...

PGDay.IT 2014
Prato
PostgreSQL
• DBMS noto a tutti i presenti
• Prevede “in core” tipi di dato geometrico (non geografico)
– point, circle, box
– @-@, @@, <->, &&, <<, >>, <<|, |>>, ...

PGDay.IT 2014
Prato
PostgreSQL + PostGIS
• DBMS noto a tutti i presenti
• Prevede “in core” tipi di dato geometrico (non geografico)
– point, circle, box
– @-@, @@, <->, &&, <<, >>, <<|, |>>, ...
• Estendibile per uso geospaziale grazie a PostGIS
– geometry (geometrie/geografie)
– <@, @>, &&, <<, >>, <<|, |>>, ...
– ST_Lenght(), ST_Distance(), ...

PGDay.IT 2014
Prato
• Indici bilanciati
– B-Tree
– GIN (Generalized Inverted Index) – adatto in lettura/update
– GiST (Generalized Search Tree) - adatto in inserimento, “lossy”
• Supporto per ricerche k-NN
• Indice non bilanciato
– SP-GiST (Space Partitioned GiST) – basso I/O, transazioni “in-memory”
• Introdotto in PostgreSQL 9.2
• Supportato da PostGIS >2.1

PGDay.IT 2014
Prato
• Indici bilanciati
– B-Tree
– GIN (Generalized Inverted Index) – adatto in lettura/update
– GiST (Generalized Search Tree) - adatto in inserimento, “lossy”
• Supporto per ricerche k-NN
• Indice non bilanciato
– SP-GiST (Space Partitioned GiST) – basso I/O, transazioni “in-memory”
• Introdotto in PostgreSQL 9.2
• Supportato per PostGIS >2.1

PGDay.IT 2014
Prato
Esempi & Performance
• L'ambiente di test: Vagrant VM (CentOS 6)
– Single virtual core 2.26GHz, RAM 512MB, Disco 7.2k
• PostgreSQL 9.3 + PostGIS 2.1
– postgresql.conf: default
• Insieme di punti 2D (~10.000.000)
– Ricerca di Nearest Neighbours
– Ricerca all'interno di Bounding Boxes

PGDay.IT 2014
Prato
Un po' di indici...
– Il tipo point supporta sia l'indicizzazione GiST che SPGiST
=# CREATE INDEX idx_gist_point ON many_point USING gist(point);
=# CREATE INDEX idx_spgist_point ON many_point USING spgist(point);
– Il tipo geom supporta solo l'indicizzazione GiST
=# CREATE INDEX idx_gist_geom ON many_geom USING gist(point);
=# CREATE INDEX idx_spgist ON many_geom USING spgist(point);
ERROR: data type geometry has no default operator class for access
method "spgist"
HINT: You must specify an operator class for the index or define a
default operator class for the data type.

PGDay.IT 2014
Prato
Un po' di indici...
index size time
idx_gist_point 715MB 214s
idx_spgist_point 437MB 137s
idx_gist_geom 523MB 290s

PGDay.IT 2014
Prato
Ricerca di Nearest Neighbours
– Utilizzando il tipo point
=# SELECT * FROM many_point ORDER BY point(0.5, 0.5) <-> point LIMIT 10;
– Utilizzando il tipo geom
=# SELECT * FROM many_geom ORDER BY ST_MakePoint(0.5, 0.5) <-> geom LIMIT 10;

PGDay.IT 2014
Prato
BTW...
– Utilizzando il tipo geom in PostGIS <9.2 + PostGIS <2.0
SELECT *, ST_Distance(t.geom, o.origin) AS dist
FROM many_point AS t INNER JOIN
(SELECT ST_MakePoint(0.5, 0.5) AS origin) AS o
ON ST_DWithin(t.geom, o.origin, 100)
ORDER BY dist
LIMIT 10;

PGDay.IT 2014
Prato
• Risultati ottenuti (assenza di indici):
– Dato di tipo point
planner strategy time execution
Seq. Scan + Sort 732ms
7.3s
– Dato di tipo geom
Seq. Scan + Sort 17.2s

PGDay.IT 2014
Prato
• Risultati ottenuti:
Index Scan
(idx_gist_point)
52ms
Index Scan
(idx_gist_geom)
18ms

PGDay.IT 2014
Prato
Ricerca all'interno di Bounding Boxes
– Utilizzando il tipo point
=# SELECT * FROM many_point WHERE point <@ box(point(0.4, 0.4), point(0.6,
0.6));
– Utilizzando il tipo geom
=# SELECT * FROM many_geom WHERE point && ST_GeomFromEWKT('SRID=0;
LINESTRING(0.4 0.4, 0.4 0.6, 0.6 0.6, 0.6 0.4, 0.4 0.4)');

PGDay.IT 2014
Prato
• Risultati ottenuti (assenza di indici):
Seq. Scan + Filter “&&” 5.7s
Seq. Scan + Filter “<@” 2.0s

PGDay.IT 2014
Prato
• Risultati ottenuti:
Bitmap Index Scan
(idx_spgist_point)
0.4s
Bitmap Index Scan
0.7s
(idx_gist_geom)

PGDay.IT 2014
Prato
Conclusioni
• Sono state mostrate le potenzialità di PostgreSQL per lavorare con
dati geometrici
– Già include alcuni tipi semplici di geometrie con cui lavorare
• PostGIS introduce nuove funzionalità che potenziano l'uso degli
indici
– Aumento delle performance
• In attesa dell'introduzione degli indici SP-GiST anche per i punti di
tipo geom(point) di PostGIS...

PGDay.IT 2014
Prato
Domande?
• giuseppe.broccolo@2ndquadrant.it
• @giubro
• gemini__81
• gbroccolo7

PGDay.IT 2014
Prato
Licenza Creative Commons
Attribuzione
non commerciale
Condividi allo stesso modo
2.5 Italia
http://creativecommons.org/licenses/by-nc-sa/2.5/it/
© 2014 2ndQuadrant Italia – http://www.2ndquadrant.it

Gbroccolo itpug p_gday2014_geodbindex

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Gbroccolo itpug p_gday2014_geodbindex