Postgresql como NewSQL - DevCamp 2014

PostgreSQL como NewSQL
Matheus de Oliveira
<matheus.oliveira@dextra.com.br>

Roteiro
Quem sou eu
Bancos de dados relacionais e os NoSQLs
O que é NewSQL?
PostgreSQL - “one database to rule them all”
Schemaless - JSON e chave/valor
Buscas por similaridade
Consultas em grafos e hierarquias
Performance e Escalabilidade
E quando o PostgreSQL não resolve meu problema?
Conclusão
2 / 31
PostgreSQL como NewSQL – Matheus de Oliveira – DevCamp2014

Quem sou eu?
Matheus de Oliveira • Ciências de Computa¸cão – USP
• DBA PostgreSQL na Dextra e instrutor na
Dextraining a mais de 2 anos
• Apaixonado pelo PG (do psql ao código-fonte...)
3 / 31

Quem sou eu?
• ...mas tamb´em conhece alguns NoSQLs
3 / 31

Quem sou eu?
Dextra • Desenvolvimento sob-medida, consultoria/suporte
• Mais de 15 anos trabalhando com o PostgreSQL
• “Crafting Software, Transforming Business”
• http://www.dextra.com.br/
3 / 31

Quem sou eu?
Dextra • Desenvolvimento sob-medida, consultoria/suporte
• Mais de 15 anos trabalhando com o PostgreSQL
• “Crafting Software, Transforming Business”
• http://www.dextra.com.br/
Dextraining • Treinamento de verdade, “Aprenda com quem faz na
pr´atica”
• Mais de 10 anos na estrada
• Mais de 10 mil proﬁssionais capacitados em todo o
Brasil.
• http://www.dextraining.com.br/
3 / 31

Bancos de dados relacionais / SQLs
• Baseados no modelo relacional
• Transa¸cões ACID
◦ Atomicidade
◦ Consistência
◦ Isolamento
◦ Durabilidade
• Interface de consulta padrão – SQL
• Armazenamento em rela¸cões – estrutura acoplada
• ...
4 / 31

NoSQLs
• Transa¸cões BASE:
◦ Basic Availability
◦ Soft-state
◦ Eventual consistency
• Interface de consulta própria
• Schemaless – estrutura desacoplada
◦ Chave-Valor
◦ Documento
◦ Grafos
◦ ...
• Performance como prioridade
◦ In-place update
◦ Replica¸cão
◦ Sharding
◦ ...
5 / 31

NoSQLs
• Transa¸cões BASE:
◦ Basic Availability
◦ Soft-state
◦ Eventual consistency
• Interface de consulta própria
• Schemaless – estrutura desacoplada
◦ Chave-Valor
◦ Documento
◦ Grafos
◦ ...
• Performance como prioridade
◦ In-place update
◦ Replica¸cão
◦ Sharding
◦ ...
• <entre com sua buzzword aqui>
5 / 31

O que é NewSQL
“ In the context of transaction processing, I would define a NewSQL
DBMS as one having the following 5 characteristics:
1. SQL as the primary mechanism for application interaction
2. ACID support for transactions
3. A non-locking concurrency control mechanism so real-time reads
will not conflict with writes, and thereby cause them to stall.
4. An architecture providing much higher per-node performance than
available from the traditional ‘elephants’
5. A scale-out, shared-nothing architecture, capable of running on a
large number of nodes without bottlenecking
”
Michael Stonebraker – MIT 1
1
http://cacm.acm.org/blogs/blog-cacm/
109710-new-sql-an-alternative-to-nosql-and-old-sql-for-new-oltp
fulltext6 / 31

O que ´e NewSQL
“A DBMS that delivers the scalability and ﬂexibility promised by
NoSQL while retaining the support for SQL queries and/or ACID, or
to improve performance for appropriate workloads”
451 Group
7 / 31

PostgreSQL
“one database to rule them all”
• FOSS – Free Open
Source Software
• Quase 30 anos de
experiência
• Robustez, confiabilidade,
maturidade
• Diversas funcionalidades,
e novas a cada versão
• Forte extensibilidade
8 / 31

Armazenamento chave/valor
Tipo hstore
• Presente como uma contrib do PostgreSQL desde a versão 8.3
(2008)
• Armazenamento de chaves/valores como atributo (coluna) de uma
tabela
• Diversos operadores para manipula¸cão, navega¸cão e filtragem
(busca)
• Indexa¸cão B-tree, GIN e GIST
• Exemplo:
SELECT * FROM movies
WHERE ( moviedata ->’imdb_rate ’):: int > 4
AND moviedata ->’ alternate_title ’ = ’Black
Mask ’;
9 / 31

Tipo hstore
(2008)
tabela
(busca)
• Exemplo:
Mask ’;
R´apido... Flex´ıvel... Incr´ıvel... Lind˜ao...
9 / 31

Tipo hstore
(2008)
tabela
(busca)
• Exemplo:
Mask ’;
R´apido... Flex´ıvel... Incr´ıvel... Lind˜ao...
mas, t´ınhamos que evoluir...
9 / 31

JSON no PostgreSQL
• 2012 – versão 9.2 – tipo json, basicamente text com valida¸cões
• 2013 – versão 9.3 – ainda json, mas com fun¸cões fantásticas (a
grande ado¸cão come¸ca)
• 2014 – versão 9.4 (hoje em beta1) – tipo jsonb, binário
(estrutura interna baseada no hstore), indexa¸cão GIN –
ultra-blaster-rápido
10 / 31

JSON no PostgreSQL
CREATE TABLE booksdata (
title text PRIMARY KEY ,
booksdata jsonb
);
11 / 31

JSON no PostgreSQL
SELECT title ,
bookdata ->> ’ current_edition ’ AS edition ,
bookdata #> ’{" publication_info ", 0, " isbn "} ’
AS isbn
FROM booksdata
WHERE bookdata @> ’{ " publication_info " : [{"
publisher ": " Avon "} ] }’:: jsonb
ORDER BY bookdata #> ’{" publication_info ", 0, "
price "} ’ DESC ;
12 / 31

JSON no PostgreSQL
Ah!!! E eu comentei que ´e indexado?
13 / 31

JSON no PostgreSQL
DE VERDADE
CREATE INDEX booksdata_json_idx ON booksdata
USING GIN ( booksdata );
13 / 31

JSON no PostgreSQL
DE VERDADE
CREATE INDEX booksdata_json_idx ON booksdata
USING GIN ( booksdata );
GIN to the rescue!!!
13 / 31

Full Text Search
• FTS nativo no PostgreSQL (tsvector, tsquery, ...)
SELECT * FROM articles t(fts)
WHERE fts @@ tsquery ’PostgreSQL & NewSQL ’
ORDER BY ts_rank (fts , tsquery ’PostgreSQL &
NewSQL ’);
• Busca por similaridade (contrib pg trgm)
SELECT set_limit (0.2) ;
SELECT *, title <-> ’NewSQL ’ AS sml
FROM articles
WHERE title % ’NewSQL ’
ORDER BY sml DESC LIMIT 10;
14 / 31

Full Text Search
• FTS nativo no PostgreSQL (tsvector, tsquery, ...)
SELECT * FROM articles t(fts)
WHERE fts @@ tsquery ’PostgreSQL & NewSQL ’
ORDER BY ts_rank (fts , tsquery ’PostgreSQL &
NewSQL ’);
• Busca por similaridade (contrib pg trgm)
SELECT set_limit (0.2) ;
SELECT *, title <-> ’NewSQL ’ AS sml
FROM articles
WHERE title % ’NewSQL ’
ORDER BY sml DESC LIMIT 10;
• Claro, tudo devidamente indexado... GIN and GIST rocks
14 / 31

• Pode ser facilmente realizada utilizando consultas recursivas
• O desempenho depende do filtro e profundidade da navega¸cão
• Exemplo, catálogo de roles (usuários/grupos) do PostgreSQL:
WITH RECURSIVE roles AS (
SELECT r.oid AS roleid , r. rolname ,
1 AS level , array [r. rolname ] AS path
FROM pg_authid r
WHERE r.oid NOT IN (
SELECT m. member FROM pg_auth_members m)
UNION ALL
SELECT r.oid , r. rolname ,
p. level + 1, p. path || r. rolname
FROM pg_auth_members m
INNER JOIN pg_authid r ON m. member = r. oid
INNER JOIN roles p ON m. roleid = p. roleid
)
SELECT repeat (’|__ ’, level -1) || rolname
FROM roles
ORDER BY path ;
15 / 31

Performance
O PostgreSQL é, sem dúvidas, um dos bancos de dados com melhores
desempenhos num único nó. Devemos sempre olhar para:
• ajuste (tuning) de parâmetros de configura¸cão;
• indexa¸cão;
• modelo de dados (normalizar ou desnormalizar);
• tarefas administrativas;
• estat´ısticas atualizadas;
• ... busque por ”PostgreSQL Performance Tuning”...
17 / 31

Performance
E quando precisamos de mais:
• COMMIT ass´ıncrono;
• columnar store (extensões para o PostgreSQL cstore fdw 2 e
In-Memory Columnar Store (ICMS) 3 4);
• particionamento de tabelas (não é 100% suportado, mas funciona
perfeitamente);
• divisão de tablespaces.
2
http://citusdata.github.io/cstore_fdw/
3
http://www.garret.ru/imcs/user_guide.html
4
http://www.pgcon.org/2014/schedule/events/643.en.html
18 / 31

Escalabilidade Horizontal
Replica¸cão master-slave via Streaming Replication oferece grandes
oportunidades.
• replica¸cão s´ıncrona ou ass´ıncrona;
• replica¸cão em cascata;
• execu¸cão de backups no slave podem aliviar o master (24x7);
• distribui¸cão de consultas mais pesadas (relatórios, análises, etc.)
nos slaves;
• balanceamento de carga via aplica¸cão ou automatizada usando
pgPool-II;
• e claro, alta disponibilidade.
19 / 31

Vamos falar de sharding então!
O PostgreSQL não oferece suporte à sharding, mas muita gente
encontra uma maneira.
• Via aplica¸cão:
◦ Instangram 5
◦ Braintree 6
5
http://instagram-engineering.tumblr.com/post/
10853187575/sharding-ids-at-instagram
6
https://www.braintreepayments.com/braintrust/
scaling-postgresql-at-braintree-four-years-of-evolution
20 / 31

• Uma técnica para sharding automatizado consiste em utilizar
diversas funcionalidades e o poder de extensão do PostgreSQL:
◦ dividir os shards manualmente em servidores com PostgreSQL e
tabelas convencionais;
◦ mapear todas essas tabelas num servidor centralizado usando Foreign
Data Wrappers (FDW) com o postgres fdw;
◦ criar views para unir cada uma delas (usando UNION ALL);
• o PostgreSQL automaticamente redirecionará consultas (usando as
chaves de shard) para cada shard, usando a (velha) funcionalidade de
“constraint exclusion”;
• INSERT/UPDATE/DELETE deve ser redirecionando usando triggers
próprias do tipo INSTEAD OF.
◦ mover dados entre os shards é poss´ıvel, mas trabalhoso.
21 / 31

Exemplo (“ugly, but works...”):
CREATE FOREIGN TABLE users_1_1000
( user_id int , user_name text , ... )
SERVER shard1 OPTIONS ( table_name ’users ’)
;
...
CREATE FOREIGN TABLE users_1001_2000
( user_id int , user_name text , ... )
SERVER shard2 OPTIONS ( table_name ’users ’)
;
...
22 / 31

CREATE VIEW users AS
SELECT * FROM users_1_1000
WHERE user_id BETWEEN 1 AND 1000
UNION ALL
SELECT * FROM users_1001_2000
WHERE user_id BETWEEN 1001 AND 2000
UNION ALL
...
H´a varia¸c˜oes dessa tecnica 7 8
7
https://www.youtube.com/watch?v=3JQrfgb3Av0
8
http://snowman.net/slides/pgfdw_sharding.pdf
23 / 31

E quando o PostgreSQL n˜ao
resolve meu problema?
• Primeiro, tem certeza que n˜ao?
24 / 31

• Primeiro, tem certeza que n˜ao?
• Absoluta?
24 / 31

• Ok, acontece...
◦ sobrecarga de opera¸cões e do MVCC pode gerar problemas;
◦ falta de funcionalidades frente à banco de dados especializados,
exemplos:
• estruturas de grafos são melhores tratadas em especializados como
Neo4j do que com consultas recursivas (estas tendem a ficar lentas
quando a profundidade é grande);
• FTS do PostgreSQL comparado à outros como Lucene ou Sphinx ainda
perde em funcionalidades e performance (em termos de performance,
aguarde/teste a nova versão, 9.4, houve melhoras substanciais nessa
área).
25 / 31

• Mas tudo bem usar outro. Se quiser associar, v´arios Foreign Data
Wrappers (FDW) est˜ao dispon´ıveis (redis fdw, mongo fdw,
...) para mapear dados externos dentro de tabelas no PostgreSQL
(o exemplo do shard usa essa funcionalidade, mas mapeando
outros bancos PostgreSQL);
26 / 31

• DICA DE OURO: comece sempre no PostgreSQL (tiro certo), se o
projeto crescer fora de escala que o PG suporte, busque outras
alternativas. É muito comum utilizar bancos NoSQL junto com
bancos relacionais (não é escolha única). Existem muitos bancos
MPP (Massive Parallel Processing) e (100%) NewSQL baseados
no PostgreSQL.
◦ comerciais: Greenplun, Amazon Redshift, Aster Data, Netezza,
Vertica, entre outros;
◦ e as promessas open source: Postgres-XC e Postgres-XL.
27 / 31

Conclusão
O PostgreSQL é hoje, sem dúvidas, um dos bancos de dados mais
versáteis (eu diria “o mais”) e que oferece infinitas possibilidades.
Associando o bom e velho modelo relacional à tendências (não novas,
devo dizer) e necessidades presentes nas aplica¸cões modernas.
28 / 31

Obrigado!
D´uvidas?
Matheus de Oliveira
<matheus.oliveira@dextra.com.br>
irc.freenode.net:
/join #postgresql,#postgresql-br
Meu nick: MatheusOl
Twitter: @matioli matheus

Postgresql como NewSQL - DevCamp 2014

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (17)

Semelhante a Postgresql como NewSQL - DevCamp 2014

Semelhante a Postgresql como NewSQL - DevCamp 2014 (20)

Postgresql como NewSQL - DevCamp 2014