SlideShare une entreprise Scribd logo
1  sur  20
Télécharger pour lire hors ligne
Dados Abertos
Tecnologias e Conceitos
Diego Rabatone Oliveira
dez/2015
Olá =)
● Diego Rabatone Oliveira
● Hacker e Engenheiro
● PoliGNU (http://polignu.org)
● Transparência Hacker
● Estadão Dados
● ASK-AR (http://ask.ar.com)
http://ask.ar.com contato@ask.ar.com
API?
API Application Programming Interface→
http://ask.ar.com contato@ask.ar.com
É uma coleção de funções,
eventos, protocolos, arquivos, etc
Objetiva permitir que dois sistemas
se comuniquem por meio
de regras pré-estabelecidas
API?
http://ask.ar.com contato@ask.ar.com
API?
http://ask.ar.com contato@ask.ar.com
API
http://ask.ar.com contato@ask.ar.com
API
http://ask.ar.com contato@ask.ar.com
Ontologias
“é um conjunto de regras que objetivam
nomear e definir tipos, propriedades e
inter-relações entre elementos que
existem fundamentalmente num
contexto específico” (tradução livre)
https://en.wikipedia.org/wiki/Ontologia_(ciência_da_computação)
http://ask.ar.com contato@ask.ar.com
Ontologias
● Indivíduos (exemplares)
● Classes (conceitos)
● Atributos
● Relacionamentos
http://ask.ar.com contato@ask.ar.com
Ontologias
● http://wiki.dbpedia.org/
● Classes da Ontologia da DBPedia
● http://dbpedia.org/snorql/
● Exemplos de consultas na DBPedia
● http://vocab.e.gov.br/2013/09/loa
● http://orcamento.dados.gov.br/
● http://vocab.e.gov.br/
http://ask.ar.com contato@ask.ar.com
Exemplos de API
● http://orcamento.dados.gov.br/
● http://gastospublicos.com.br/
● http://demo.gastosabertos.org/
http://ask.ar.com contato@ask.ar.com
Armazenamento de Dados
http://ask.ar.com contato@ask.ar.com
2 principais formas
Arquivos
(csv, json, ods, etc)
Sistemas Gerenciadores
de Banco de Dados
(SGBD)
Armazenamento de Dados
em arquivos
● CSV:
– Texto plano e separador
– Bom para dados tabulares, bi-dimensionais
● JSON:
– Texto plano, estruturado, flexível, semântico e
permite dados multidimenionais
● ODS (Planilhas eletrônicas):
– Binário, bom para dados tabulares
http://ask.ar.com contato@ask.ar.com
Armazenamento de Dados
em SGBDs
2 tipos de Sistemas Gerenciadores de Banco
de Dados:
– Relacionais:
● MySQL, PostgreSQL, SQLite
– Não-Relacionais:
● NoSQL, MongoDB, CouchDB, Redis, etc.
http://ask.ar.com contato@ask.ar.com
Armazenamento de Dados
Vantagens
http://ask.ar.com contato@ask.ar.com
Armazenamento em Arquivos SGBD
Facilidade de enviar e receber Suporta grandes volumes de dados
Facilidade de controlar versão Maior flexibilidade para dados
complexos
Demanda menos conhecimentos e
ferramentas técnicas (para CSV e
ODS)
Integração entre diversas ferramentas
Possibilidade de expor o acesso
Maior facilidade para trabalhar em
equipe
Armazenamento de Dados
Desvantagens
http://ask.ar.com contato@ask.ar.com
Armazenamento em Arquivos SGBD
Caos de versões Exige mais ferramentas tecnológicas
Limitação na quantidade de dados Exige maior conhecimento técnico
Dificuldade em trabalhar com dados mais
complexos
Maior dificuldade de versionamento
Mais difícil compartilhar “offline”
Descobrindo Dados Abertos
1. Avaliar quem é responsável pela informação:
1.1. Verificar no site se o dado está disponível;
1.2. Pedir o dado via Lei de Acesso;
2. Buscar no google com personalização
http://www.googleguide.com/advanced_operators_reference.html
ex.: educação site:sp.gov.br filetype:csv
http://ask.ar.com contato@ask.ar.com
Introdução à Programação
● https://www.codecademy.com/learn/learn-sql
● https://www.codecademy.com/learn/learn-the-command-line
● https://www.codecademy.com/learn/python
● https://www.codecademy.com/learn/javascript
● https://www.codecademy.com/apis
● https://pt.khanacademy.org/hourofcode
● https://pt.khanacademy.org/computing/computer-science
● https://www.udemy.com/beginners-learn-android-app-
development-no-coding-needed/
http://ask.ar.com contato@ask.ar.com
1. http://techblog.netflix.com/2012/07/embracing-differences-inside-netflix.html
2. https://upload.wikimedia.org/wikipedia/commons/3/31/Tommy_Lapid_at_Eichman_trial1961.
jpg
3. http://assets3.thrillist.com/v1/image/1244958/size/tl-no_parallax_cs_2x/the-33-best-beer-
bars-in-the-country
4. https://upload.wikimedia.org/wikipedia/commons/b/bc/Newspaper_reader.jpg
5. https://upload.wikimedia.org/wikipedia/commons/6/60/Edward_Snowden-2.jpg
Referências
http://ask.ar.com contato@ask.ar.com
Diego Rabatone Oliveira
diego@ask.ar.com
@diraol
Este trabalho está licenciado com uma Licença
Creative Commons - Atribuição 4.0
Internacional.

Contenu connexe

Similaire à Dados Abertos - Tecnologias e conceitos

Programação Orientada a Aspectos
Programação Orientada a AspectosProgramação Orientada a Aspectos
Programação Orientada a AspectosRicardo Terra
 
Implementando APIs REST mais seguras - TDC 2019 - São Paulo
Implementando APIs REST mais seguras - TDC 2019 - São PauloImplementando APIs REST mais seguras - TDC 2019 - São Paulo
Implementando APIs REST mais seguras - TDC 2019 - São PauloRenato Groff
 
.Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re...
.Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re....Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re...
.Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re...iMasters
 
Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018
Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018
Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018Renato Groff
 
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...Renato Groff
 
Pipeconf no CoffeOps Campinas
Pipeconf no CoffeOps CampinasPipeconf no CoffeOps Campinas
Pipeconf no CoffeOps CampinasAécio Pires
 
Construindo aplicações Cloud Native em Go
Construindo aplicações Cloud Native em GoConstruindo aplicações Cloud Native em Go
Construindo aplicações Cloud Native em GoAlvaro Viebrantz
 
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...Amazon Web Services LATAM
 
Como um grande sistema REST funciona - arquitetura e desempenho
Como um grande sistema REST funciona - arquitetura e desempenhoComo um grande sistema REST funciona - arquitetura e desempenho
Como um grande sistema REST funciona - arquitetura e desempenhoDavid Robert Camargo de Campos
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharepccdias
 
Oficina Técnica da INDA em Belém no Consegi
Oficina Técnica da INDA em Belém no ConsegiOficina Técnica da INDA em Belém no Consegi
Oficina Técnica da INDA em Belém no Conseginitaibezerra
 
Implementando APIs seguras na nuvem - Outubro-2018 - Azure Brasil
Implementando APIs seguras na nuvem - Outubro-2018 - Azure BrasilImplementando APIs seguras na nuvem - Outubro-2018 - Azure Brasil
Implementando APIs seguras na nuvem - Outubro-2018 - Azure BrasilRenato Groff
 
SQLite: um motor de bases de dados relacional open source
SQLite: um motor de bases de dados relacional open sourceSQLite: um motor de bases de dados relacional open source
SQLite: um motor de bases de dados relacional open sourceLuis Borges Gouveia
 
Extreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RAD
Extreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RADExtreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RAD
Extreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RADCesar Romero
 
Linked Data - Minicurso - SBBD 2011
Linked Data - Minicurso - SBBD 2011Linked Data - Minicurso - SBBD 2011
Linked Data - Minicurso - SBBD 2011Regis Magalhães
 
Situação da migração para PostgreSQL
Situação da migração para PostgreSQLSituação da migração para PostgreSQL
Situação da migração para PostgreSQLLeonardo Cezar
 

Similaire à Dados Abertos - Tecnologias e conceitos (20)

Programação Orientada a Aspectos
Programação Orientada a AspectosProgramação Orientada a Aspectos
Programação Orientada a Aspectos
 
Implementando APIs REST mais seguras - TDC 2019 - São Paulo
Implementando APIs REST mais seguras - TDC 2019 - São PauloImplementando APIs REST mais seguras - TDC 2019 - São Paulo
Implementando APIs REST mais seguras - TDC 2019 - São Paulo
 
Construindo um sistema distribuido usando rest
Construindo um sistema distribuido usando restConstruindo um sistema distribuido usando rest
Construindo um sistema distribuido usando rest
 
.Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re...
.Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re....Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re...
.Net Community Summit - Construindo APIs REST seguras com o ASP.NET Core - Re...
 
Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018
Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018
Construindo APIs seguras com o ASP.NET Core - .NET Community Summit 2018
 
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
Boas práticas de segurança no acesso a dados em Web Apps - SQLSaturday #972 -...
 
Conhecendo o Django
Conhecendo o DjangoConhecendo o Django
Conhecendo o Django
 
Pipeconf no CoffeOps Campinas
Pipeconf no CoffeOps CampinasPipeconf no CoffeOps Campinas
Pipeconf no CoffeOps Campinas
 
Oficina 1 Confoa 2013 - Parte 3 - Interoperabilidade e repositórios - josé c...
Oficina 1  Confoa 2013 - Parte 3 - Interoperabilidade e repositórios - josé c...Oficina 1  Confoa 2013 - Parte 3 - Interoperabilidade e repositórios - josé c...
Oficina 1 Confoa 2013 - Parte 3 - Interoperabilidade e repositórios - josé c...
 
Construindo aplicações Cloud Native em Go
Construindo aplicações Cloud Native em GoConstruindo aplicações Cloud Native em Go
Construindo aplicações Cloud Native em Go
 
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
AWS Data Immersion Webinar Week - Planeje e entenda como criar um repositório...
 
Como um grande sistema REST funciona - arquitetura e desempenho
Como um grande sistema REST funciona - arquitetura e desempenhoComo um grande sistema REST funciona - arquitetura e desempenho
Como um grande sistema REST funciona - arquitetura e desempenho
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
 
Oficina Técnica da INDA em Belém no Consegi
Oficina Técnica da INDA em Belém no ConsegiOficina Técnica da INDA em Belém no Consegi
Oficina Técnica da INDA em Belém no Consegi
 
Implementando APIs seguras na nuvem - Outubro-2018 - Azure Brasil
Implementando APIs seguras na nuvem - Outubro-2018 - Azure BrasilImplementando APIs seguras na nuvem - Outubro-2018 - Azure Brasil
Implementando APIs seguras na nuvem - Outubro-2018 - Azure Brasil
 
SQLite: um motor de bases de dados relacional open source
SQLite: um motor de bases de dados relacional open sourceSQLite: um motor de bases de dados relacional open source
SQLite: um motor de bases de dados relacional open source
 
Extreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RAD
Extreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RADExtreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RAD
Extreme 360 Arquitetura para Aplicações Delphi Spring4D - OOP e RAD
 
TCC - Comparativo de ORMs e Acesso Nativo
TCC - Comparativo de ORMs e Acesso NativoTCC - Comparativo de ORMs e Acesso Nativo
TCC - Comparativo de ORMs e Acesso Nativo
 
Linked Data - Minicurso - SBBD 2011
Linked Data - Minicurso - SBBD 2011Linked Data - Minicurso - SBBD 2011
Linked Data - Minicurso - SBBD 2011
 
Situação da migração para PostgreSQL
Situação da migração para PostgreSQLSituação da migração para PostgreSQL
Situação da migração para PostgreSQL
 

Dados Abertos - Tecnologias e conceitos

  • 1. Dados Abertos Tecnologias e Conceitos Diego Rabatone Oliveira dez/2015
  • 2. Olá =) ● Diego Rabatone Oliveira ● Hacker e Engenheiro ● PoliGNU (http://polignu.org) ● Transparência Hacker ● Estadão Dados ● ASK-AR (http://ask.ar.com) http://ask.ar.com contato@ask.ar.com
  • 3. API? API Application Programming Interface→ http://ask.ar.com contato@ask.ar.com É uma coleção de funções, eventos, protocolos, arquivos, etc Objetiva permitir que dois sistemas se comuniquem por meio de regras pré-estabelecidas
  • 8. Ontologias “é um conjunto de regras que objetivam nomear e definir tipos, propriedades e inter-relações entre elementos que existem fundamentalmente num contexto específico” (tradução livre) https://en.wikipedia.org/wiki/Ontologia_(ciência_da_computação) http://ask.ar.com contato@ask.ar.com
  • 9. Ontologias ● Indivíduos (exemplares) ● Classes (conceitos) ● Atributos ● Relacionamentos http://ask.ar.com contato@ask.ar.com
  • 10. Ontologias ● http://wiki.dbpedia.org/ ● Classes da Ontologia da DBPedia ● http://dbpedia.org/snorql/ ● Exemplos de consultas na DBPedia ● http://vocab.e.gov.br/2013/09/loa ● http://orcamento.dados.gov.br/ ● http://vocab.e.gov.br/ http://ask.ar.com contato@ask.ar.com
  • 11. Exemplos de API ● http://orcamento.dados.gov.br/ ● http://gastospublicos.com.br/ ● http://demo.gastosabertos.org/ http://ask.ar.com contato@ask.ar.com
  • 12. Armazenamento de Dados http://ask.ar.com contato@ask.ar.com 2 principais formas Arquivos (csv, json, ods, etc) Sistemas Gerenciadores de Banco de Dados (SGBD)
  • 13. Armazenamento de Dados em arquivos ● CSV: – Texto plano e separador – Bom para dados tabulares, bi-dimensionais ● JSON: – Texto plano, estruturado, flexível, semântico e permite dados multidimenionais ● ODS (Planilhas eletrônicas): – Binário, bom para dados tabulares http://ask.ar.com contato@ask.ar.com
  • 14. Armazenamento de Dados em SGBDs 2 tipos de Sistemas Gerenciadores de Banco de Dados: – Relacionais: ● MySQL, PostgreSQL, SQLite – Não-Relacionais: ● NoSQL, MongoDB, CouchDB, Redis, etc. http://ask.ar.com contato@ask.ar.com
  • 15. Armazenamento de Dados Vantagens http://ask.ar.com contato@ask.ar.com Armazenamento em Arquivos SGBD Facilidade de enviar e receber Suporta grandes volumes de dados Facilidade de controlar versão Maior flexibilidade para dados complexos Demanda menos conhecimentos e ferramentas técnicas (para CSV e ODS) Integração entre diversas ferramentas Possibilidade de expor o acesso Maior facilidade para trabalhar em equipe
  • 16. Armazenamento de Dados Desvantagens http://ask.ar.com contato@ask.ar.com Armazenamento em Arquivos SGBD Caos de versões Exige mais ferramentas tecnológicas Limitação na quantidade de dados Exige maior conhecimento técnico Dificuldade em trabalhar com dados mais complexos Maior dificuldade de versionamento Mais difícil compartilhar “offline”
  • 17. Descobrindo Dados Abertos 1. Avaliar quem é responsável pela informação: 1.1. Verificar no site se o dado está disponível; 1.2. Pedir o dado via Lei de Acesso; 2. Buscar no google com personalização http://www.googleguide.com/advanced_operators_reference.html ex.: educação site:sp.gov.br filetype:csv http://ask.ar.com contato@ask.ar.com
  • 18. Introdução à Programação ● https://www.codecademy.com/learn/learn-sql ● https://www.codecademy.com/learn/learn-the-command-line ● https://www.codecademy.com/learn/python ● https://www.codecademy.com/learn/javascript ● https://www.codecademy.com/apis ● https://pt.khanacademy.org/hourofcode ● https://pt.khanacademy.org/computing/computer-science ● https://www.udemy.com/beginners-learn-android-app- development-no-coding-needed/ http://ask.ar.com contato@ask.ar.com
  • 19. 1. http://techblog.netflix.com/2012/07/embracing-differences-inside-netflix.html 2. https://upload.wikimedia.org/wikipedia/commons/3/31/Tommy_Lapid_at_Eichman_trial1961. jpg 3. http://assets3.thrillist.com/v1/image/1244958/size/tl-no_parallax_cs_2x/the-33-best-beer- bars-in-the-country 4. https://upload.wikimedia.org/wikipedia/commons/b/bc/Newspaper_reader.jpg 5. https://upload.wikimedia.org/wikipedia/commons/6/60/Edward_Snowden-2.jpg Referências http://ask.ar.com contato@ask.ar.com
  • 20. Diego Rabatone Oliveira diego@ask.ar.com @diraol Este trabalho está licenciado com uma Licença Creative Commons - Atribuição 4.0 Internacional.