O documento apresenta uma introdução à visualização de dados, abordando: 1) a teoria e tipos de gráficos; 2) qualidade e aplicações de visualizações; 3) demonstrações práticas usando D3.js e Leaflet. O objetivo é comunicar e revelar informações quantitativas de forma eficiente por meio de representações visuais.
O documento discute a visualização de dados como uma forma efetiva de comunicar informações através de representações gráficas. A visualização de dados pode revelar padrões em grandes conjuntos de números e fatos que de outra forma permaneceriam desconectos. Infográficos criativos são uma forma fascinante de transmitir mensagens complexas de maneira acessível ao público. À medida que mais dados governamentais se tornam abertos, a sociedade pode descobrir novas formas de entender informações por meio da visualização de dados.
Banco de Dados Não Relacionais vs Banco de Dados Relacionaisalexculpado
Uma breve abordagem sobre o conceito de banco de dados não relacionais, tendo como ponto de origem os bancos relacionais atuais. Apresento de forma sucinta as vantagens e desvantagens dos dois.
Foi apresentado no Campus Universitário da UAN do Camama.
O documento descreve o que é Business Intelligence (BI) e Power BI, como o Power BI funciona e como ele pode ser usado para analisar e compartilhar dados. O Power BI permite unificar dados de várias fontes, organizá-los no Power BI Desktop, processá-los com fórmulas DAX, publicá-los no Power BI Service para compartilhamento em painéis interativos em tempo real.
O documento discute o conceito de Big Data, definindo-o como o foco em grandes volumes de dados e velocidades de processamento. Explora os 5 V's do Big Data (Velocidade, Volume, Variedade, Veracidade e Valor) e apresenta exemplos de como empresas usam Big Data para identificar padrões e tomar decisões mais rápidas. Finalmente, discute tecnologias como Hadoop usadas para armazenar e processar grandes volumes de dados distribuídos.
Introdução a modelagem de dados - Banco de Dadosinfo_cimol
O documento discute a história e conceitos de bancos de dados, incluindo como os registros históricos evoluíram para sistemas gerenciados por computador. Ele explica termos como entidade, dados, informação e conhecimento, e descreve os componentes e vantagens de sistemas de banco de dados. Finalmente, aborda os modelos conceitual, lógico e físico usados para modelar e implementar bancos de dados.
1) O documento discute sistemas de apoio à decisão (SAD), como eles auxiliam na tomada de decisão a partir de dados;
2) Explica a evolução dos sistemas de informação, da capacidade de armazenamento de 5MB em 1956 para centenas de terabytes atualmente;
3) Destaca que SADs sistematizam processos decisórios empresariais e permitem análise de dados para tomada de decisão.
O documento discute a visualização de dados como uma forma efetiva de comunicar informações através de representações gráficas. A visualização de dados pode revelar padrões em grandes conjuntos de números e fatos que de outra forma permaneceriam desconectos. Infográficos criativos são uma forma fascinante de transmitir mensagens complexas de maneira acessível ao público. À medida que mais dados governamentais se tornam abertos, a sociedade pode descobrir novas formas de entender informações por meio da visualização de dados.
Banco de Dados Não Relacionais vs Banco de Dados Relacionaisalexculpado
Uma breve abordagem sobre o conceito de banco de dados não relacionais, tendo como ponto de origem os bancos relacionais atuais. Apresento de forma sucinta as vantagens e desvantagens dos dois.
Foi apresentado no Campus Universitário da UAN do Camama.
O documento descreve o que é Business Intelligence (BI) e Power BI, como o Power BI funciona e como ele pode ser usado para analisar e compartilhar dados. O Power BI permite unificar dados de várias fontes, organizá-los no Power BI Desktop, processá-los com fórmulas DAX, publicá-los no Power BI Service para compartilhamento em painéis interativos em tempo real.
O documento discute o conceito de Big Data, definindo-o como o foco em grandes volumes de dados e velocidades de processamento. Explora os 5 V's do Big Data (Velocidade, Volume, Variedade, Veracidade e Valor) e apresenta exemplos de como empresas usam Big Data para identificar padrões e tomar decisões mais rápidas. Finalmente, discute tecnologias como Hadoop usadas para armazenar e processar grandes volumes de dados distribuídos.
Introdução a modelagem de dados - Banco de Dadosinfo_cimol
O documento discute a história e conceitos de bancos de dados, incluindo como os registros históricos evoluíram para sistemas gerenciados por computador. Ele explica termos como entidade, dados, informação e conhecimento, e descreve os componentes e vantagens de sistemas de banco de dados. Finalmente, aborda os modelos conceitual, lógico e físico usados para modelar e implementar bancos de dados.
1) O documento discute sistemas de apoio à decisão (SAD), como eles auxiliam na tomada de decisão a partir de dados;
2) Explica a evolução dos sistemas de informação, da capacidade de armazenamento de 5MB em 1956 para centenas de terabytes atualmente;
3) Destaca que SADs sistematizam processos decisórios empresariais e permitem análise de dados para tomada de decisão.
O documento discute a história e conceitos-chave de bancos de dados. Aborda a evolução dos bancos de dados desde os anos 1960, com o surgimento de modelos hierárquicos e relacionais. Também define termos como dados, informações, metadados e transações. Explica os principais tipos de bancos de dados e sistemas gerenciadores de banco de dados.
Session découverte de la Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/38mIuTp
Denodo vous propose une session virtuelle pour découvrir la Data Virtualization. Quel que soit votre rôle, responsable IT, architecte, data scientist, analyste ou CDO, vous découvrirez comment Denodo Platform, la plateforme leader en data intégration, data management et livraison de données en temps réel permet d'accéder à tout type de source de données pour en tirer de la valeur.
Aula 01 - Fundamentos de Banco de Dados (2).pdfMarcelo Silva
O documento apresenta uma aula sobre fundamentos de bancos de dados. Discute a introdução ao tema, definindo o que é um banco de dados e sua importância. Também aborda os elementos constituintes de um banco de dados, como arquivos, sistemas gerenciadores e linguagem SQL.
Este documento discute as etapas da preparação e limpeza de dados, incluindo separação, conversão e padronização de dados. A separação envolve dividir dados em campos mais úteis, como separar nomes em primeiro nome e sobrenome. A conversão garante que dados de um campo estejam no mesmo formato. A padronização controla inconsistências, como valores diferentes para o mesmo conceito. Documentar o processo de limpeza é essencial.
Este documento fornece uma introdução aos projetos multimídia, incluindo:
1) As etapas-chave no desenvolvimento de um projeto multimídia, como análise e planeamento, design, produção, teste e distribuição.
2) Ferramentas úteis para planeamento de projetos como diagramas de Gantt e PERT.
3) Os elementos-chave a considerar na análise e planeamento, como objetivos, requisitos, cronograma e orçamento.
O documento discute vários aspectos avançados de modelagem dimensional, incluindo: (1) esquemas estrela e snowflake e suas variações, (2) dimensão tempo e como modelá-la, (3) dimensões que podem ter múltiplos papéis e (4) dimensões que evoluem no tempo (slowly changing dimensions).
A apresentação resume a história da Microsoft desde sua fundação em 1975 por Bill Gates e Paul Allen até se tornar uma das maiores empresas de tecnologia do mundo. Detalha também alguns de seus principais produtos como Windows, Office, Xbox e Power BI, que oferece recursos poderosos de business intelligence.
Este documento resume três conceitos principais:
1) Big Data e a governança de dados, discutindo como a governança de dados se alinhará com os conceitos de Big Data e quais áreas serão mais afetadas.
2) O papel emergente do cientista de dados na era do Big Data.
3) O modelo de maturidade do TDWI para avaliar como as empresas estão trabalhando com Big Data.
O documento discute o design thinking, definindo-o como uma abordagem centrada no ser humano para resolver problemas de forma criativa e empática. Apresenta as etapas do processo de design thinking, que incluem entender o problema por meio de pesquisas e observações, gerar novas perspectivas a partir da empatia, desenvolver soluções prototipadas e testadas com os usuários. Defende que esta abordagem promove a inovação ao colocar as necessidades humanas no centro.
Por que o Microsoft Power BI? Um breve overview sobre BILeonardo Karpinski
Nesta apresentação eu mostro um pouco do conteúdo que disponibilizo no meu curso de Power BI Aplicado.
Para conferir o conteúdo completo basta acessar o seguinte link:
https://www.udemy.com/power-bi-aplicado/?couponCode=DESCONTOLKD
O documento discute os principais aspectos do design de interface e arquitetura da informação para websites. Ele explica que o foco no design de interface é na experiência do usuário e interação, e que um bom design facilita a conclusão das tarefas pelo usuário de forma funcional e equilibrada. Também discute a importância de definir objetivos, público-alvo, conteúdo, estrutura de navegação e componentes da interface para planejar de forma efetiva a arquitetura da informação de um site.
Uma introdução ligeira às redes de PERT e gráficos de GANTT. Aula de Planeamento de Sistemas de Informação do Mestrado em Informação Empresarial da Escola Superior de Estudos Industriais e de Gestão, do Instituto Politécnico do Cávado e do Ave.
O documento apresenta uma introdução ao Balanced Scorecard (BSC), descrevendo sua história, conceito, estrutura e aplicações. O BSC foi desenvolvido por Kaplan e Norton na década de 1990 para auxiliar empresas a medir o desempenho além de métricas financeiras, considerando também clientes, processos internos e aprendizado organizacional. Ele traduz a estratégia de uma empresa em objetivos e indicadores em quatro perspectivas. A tecnologia da informação pode apoiar o BSC por meio de sistemas para coleta e comunicação de
O documento discute NoSQL, comparando propriedades ACID e BASE e o teorema CAP. Apresenta vários modelos NoSQL como chave-valor, orientado a colunas, documentos e grafos. Explica como sistemas NoSQL priorizam disponibilidade sobre consistência de acordo com o teorema CAP.
O documento apresenta uma disciplina sobre governança e gestão de TI. Ele descreve a ementa, objetivos gerais e específicos da disciplina, além de apresentar alguns dos principais modelos de melhores práticas como Balanced Scorecard, CobiT e ITIL.
O documento discute projetos de produtos, serviços e processos. Ele fornece definições de projeto e discute os principais elementos de um projeto, incluindo planejamento, análise de recursos, desenvolvimento do cronograma e gestão de riscos. Além disso, discute a inter-relação entre projeto de produto e processo e como a atividade de projeto é um processo de transformação.
O documento discute o conceito de Big Data, definindo-o como conjuntos extremamente grandes de dados que precisam de ferramentas especializadas para lidar com volumes e velocidades crescentes. Explica que o Big Data pode ser usado para inovação e tomada de decisão, e destaca o crescimento exponencial na geração de dados oriundo da internet e dispositivos móveis. Também aborda profissões emergentes e soluções tecnológicas para o armazenamento e análise de grandes volumes de dados.
Devido ao aumento da quantidade de dados, começaram a surgir demandas de escalabilidade e a necessidade de se trabalhar com dados de forma mais flexível do que as regras do modelo relacional. Em 2009, surgiu o termo NoSQL. Este novo modelo, faz referência a várias soluções desenvolvidas que caracterizam-se por ter esquema flexível, executar de forma distribuída e geralmente possuir o código aberto.
Este documento apresenta a primeira aula de uma disciplina sobre pesquisa e ordenação de dados. O professor apresenta suas credenciais, informa os canais de comunicação, o plano de ensino e avaliações da disciplina, e introduz os conceitos básicos de pesquisa e ordenação de dados.
Capítulo 05 - Fundamentos da inteligência de negócios: gestão da informação e...Everton Souza
O capítulo discute fundamentos da inteligência de negócios, gestão da informação e bancos de dados. Aborda como bancos de dados relacionais e orientados a objetos organizam dados, princípios de sistemas de gestão de bancos de dados e como extrair informações dos bancos de dados para melhorar o desempenho e tomada de decisão das empresas.
Este documento discute conceitos e técnicas de visualização de dados, incluindo:
1) A visualização de dados permite que os seres humanos explorem grandes conjuntos de dados usando suas habilidades visuais.
2) Técnicas como posição, forma, cor e animação podem ser usadas para destacar padrões visuais nos dados.
3) A visualização de dados ajuda a reduzir a busca, reconhecer padrões e fazer inferências sobre os dados.
1) O documento apresenta o programa da disciplina de Redes Neurais ministrada pelo professor Germano Vasconcelos, abordando os fundamentos, modelos, aplicações e projeto prático.
2) As aulas abordam tópicos como redes feedforward, recorrentes, auto-organizáveis e construtivas, além de aplicações como reconhecimento de padrões e previsão.
3) Os alunos deverão desenvolver um projeto aplicando redes neurais a um problema do mundo real.
O documento discute a história e conceitos-chave de bancos de dados. Aborda a evolução dos bancos de dados desde os anos 1960, com o surgimento de modelos hierárquicos e relacionais. Também define termos como dados, informações, metadados e transações. Explica os principais tipos de bancos de dados e sistemas gerenciadores de banco de dados.
Session découverte de la Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/38mIuTp
Denodo vous propose une session virtuelle pour découvrir la Data Virtualization. Quel que soit votre rôle, responsable IT, architecte, data scientist, analyste ou CDO, vous découvrirez comment Denodo Platform, la plateforme leader en data intégration, data management et livraison de données en temps réel permet d'accéder à tout type de source de données pour en tirer de la valeur.
Aula 01 - Fundamentos de Banco de Dados (2).pdfMarcelo Silva
O documento apresenta uma aula sobre fundamentos de bancos de dados. Discute a introdução ao tema, definindo o que é um banco de dados e sua importância. Também aborda os elementos constituintes de um banco de dados, como arquivos, sistemas gerenciadores e linguagem SQL.
Este documento discute as etapas da preparação e limpeza de dados, incluindo separação, conversão e padronização de dados. A separação envolve dividir dados em campos mais úteis, como separar nomes em primeiro nome e sobrenome. A conversão garante que dados de um campo estejam no mesmo formato. A padronização controla inconsistências, como valores diferentes para o mesmo conceito. Documentar o processo de limpeza é essencial.
Este documento fornece uma introdução aos projetos multimídia, incluindo:
1) As etapas-chave no desenvolvimento de um projeto multimídia, como análise e planeamento, design, produção, teste e distribuição.
2) Ferramentas úteis para planeamento de projetos como diagramas de Gantt e PERT.
3) Os elementos-chave a considerar na análise e planeamento, como objetivos, requisitos, cronograma e orçamento.
O documento discute vários aspectos avançados de modelagem dimensional, incluindo: (1) esquemas estrela e snowflake e suas variações, (2) dimensão tempo e como modelá-la, (3) dimensões que podem ter múltiplos papéis e (4) dimensões que evoluem no tempo (slowly changing dimensions).
A apresentação resume a história da Microsoft desde sua fundação em 1975 por Bill Gates e Paul Allen até se tornar uma das maiores empresas de tecnologia do mundo. Detalha também alguns de seus principais produtos como Windows, Office, Xbox e Power BI, que oferece recursos poderosos de business intelligence.
Este documento resume três conceitos principais:
1) Big Data e a governança de dados, discutindo como a governança de dados se alinhará com os conceitos de Big Data e quais áreas serão mais afetadas.
2) O papel emergente do cientista de dados na era do Big Data.
3) O modelo de maturidade do TDWI para avaliar como as empresas estão trabalhando com Big Data.
O documento discute o design thinking, definindo-o como uma abordagem centrada no ser humano para resolver problemas de forma criativa e empática. Apresenta as etapas do processo de design thinking, que incluem entender o problema por meio de pesquisas e observações, gerar novas perspectivas a partir da empatia, desenvolver soluções prototipadas e testadas com os usuários. Defende que esta abordagem promove a inovação ao colocar as necessidades humanas no centro.
Por que o Microsoft Power BI? Um breve overview sobre BILeonardo Karpinski
Nesta apresentação eu mostro um pouco do conteúdo que disponibilizo no meu curso de Power BI Aplicado.
Para conferir o conteúdo completo basta acessar o seguinte link:
https://www.udemy.com/power-bi-aplicado/?couponCode=DESCONTOLKD
O documento discute os principais aspectos do design de interface e arquitetura da informação para websites. Ele explica que o foco no design de interface é na experiência do usuário e interação, e que um bom design facilita a conclusão das tarefas pelo usuário de forma funcional e equilibrada. Também discute a importância de definir objetivos, público-alvo, conteúdo, estrutura de navegação e componentes da interface para planejar de forma efetiva a arquitetura da informação de um site.
Uma introdução ligeira às redes de PERT e gráficos de GANTT. Aula de Planeamento de Sistemas de Informação do Mestrado em Informação Empresarial da Escola Superior de Estudos Industriais e de Gestão, do Instituto Politécnico do Cávado e do Ave.
O documento apresenta uma introdução ao Balanced Scorecard (BSC), descrevendo sua história, conceito, estrutura e aplicações. O BSC foi desenvolvido por Kaplan e Norton na década de 1990 para auxiliar empresas a medir o desempenho além de métricas financeiras, considerando também clientes, processos internos e aprendizado organizacional. Ele traduz a estratégia de uma empresa em objetivos e indicadores em quatro perspectivas. A tecnologia da informação pode apoiar o BSC por meio de sistemas para coleta e comunicação de
O documento discute NoSQL, comparando propriedades ACID e BASE e o teorema CAP. Apresenta vários modelos NoSQL como chave-valor, orientado a colunas, documentos e grafos. Explica como sistemas NoSQL priorizam disponibilidade sobre consistência de acordo com o teorema CAP.
O documento apresenta uma disciplina sobre governança e gestão de TI. Ele descreve a ementa, objetivos gerais e específicos da disciplina, além de apresentar alguns dos principais modelos de melhores práticas como Balanced Scorecard, CobiT e ITIL.
O documento discute projetos de produtos, serviços e processos. Ele fornece definições de projeto e discute os principais elementos de um projeto, incluindo planejamento, análise de recursos, desenvolvimento do cronograma e gestão de riscos. Além disso, discute a inter-relação entre projeto de produto e processo e como a atividade de projeto é um processo de transformação.
O documento discute o conceito de Big Data, definindo-o como conjuntos extremamente grandes de dados que precisam de ferramentas especializadas para lidar com volumes e velocidades crescentes. Explica que o Big Data pode ser usado para inovação e tomada de decisão, e destaca o crescimento exponencial na geração de dados oriundo da internet e dispositivos móveis. Também aborda profissões emergentes e soluções tecnológicas para o armazenamento e análise de grandes volumes de dados.
Devido ao aumento da quantidade de dados, começaram a surgir demandas de escalabilidade e a necessidade de se trabalhar com dados de forma mais flexível do que as regras do modelo relacional. Em 2009, surgiu o termo NoSQL. Este novo modelo, faz referência a várias soluções desenvolvidas que caracterizam-se por ter esquema flexível, executar de forma distribuída e geralmente possuir o código aberto.
Este documento apresenta a primeira aula de uma disciplina sobre pesquisa e ordenação de dados. O professor apresenta suas credenciais, informa os canais de comunicação, o plano de ensino e avaliações da disciplina, e introduz os conceitos básicos de pesquisa e ordenação de dados.
Capítulo 05 - Fundamentos da inteligência de negócios: gestão da informação e...Everton Souza
O capítulo discute fundamentos da inteligência de negócios, gestão da informação e bancos de dados. Aborda como bancos de dados relacionais e orientados a objetos organizam dados, princípios de sistemas de gestão de bancos de dados e como extrair informações dos bancos de dados para melhorar o desempenho e tomada de decisão das empresas.
Este documento discute conceitos e técnicas de visualização de dados, incluindo:
1) A visualização de dados permite que os seres humanos explorem grandes conjuntos de dados usando suas habilidades visuais.
2) Técnicas como posição, forma, cor e animação podem ser usadas para destacar padrões visuais nos dados.
3) A visualização de dados ajuda a reduzir a busca, reconhecer padrões e fazer inferências sobre os dados.
1) O documento apresenta o programa da disciplina de Redes Neurais ministrada pelo professor Germano Vasconcelos, abordando os fundamentos, modelos, aplicações e projeto prático.
2) As aulas abordam tópicos como redes feedforward, recorrentes, auto-organizáveis e construtivas, além de aplicações como reconhecimento de padrões e previsão.
3) Os alunos deverão desenvolver um projeto aplicando redes neurais a um problema do mundo real.
Deep Learning do Zero ao Impossível: Qual o caminho?Sandro Moreira
Aprender Deep Learning pode ser confuso e muitas vezes muito frustrante. Nesta palestra, pretendemos definir um roteiro para ir do nada à fluência em Deep Learning da maneira mais rápida possível. Destacaremos cursos, frameworks, matemática envolvida, métodos e estratégias para você começar e lhe apontar o caminho para ser capaz de usar o Deep Learning para resolução de problemas do mundo real.
Este documento discute as noções de informação, dados e conhecimento. Define informação como um conjunto organizado de dados que transmite significado e permite tomar decisões. Distingue informação de dados, que são elementos soltos, e de conhecimento, que resulta da aplicação da informação. Explora também a teoria da informação de Shannon, que quantifica a informação ao nível do sinal, ignorando o significado.
Visualização de Dados - Pesquisa e Prática - Esperança & KosminskyDoris Kosminsky
O documento discute visualização de dados, definindo-a como uma forma de representar informações através de imagens geradas por computadores. Apresenta os desafios de visualizar grandes volumes de dados e as vantagens do processamento visual pelo cérebro humano. Também descreve a evolução das ferramentas de visualização e a importância da colaboração multidisciplinar entre designers, cientistas e engenheiros.
- O documento apresenta um workshop sobre análise de redes aplicada ao Senado Federal brasileiro. Apresenta conceitos básicos de teoria de grafos e ciência de redes.
- Inclui exemplos práticos de análise de redes em diferentes contextos como epidemias, concentração de pessoas e grupos criminosos.
- Detalha a investigação inicial realizada sobre a rede de relacionamentos entre senadores brasileiros através de sua participação em comissões, com o objetivo de identificar os senadores mais influentes.
Este documento discute os princípios do processo eletrônico em três frases:
1) O processo eletrônico é baseado em princípios como a imaterialidade, interconexão e interação, que refletem a natureza das redes digitais.
2) Esses princípios superam a dicotomia entre oralidade e escrita ao permitir novas formas de comunicação entre os participantes do processo.
3) A hiper-realidade e a desterritorialização também são princípios importantes, uma vez que os documentos
O documento discute os princípios do processo eletrônico em três frases:
1) Analisa como a desmaterialização dos documentos e a conectividade das redes transformam os princípios do processo, como a imaterialidade, interação e hiper-realidade.
2) Discutem como a Lei 11.419/2006 regulamenta o uso de meios eletrônicos no processo judicial, permitindo a comunicação e transmissão eletrônica.
3) Explica como a desterritorialização ocorre com sites como o Portal da Justiça,
O documento discute os principais modelos de bancos de dados, incluindo o modelo hierárquico, modelo de rede, modelo relacional, modelo orientado a objetos e modelo dedutivo. Explica as características-chave de cada modelo e como representam e armazenam dados.
O documento discute várias abordagens teóricas da interface humano-computador, incluindo psicologia cognitiva, percepção, semiótica, ergonomia, teoria da atividade, cognição distribuída e engenharia semiótica. Essas abordagens fornecem fundamentos para o projeto e avaliação de sistemas interativos considerando aspectos humanos e sociais.
O documento discute conceitos e métodos fundamentais da etnografia e netnografia, incluindo:
1) A etnografia envolve observação participante e coleta de dados em ambientes naturais para compreender culturas e comportamentos humanos.
2) Técnicas como mapeamento, seleção de amostras, entrevistas e diários de campo são usadas para pesquisar grupos e indivíduos.
3) A pesquisa etnográfica requer estabelecimento de vínculos, empatia e compreensão do ponto de
O documento discute o conceito de Big Data, destacando os 3 V's (Volume, Variedade e Velocidade) que caracterizam grandes conjuntos de dados. Também aborda outros aspectos como os tipos de dados (estruturados, semiestruturados e não estruturados), as fontes de dados e as enormes quantidades geradas diariamente.
O documento discute a importância da arquitetura da informação para organizar dados de forma a facilitar a assimilação pelos usuários. Apresenta os conceitos-chave da área e as dimensões a serem consideradas, como contexto, usuários e conteúdo. Também lista entregáveis como contar uma boa história, nomear sessões e validar a natureza das informações a serem apresentadas.
Resumo apresentado na Matéria de Recuperação e Recomendação de Informação do PPGI 2014. Um resumo do Artigo de Borg, Runeson e Ardo (com pitadas da minha experiência profissional). Nesse artigo os autores falam sobre Rastreabilidade de Software feita de forma automatizada através de Modelos e Técnicas de Recuperação da Informação.
"Visualização e análise espacial nas humanidades: o que ganhamos, o que perdemos?", comunicação apresentada no II Seminário Internacional História e Língua – Interfaces, Universidade de Évora, 23 de Setembro de 2014.
A alguns anos comecei a estudar para me tornar um Cientista de Dados. Ainda Não estou totalmente lá, mas essa palestra traz algumas coisas que aprendi e recursos para aprender ainda mais.
1) O documento apresenta os tópicos de Lógica de Programação, Algoritmos e Estruturas de Dados.
2) Aborda conceitos como funções básicas de software, introdução a algoritmos, lógica e estruturas de dados.
3) Inclui exemplos de algoritmos, exercícios de lógica e introdução a pseudocódigo.
Métodos de Design: Uma abordagem para estudos de viabilidade em projetos de s...Alessandro Lima
Este documento discute métodos de design para estudos de viabilidade em projetos de software. Ele aborda requisitos, processos de design centrados no usuário, entrevistas com stakeholders e a criação de personas para representar os usuários-alvo.
Similaire à Introdução à Visualização de Dados (2015) (20)
Como criar um mapa temático interativo com dados abertos e D3.jsHelder da Rocha
Apresentação realizada na trilha JavaScript The Developer's Conference (TDC) Recife 2019. Código e demonstrações disponíveis no GitHub e CodePen (veja links no final).
TDC 2019: transformando dados públicos em mapas interativosHelder da Rocha
Este documento apresenta um tutorial prático sobre como usar a biblioteca D3.js para criar mapas temáticos interativos utilizando dados abertos. O tutorial ensina como obter dados geoespaciais e temáticos de portais públicos, gerar objetos SVG com D3, aplicar projeções e recursos interativos. O código-fonte completo e demonstrações online estão disponíveis no GitHub para aprendizado e referência.
Padrões essenciais de mensageria para integração de sistemasHelder da Rocha
O documento apresenta padrões essenciais de mensageria para integração de sistemas, descrevendo: (1) 4 estratégias básicas de integração, incluindo o uso de mensageria; (2) o que é um sistema de mensageria e seus componentes; (3) 10 padrões de mensageria focados em minimizar acoplamento entre componentes.
O documento discute a visualização de dados na web, mencionando gráficos que revelam informações, interagem com dados e omitem ou enganam. Apresenta exemplos históricos de gráficos e ferramentas atuais para criação de gráficos dinâmicos e interativos. Discorre sobre como gráficos podem transmitir confiança excessiva, omitir dados e usar escalas de forma enganosa.
Curso de Java Persistence API (JPA) (Java EE 7)Helder da Rocha
Este documento fornece um tutorial sobre a tecnologia Java Persistence API (JPA) de acordo com a especificação Java EE 7. Resume os principais conceitos de JPA como mapeamento objeto-relacional, configuração da camada de persistência e exemplos de mapeamento de entidades usando anotações ou arquivos XML. Também fornece informações sobre exercícios práticos que serão realizados usando diferentes provedores de persistência e bancos de dados.
Este documento fornece uma introdução à Java Persistence API (JPA), abordando tópicos como: 1) relacionamentos entre objetos; 2) mapeamento objeto-relacional; 3) introdução prática com um exemplo "Hello World" utilizando JPA.
Curso de RESTful WebServices em Java com JAX-RS (Java EE 7)Helder da Rocha
Este documento fornece um tutorial sobre o desenvolvimento de serviços web RESTful usando a especificação JAX-RS no Java EE 7. Explica conceitos como recursos, métodos HTTP, templates de caminho e anotações para mapear recursos e métodos. Também fornece exemplos simples de implementação de recursos RESTful com JAX-RS.
1. O documento discute os conceitos e mecanismos de segurança padrão no Java EE, incluindo autenticação, autorização e comunicação segura.
2. São descritos os principais componentes de segurança como realms, principals, roles e as APIs de autenticação como BASIC, DIGEST e FORM.
3. São explicados os processos de autenticação na camada web e em componentes EJB, assim como o uso de SSL/TLS para comunicação segura.
Este documento fornece um resumo sobre WebServlets de acordo com a especificação Java EE 7. Ele contém informações sobre aplicações Web, WebServlets, requisições e respostas HTTP, URLs e redirecionamento, contexto da aplicação, sessão do cliente, filtros interceptadores e arquitetura MVC.
1. O documento apresenta os fundamentos de programação concorrente em Java, incluindo threads, a interface Runnable, como iniciar novos threads, interrupção de threads, espera de threads e problemas de corrida.
2. A segunda parte aborda a API de concorrência do Java, incluindo classes e interfaces do pacote java.util.concurrent.
3. O documento fornece exemplos de código para ilustrar os principais conceitos de programação concorrente em Java.
O documento discute as principais novidades do Java 8, incluindo: 1) novas expressões lambda e referências para métodos, 2) APIs de data e hora, streams e interfaces funcionais, e 3) a ferramenta Nashorn para JavaScript. Apresenta exemplos de código para ilustrar essas mudanças na sintaxe e APIs.
Sincronizadores são objetos que controlam o fluxo de threads em Java. O documento descreve implementações como Semaphore, CountDownLatch, CyclicBarrier, Exchanger e Phaser, que fornecem padrões de sincronização. A infraestrutura comum é fornecida pela classe AbstractQueuedSynchronizer.
1. O documento discute tópicos sobre concorrência e paralelismo em Java, incluindo criação e controle de threads, acesso exclusivo, ciclo de vida de aplicações, variáveis atômicas e travas.
2. É introduzido o framework Fork/Join, que permite paralelizar tarefas recursivas usando a estratégia "dividir para conquistar" em CPUs multi-core.
3. São explicados conceitos como work stealing, onde threads roubam tarefas de outras filas para executar, melhorando a performance.
O documento discute frameworks e implementações para execução concorrente de tarefas em Java, incluindo Executors, ExecutorService, ThreadPoolExecutor, CompletionService e CompletableFuture. Ele explica como submeter tarefas para execução, obter resultados e controlar a finalização de threads.
2. Quem sou eu? Who am I? Кто я?
Helder da Rocha
argonavis.com.br
Tecnologia * Ciência * Arte
HTML & tecnologias Web desde 1995
Autor de cursos e livros sobre
Java, XML e tecnologias Web
helderdarocha.com.br
3. Agenda
• Teoria da visualização de dados
• Tipos de gráficos
• Qualidade de gráficos
• Aplicações, ferramentas e tecnologias
• Demonstrações práticas
• Como fazer um gráfico usando D3.js
• Como fazer um mapa usando Leaflet e D3.js
4. O que são dados?
• Aquilo que é dado (do verbo dar)
• Em grego. Plural data, singular datum
• Um dado é um fato qualquer sem contexto.
• Informação é um dado colocado em um contexto
Dado
cru
Contexto
Dado em
contexto
Informação
5. Dado e informação
20160705
• Um número, um código, uma data?
• Informação: 20 milhões, 160 mil, 705 unidades
• Informação: 20160705 é a data de hoje
(a quantidade de contexto pode ser insuficiente para
caracterizar um dado como informação
ex: meta-dados, formatação, estrutura XML)
6. visualização de dados
#datavis #dataviz
• Parte da ciência de dados
• Mecanismo para converter fontes de dados em uma
representação visual (gráficos, mapas, tabelas)
• Geralmente refere-se a dados estatísticos ou
científicos, mapas geográficos e linhas do tempo
• O termo geralmente não é usado para se referir a
geometria, notações musicais, químicas,
matemáticas, arquitetônicas, circuitos eletrônicos
(embora isto também seja "visualização de dados")
7. Para que serve um gráfico?
• Para que serve um texto?
• Comunicar / informar / revelar / explicar
... mas, às vezes são usados para ...
• Seduzir / doutrinar / destacar / convencer
8. Interpretação
• Gráficos e textos são linguagens informais
• Dependem de contexto, background cultural
• Para serem úteis precisam ser interpretados,
aprendidos, transformados em informação e
conhecimento
• Interpretações frequentemente são conflitantes
13. Percepção visual
• Toda informação é processada pre-atentivamente
(Sistema 1)
• Informação que tem maior relevância (para o que
uma pessoa está pensando no momento) é
selecionada para ser processada conscientemente
(Sistema 2)
• Para maximizar o poder e eficácia de uma
visualização, devemos codificar o máximo possível
de informação em características pre-atentivas
(Sistema 1)
31. Visão é convenção
• Representações visuais são aprendidas;
percebemos mais facilmente o que já conhecemos
• Podemos entender gráficos complexos e
compactos, mas podemos nos enganar na
primeira impressão
• Objetivo da visualização é encontrar maneira mais
simples e precisa para compreender e comparar
dados: transformá-los em informação e
conhecimento
32. Números
32
+ 42
= 52
• Números e texto não são percebidos pré-atentivamente
porque são aprendidos (requer Sistema 2)
33. Qual lado é maior?
• Pode-se comparar valores com base em atributos pré-
atentivos percebidos (mas não inferir valores reais a
partir deles)
34. Qual o valor de cada lado?
34
5
• Para perceber que ela representa um valor especifico,
precisamos de uma escala numérica ou textual
44. Revelar o invisível
• A visualização de dados permite trabalhar com
universos e dimensões que não existem no mundo
das coisas visíveis
• Espectros de luz invisível
• Quatro ou mais dimensões físicas
• Ondas e linguagens sonoras
• O infinitamente grande e o infinitamente pequeno
• Abstrações matemáticas e filosóficas, conceitos
e idéias, quantidades, estatísticas
76. Dados quantitativos
1786: primeiros gráficos (Playfair)
Hoje: parte fundamental da análise estatística de dados e
comunicação em ciência, tecnologia,
negócios, educação, jornalismo.
77. Por que visualizar?
• Para ter uma visão abrangente dos dados (é difícil
lembrar de muitos números em uma tabela)
• Para comparar valores rapidamente
• Para descobrir padrões dentre os valores
• Para comparar padrões
https://www.perceptualedge.com/blog/?p=1897
78. Para que um gráfico?
"O poder de um gráfico é permitir que informação
quantitativa seja organizada de forma a revelar
padrões e estruturas que não são facilmente
detectadas por outros meios de análise dos
dados." (Cleveland & McGill)
80. Qual comunica melhor?
ontem hoje amanhã
33 10 4
ontem hoje amanhã
amanhã
4
hoje
10
ontem
33
ontem hoje amanhã
ontem hoje amanhã
33
10
4
ontem hoje amanhã
81. As representações mais
eficientes são
• Mais simples (rapidamente compreendidas)
• Mais atraentes (prendem a atenção)
• Seguem convenções (usam formas já aprendidas)
• Mais fáceis de comparar (posições, comprimentos)
• Mais compactas (pontos mais próximos são mais
fáceis de comparar)
82. Precisão da percepção
1. Posição em uma escala comum
2. Posições em escalas não alinhadas
3. Comprimento, direção, ângulo
4. Área
5. Volume, curvatura
6. Sombras, saturação de cor
Mais preciso
Menos preciso
83. Regras básicas
• A importância da precisão é maior quanto mais
analítica ou exploratória for a visualização
• Nos outros casos é possível escolher o nível ideal
de compromisso entre precisão e interesse visual
necessária para a história que está sendo
contada e seu público.
• Qual o público, propósito e contexto?
84. Tipos de dados
• Quantitativo: é possível contar ou medir (número,
comprimento, área, ângulo) - valor difícil de
perceber com precisão (se não houver uma escala)
• Ordinal: é possível ordenar ou comparar (ex:
saturação de cores, área, ângulo, comprimento,
palavras) - valor fácil de perceber
• Nominal: categoria, nome
163. O que você quer mostrar?
• Relacionamentos, tendências, comparações,
posições, instantes, ranking, correlação,
composição, distribuição, desvio, percentagem,
hierarquia, ...
• Quantas variáveis? Que tipo de dados (categoria,
quantidade)?
167. Um bom gráfico
• É verdadeiro e informativo (lie factor -> 0)
• É eficiente (+data-ink ratio, -chartjunk, +boa
percepção)
• É multidimensional e compacto (facilita a
comparação, ajuda a revelar informação)
• É adequado ao seu público e finalidade
(princípios podem ser violados - design é escolha)
168. Princípios de Edward Tufte
• Data-Ink ratio: quantidade de tinta (ou pixels) que
representa os dados mostrados (deve ser o maior
possível)
• Chartjunk: lixo visual que é irrelevante para a
exibição dos dados (e que atrapalha)
• Lie Factor: fator de mentira - gráficos que mentem
ao não representar proporções e comprimentos de
maneira precisa
170. Percepção
• Barras (comprimento), pontos e linhas (posição)
são mais facilmente percebidos
• Ângulos e áreas são mais difíceis de comparar
• Saturação e tonalidade não são adequados para
representar dados quantitativos
178. Não exagere!
• Às vezes non-data ink não é chart junk
• A estética também é importante: um gráfico deve
atrair a atenção do visualizador
• É importante tornar a leitura mais fácil e a
visualização mais eficiente: Sistema 1!
217. Antes de começar
• É preciso organizar os dados!
• Localizar (onde?)
• Limpar e refinar (remover, adaptar, reorganizar)
• Analisar e verificar (precisão)
• Estruturar (de acordo com o tipo de visualização)
219. Limpeza/refinamento
• Transforme dados em listas e matrizes
2015 2016
Jan Feb Mar Jan Feb Mar
A 55 54 57 56 55 55
B 22 34 78 356 366 340
C 13 13 14 22 23 29
Jan-2015 Feb-2015 Mar-2015 Jan-2016 Feb-2016 Mar-2016
A 55 54 57 56 55 55
B 22 34 78 356 366 340
C 13 13 14 22 23 29
228. HTML + CSS
• Estrutura de dados em árvore
<body>
<h1 class="cabecalho">Texto</h1>
<div id="sec1">
<p>Paragrafo</p>
</div>
</body>
• Formatação via seletores: CSS
h1 {color: red; font-size: 24pt }
.cabecalho {text-decoration: underline}
#sec1 {position: absolute;
left: 20px; top: 50px;
background: blue; width: 400px}
229. HTML Document Object Model
(DOM) + JavaScript
• Acesso a estrutura do HTML e CSS
var body = document.createElement("body");
document.documentElement.appendChild(body);
var h1 = document.createElement("h1");
var texto = document.createTextNode("Hello");
h1.setAttribute("id", "titulo");
h1.appendChild(texto);
body.appendChild(h1);
h1.style.color = "red";
230. Eventos JavaScript
• Permite criar gráficos com recursos interativos e animações
• Vários tipos: "click", "mouseover", "change" etc.
• Fonte de um evento (ex: parágrafo)
<p id="item">Clique aqui</p>
• Conectando a fonte a um event handler
var elemento = document.getElementById("item");
elemento.addEventListener("click", tarefa);
• Event handler: código que vai executar quando evento acontecer
function tarefa() { alert("Clicou!"); }
233. Caminhos
• H ou h + coordenadas x linhas retas horizontais
• V ou v + coordenadas y linhas retas verticais
• L ou l + pares de coords x,y linhas retas em qq direção
1. M100,100 L150,200 z
2. M100,100 L150,200 h50 z
3. M100,100 L150,200 h50 v-100 z
4. M100,100 L150,200 h50 v-100 l-50,50 z
5. M100,100 L150,200 h50 v-100 l-50,50 L150,50 100,50 z
(0,0)
(100,100)
(150,200) (200,200)
(200,100) (150,150)
(150,50)(100,50)
z
z
z
z
238. Bibliotecas gráficas
• Escrever código DOM e JavaScript é trabalhoso
• Muita repetição
• Programar não é fácil
• JavaScript é uma linguagem traiçoeira!
• Solução: bibliotecas JavaScript - HighCharts.js,
Charts.js, etc.
240. Desvantagens das
bibliotecas
• Como alterar o gráfico um pouco?
• Como combinar com mapas e gráficos
importados?
• Como otimizar?
• Bibliotecas ainda oferecem pouca flexibilidade!
241. Data-Driven Documents
(D3.js)
• Não é uma biblioteca gráfica
• Criada por Mike Bostock (NY Times)
• É uma "ponte" entre o JavaScript e HTML, SVG (e
potencialmente outras linguagens gráficas)
• Biblioteca trata da infraestrutura para conectar dados
a visualizações
• Simplifica uso do DOM (substitui JQuery)
• Muita flexibilidade
242. D3 passo-a-passo
• Inclua <script> vinculando página a arquivo d3.js
<script src="d3.js"></script>
• Carregue os dados:
d3.json("dados.json", function(array) { ... }
• Selecione objetos para acomodar os dados
var selecao = d3.selectAll("div");
• Selecione array de dados que serão usados
selecao.data(array);
• Faça um join dos dados com os objetos gráficos
selecao.enter()
• Adicione um elemento para cada item
selecao.append("div")
243. Mapas
• Vários dispositivos gravam dados de
geolocalização
• Como exibir esses dados em um mapa?
• Onde obter mapas?
244. Mapas públicos
• Há vários repositórios com mapas de domínio
público
• Dois formatos:
• Raster - tiles para vários níveis de zoom
• Vector - arquivos com pontos e polígonos
desenhados em coordenadas geográficas
245. Tiles
• Google Maps, OpenStreetMap, MapBox, CartoDB
• 2n
tiles (n = nível de zoom)
microsoft.com
246. Leaflet
• API JavaScript para uso de tiles
• Pode-se usar qualquer servidor (local, CartoDB,
MapBox, etc.)
var mymap = L.map('mapid')
.setView([51.505, -0.09], 13);
L.tileLayer('https://api.tiles.mapbox.com/v4/{id}/{z}/{x}/
{y}.png).addTo(mymap);
247. Formatos
• SHP (coleção de arquivos usados em aplicações
GIS)
• KML, GML, GPX (formatos XML contendo dados
geográficos)
• GeoJSON: formatos JSON contendo dados
geográficos
248. GIS - Geographical Information System
• A maior parte dos dados de mapas públicos está
em formato SHP (ArcGIS)
QGIS
249. GeoJSON (geojson.org)
• Principal formato vetorial para mapas usado na Web
• Padrão JSON (JavaScript Object Notation) para GIS
• GeoJSON interativo: http://geojson.io/
{
"type": "Feature",
"geometry": {
"type": "Point",
"coordinates": [125.6, 10.1]
},
"properties": {
"name": "Dinagat Islands"
}
}
Várias
ferramentas
convertem de
SHP para
GeoJSON
250.
251. Big Data
• Arquivos muito grandes são ineficientes ou
impraticáveis na Web
• Arquivos GeoJSON podem ter milhões de pontos
• Muitos pontos são redundantes
• Solução: eliminar redundâncias, reduzir pontos
253. TopoJSON
• Biblioteca JavaScript: https://github.com/mbostock/
topojson/wiki
• Teste online usando http://www.mapshaper.org/
• TopoJSON elimina linhas redundantes em GeoJSON
que aparecem em topologias
• Ex: contornos de um estado, e do estado vizinho
adjacente
• Arquivos ficam 90% menores
254. Como fazer um mapa
• Arquivos SHP ou GeoJSON do mapa a ser criado
• GDAL / OGR (ferramentas - gera estrutura vetorial): http://www.gdal.org/
• GEOJSON - padrão IETF para estruturas vetoriais: http://geojson.org/
• TopoJSON - extensão de GEOJSON que inclui topologia e torna os mapas
90% menores (ideais para a Web): https://github.com/mbostock/topojson/wiki
• SVG - padrão W3C para gráficos vetoriais na Web: https://www.w3.org/
Graphics/SVG/
• D3.js - API JavaScript que facilita o uso de JSON e SVG para geração de
gráficos vetoriais interativos e animações. http://d3js.org/
• JavaScript + DOM + HTML / CSS (tecnologias Web fundamentais)
255. Como fazer um mapa
• Construir página HTML para conter mapa
• Incluir bibliotecas JavaScript para D3, TopoJSON e outras
dependências
• Gerar arquivo JSON (texto contendo estrutura JS) a partir
de mapas SHP
• Editar arquivo JSON para incluir pontos de interesse
• Escrever código usando D3.js para configurar
coordenadas, escala, interatividade, desenhos (SVG),
links, animações, etc.
• Usar CSS para mudar cores, linhas, fontes, etc.
• Usar HTML para oferecer mais acessibilidade e fallbacks
257. Referências
• Livros
• Douglas Hofstadter. Gödel, Escher, Bach: An Eternal Golden Braid. Basic Books,
1979.
• Edward R. Tufte. The Visual Display of Quantitative Information. Graphics Press,
1997
• David Kahneman. Thinking Fast and Slow. Farrar, Straus and Giroux. 2011.
• Stephen Few. Data Visualization: past, present and future. Perceptual Edge, 2007.
• Bederson & Schneiderman. The Craft of Information Visualization. 2003
• Isabel Meirelles. Design for Information. Rockport Publishers, 2013
• Stephen Thomas. Data Visualization with JavaScript. No Starch Press, 2015
• Scott Murray. Interactive Data Visualization for the Web: an introduction to
designing with D3, O’Reilly Media. 2014.
• Elijah Meeks. D3.js in Action: Data visualization with JavaScript. Manning
Publications. 2014
258. Referências
• Artigos
• Elijah Meeks. Gestalt Principles for Data Visualization. https://medium.com/
@Elijah_Meeks/gestalt-principles-for-data-visualization-59f18f20bd40
• Stephen Few, Tracking the Trends, Common Mistakes in Data Presentation,
intelligent enterprise, August 7, 2004.
• The Gestalt Laws of Perception. http://pt.slideshare.net/luisaepv/the-
gestalt-laws-of-perception
• Bibliotecas & serviços
• D3.js d3js.org & bl.ocks.org
• Leaflet project (leafletjs.com) & OpenLayers (openlayers.org)
259. • Esta palestra estará disponível para download em
• http://www.argonavis.com.br/download/
tdc_2016_dataviz.html
• Referências dos gráficos, livros, código e links usados na
apresentação também estarão disponíveis na página acima.
#dataviz
introdução à visualização de dados
Julho/2016
helder da rocha
helder@summa.com.br