Puppet Infraestrutura Código

Infraestrutura como código
Puppet & Mcollective
TAGUATINGA/DF - 2013--09-21
sábado, 21 de setembro de 13

José Augusto (Guto) Carvalho
Consultor/SysAdmin/DevOp (LPIC-3 e PCP-201);
14 anos de experiência com TI e FOSS;
Blogueiro TI/FOSS há 10 anos no site gutocarvalho.net;
Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS,
MPS/DATAPREV, ITI/PR, CAIXA, MD/SIPAM, DETRAN/DF;
Entusiasta DevOps (sysadmin em recuperação) desde 2010.
whoami
FOSS => Free and Open Source Software

Plano de Trabalho
40 minutos de apresentação
10 minutos para perguntas
Faça perguntas quando quiser
Slidedeck disponível em slideshare.com/gutocarvalho

Agenda
Gerência de conﬁgurações
Infraestrutura como código
Ferramentas de infraestrutura como código;
Puppet como solução de gerência de conﬁgurações
Puppet arquitetura, funcionamento e recursos
Mcollective
Perguntas

Administração de sistemas e serviços

Virtualização

Cloud Computing

Administração Manual

Administração Manual
Tarefas repetitivas
Não existem padrões
Não existem procedimentos

Cada sysadmin faz do seu jeito

Tarefas Repetitivas
Criação de usuários
Elaboração de scripts
Configuração de serviços
Configurações de monitoramento
Criação de imagens de ambientes
Configuração do sistema operacional
Instalação, atualização e remoção de pacotes

A medida que o parque aumenta
administrá-lo ﬁca mais complicado

Você vai percerber que...
Fica mais difícil identiﬁcar e corrigir problemas
Fica mais difícil manter ambientes complexos funcionando
Fica mais difícil manter seu parque padronizado
Sua produtividade diminui a media que o ambiente cresce
Sua capacidade de entrega não é mais a mesma
Você nunca chega em casa no mesmo horário
Você trabalha muitos ﬁnais de semana e madrugadas

Maior risco de ocorrer falhas

Maior tempo gasto para
executar mudanças

Quanto tempo
se gasta para
criar um usuário em
450 servidores?

Procedimento para criar usuário
Acessar o servidor por ssh
Se tornar root
Criar usuário
Especiﬁcar senha temporária
Especiﬁcar permissões no sudoers

Criação de
usuário
450 máquinas
3 minutos por máquina
1350 minutos ou 22,5 horas
450 trocas de senhas

Quanto tempo se
gasta para
instalar um agente de
monitoramento em 450
servidores removendo o
agente antigo?

Procedimento para instalar zabbix
Acessar servidor via ssh
Adicionar repositório APT
Atualizar índices
Instalar pacote
Ajustar arquivo zabbix_agentd.conf
Reiniciar agente zabbix
Remover agente antigo (nagios).

Instalação de
agente de
monitoramento
450 máquinas
10 minutos por máquina
4500 minutos ou 75 horas
9 dias trabalhando 8 h.p.d

Documentação inexistente

Não há rastreamento de mudanças

Demandas pipocando...

Ambiente pipocando...

Estresse aumentando...

E você começa a ter a sensação de estar sendo
engolido por seu ambiente.

Como resolver
estes problemas?
Como obtenho controle e
padronização em meu
ambiente ?

Gerência de Conﬁgurações

Padronização

Automatização

Controle

Integridade

Agilidade nas mudanças

Ferramentas de GC

Puppet
Ferramenta de nova geração
que implementa gerência de
conﬁgurações para seu
ambiente.

Puppet em poucas palavras

Puppet em poucas palavras
Nos permite parar de administrar e começar a desenvolver nossa infra
Nos permite reaproveitar código para construir conﬁgurações
Oferece linguagem declarativa para criar conﬁgurações
Sintaxe simples, prática e natural para sysadmins
Oferece suporte a Linux, BDBs, OSX e Windows

Sobre a ferramenta

Sobre a ferramenta
Ferramenta Open Source - Apache License
Ferramenta mantida pela empresa Puppetlabs
Empresa oferece suporte e versão enterprise
Criado por Luke Kaines (CEO e Fundador Puppetlabs)
Cases de uso com gandes players (HP, CISCO, VMWARE...)
Recebeu pesados investimentos

Feito por um SysAdmin para SysAdmins

Desenhada para uso DevOps

Visão DevOps

Tech Specs

Tech Specs
Escrito em Ruby
Extensível usando código Ruby
Funciona em modo autônomo (serverless)
Funciona em modo cliente.servidor
Usa RESTful API
Oferece comunicação segura com uso de certiﬁcados digitais

Clientes Puppet Enterprise

Parcerias

Arquitetura
Como funciona o Puppet?

Abstração
É mais fácil e rápido usar o Puppet!

Resource Abstraction Layer (RAL)

Resource Abstraction Layer

Resource Abstraction Layer
Camada de Abstração de Recursos
Fale o que você quer que seja feito
Não se preocupe em como será feito
O Puppet sabe como fazer

Instale Pacote X

Remova usuário Z

(Re)inicie serviço Y

Tratamento de
Informações
O grande diferencial do Puppet
é a forma como ele trata as
informações de seus nodes

Tratamento de informações

Tratamento de informações
No Puppet tudo é modelado e tratado como ‘dados’
O estado atual de um node (servidor) é um dado
Um pacote instalado em um node é um dado
Um usuário em um servidor é um dado
A versão do sistema operacional é um dado
A arquitetua do sistema é um dado

Os dados são inseridos em
catálogos pelo master
O catálogo é processado pelo node e as modiﬁcações
são aplicadas de acordo com o que foi declarado.

Processamento
do Catálogo
1) Agente Requisita Catálogo
1.1) Agente envia Fatos para Master
2) Master Processa Fatos e Compara
2.1) Master Produz e envia Catálogo
3) Node Recebe, Compara e Aplica
4) Node informa estado atual ao Master
5) Sistema reﬂete catálogo

Idempotência

Conﬁgurações
Voláteis e Dados
Puppet
Master
Módulos Estáticos
Visão ampla do Puppet
LDAP DNS MONIT SYSLOG
JBOSS APACHE MYSQL PGSQL
Puppet Agents
Camada de Aplicação
Camada de Serviços Estruturantes

Você pode fazer deploy de sua APP
Você pode controlar a versão de sua APP
Você pode controlar fazer rollback

Puppet em rede, como funciona?

Modo Cliente/Servidor
O agente gera um certiﬁcado digital
O master precisa autorizar o certiﬁcado
Sem autorização o agente não pode se comunicar
Toda a comunicação entre agente e master é segura

Puppet Visão em Rede
Puppet Master
Puppet Client
8140/ TCP
puppet agent
acesso
seguro ssl

Fluxo Cliente/Servidor
Instalação do
node

Instalação do
node
Inicialização
do puppet

Instalação do
node
Geração de
Certiﬁcado
Inicialização
do puppet

Instalação do
node
Geração de
Certiﬁcado
Envio de
Certiﬁcado
Inicialização
do puppet

Instalação do
node
Geração de
Certificado
Master Assina
Certificado
Envio de
Certificado
Inicialização
do puppet

Instalação do
node
Geração de
Certificado
Agente
Sincroniza
Master Assina
Certificado
Envio de
Certificado
Inicialização
do puppet

Instalação do
node
Geração de
Certificado
Agente
Sincroniza
Master Assina
Certificado
Envio de
Certificado
Inicialização
do puppet
Modalidades de Assinatura de Certificado
Assinatura pode ser manual
Assinatura pode ser automática por domínio
Assinatura pode ser automática em qualquer requisição

O agente se comunica com o
master a cada N minutos

Quais funcionalidades estão disponíveis?

Funcionalidades
Resource Types
Parâmetros e Meta-parâmetros para Resource Types
Templates (arquivo dinâmicos)
Deﬁnições (conﬁgurações dinâmicas)
Classes e Módulos
Funções e Condicionais

Puppet Resource Types
Arquivos e Diretórios
Usuários
Alias
Pacotes
Serviços
Yum Repos
Augeas
Hosts
SSH
Cron
O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.

Resource Type: Packages
Suporte a 23 tipos de
provedores de pacotes
Faz a abstração do OS
Declare se o pacote deve estar
presente ou ausente
Declare se o pacote deve
sempre estar em sua última
versão

Resource Type: Services
Suporta 11 tipos de sistemas
INIT para inicializar serviços
Declare se um serviço deve
estar sempre rodando
Declare se um serviço deve ser
carregado no boot
Declare se um serviço depende
de um pacote ou arquivo

Resource Type: File
Especiﬁque permissões e
owners
Declare arquivos,
diretórios e links
Controle de mudanças
usando até 15 tipos de
checksums

Exemplos

Instala, Conﬁgura e Inicia
instalar um pacote
ativar um serviço no boot
copiar arquivo de conﬁguração
iniciar serviço instalado
o que queremos fazer?

# aptitude install apache2
# insserv apache2
# cp ~/httpd.conf /etc/apache2/
# invoke-rc.d apache2 start
no debian seria assim:

# yum install httpd
# chkconﬁg httpd on
# cp ~/httpd.conf /etc/httpd/conf/
# service httpd start
no redhat/centos seria assim:

Como seria no Puppet?

Puppet Manifests
Arquivo com extensão.pp em que expressamos nossas
necesidades utilizando a sintaxe declarativa do Puppet.

package { 'apache2':
ensure => present,
}

service { 'apache2':
ensure => running,
enable => true,
}
ﬁle { '/etc/apache2/httpd.conf':
ensure => present,
mode => ‘0644’,
owner => ‘root’,
group => ‘root’,
ensure => “puppet:///ﬁles/apache/httpd.conf”,
}

package { 'apache2':
ensure => present,
}

service { 'apache2':
ensure => running,
enable => true,
}
ﬁle { '/etc/apache2/httpd.conf':
ensure => present,
mode => ‘0644’,
owner => ‘root’,
group => ‘root’,
ensure => “puppet:///ﬁles/apache/httpd.conf”,
}
resource type
parameter
title
value

Mais exemplos

Declarando um node (site.pp)
node “servidor.dominio” {
include linux-server
include module
}
node “balancer.dominio” {
include linux-server
include cyrus::backend
include postﬁx::hub
include haproxy::mailproxy
}

Variáveis e Fatos
Fatos (facter)
vimpackage => vim-puppet,
apacheservice => apache2,
ntpconfrhel => ntp.conf.rhel,
Variáveisdomain
fqdn
hostname
interfaces
ipaddress_eth0
ipaddress_eth1
ipaddress_lo
lsbdistid
lsbdistrelease
=> hacklab,
=> puppetmaster.hacklab,
=> puppetmaster,
=> eth0,eth1,lo,
=> 10.0.2.15,
=> 192.168.56.150,
=> 127.0.0.1,
=> debian,
=> 6.0.5,

Condicionais
case $operatingsystem {
CentOS,RedHat: {
$package_name = 'ntp',
$service_name = 'ntpd',
$conf_ﬁle = 'ntp.conf.el',
}
Debian,Ubuntu: {
$package_name = 'ntp',
$service_name = 'ntp',
$conf_ﬁle = 'ntp.conf.debian',
}
}
....

Deﬁnições
proxy::squid { 'ProxyFilial' :
http_port
squid_mode
squid_hostname
cache_mem
maximum_object_size_in_memory
maximum_object_size
memory_replacement_policy
cache_replacement_policy
cache_dir
cache_mgr
cache_effective_user
cache_effective_group
dns_nameservers
ips_squid
}
=> '3128',
=> 'transparent',
=> 'proxy.4linux',
=> '2 GB',
=> '6 MB',
=> '128 MB',
=> 'heap GDSF',
=> 'heap LFUDA',
=> 'aufs /var/spool/squid 1024 16 256',
=> 'monitora@4linux.com.br',
=> 'proxy',
=> 'proxy',
=> '127.0.0.1 10.61.12.2 172.16.1.1',
=> '127.0.0.1 192.168.12.3',

Templates
myorigin = <%= hostname %>
mydestination = $myhostname, ..., localhost, <%= fqdn %>
Trecho do template postﬁx/main.cf
myorigin = servidor.dominio
mydestination = $myhostname, ..., localhost, servidor.dominio
Substituição de variáveis por fatos

Padronizando nodes

Base Class
class linux-server {
include sysadmin-utils
include zabbix-agent
include ntpconf
include locales
include hosts
include users
include localmta
include vimrc
include backup-agent
include apt-repos
}

Como acompanho mudanças?

Puppet Dashboard

Posso fazer mudanças em
tempo real?

Marionette Collective
Orquestrador de nodes
Execução de Tarefas Paralelas
Interação com centenas de nodes
Inventário descentralizado
Leitura de meta-dados do Puppet
Similar a Fabric e Capistrano

Demonstração

Posso provisionar VMs/Instâncias?

Ferramentas de Provisionamento
Puppet/Chef/Ansible
Foreman
Vagrant
Razor
Sprinkle

Qual o resultado concreto?

Documentação Instantânea

Processos bem deﬁnidos

Ambiente Padronizado

Restore e backup de mudanças

Tarefas Automatizadas

Benefícios Reais
Maior produtividade em menor tempo
Poucos sysadmins para muitos nodes
Diminuição de falhas humanas
Maior controle de todo o seu parque
Diminuição do tempo gasto em mudanças
Diminuição do custo de manutenção
Você chegará cedo em casa e suas madrugas e ﬁnais de semana serão seus

Comparando
Ambiente com 450 nodesAmbiente com 450 nodesAmbiente com 450 nodes
modo manual puppet
instalando zabbix 75 horas 10 minutos
criando usuário 22 horas 10 minutos

Tecnologia trabalhando para você

Boas Práticas

Insira o puppet nos templates
de seu hypervisor

Use o puppet para executar e
controlar mudanças em seu parque

Para de administrar e comece a
desenvolver a sua infraestrutura

Nova demanda? Já execute utilizando o Puppet,
escreva classes e módulos para que você só tenha
que fazer isto 1 vez e reaproveitar o código depois.

Versione as conﬁgurações (git)
criadas no Puppet.

Crie manifests pensando em reaproveitamento
código, escreva seus módulos e classes da forma
mais ﬂexível possível.

Não precisa começar do zero, use
módulos prontos do GitHub e
PuppetForge.

Pesquise, há muita informação
sobre puppet na rede!

Puppet em números
700+ pessoas online no canal
#puppet da irc.freenode.net
8.500+ repositórios no GitHub
1000+ módulos no PuppetForge
5000+ usuários ativos na lista
puppet-users com 8000+ tópicos de
discussão

Puppet Labs & Luke Kaines

Site/Blog
http://www.puppetlabs.com
http://www.puppetlabs.com/blog/
http://puppet-br.org/
Twitter
@puppetlabs
@puppetmasterd
GitHub
http://www.github.com/puppelabs
Puppet na rede
Google Groups
Puppet-camp,
puppet-users,
puppet-users-br,
puppet-dev
IRC
irc.freenode.org
#puppet
#puppet-br

Perguntas?

Obrigado!
Linkedin: http://br.linkedin.com/in/gutocarv
E-mail: gutocarvalho@gmail.com
Contato
Slides: slideshare.net/gutocarvalho
Blog: gutocarvalho.net
Twitter: @gutocarvalho

Puppet Infraestrutura Código

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (19)

Similaire à Puppet Infraestrutura Código

Similaire à Puppet Infraestrutura Código (20)

Plus de Jose Augusto Carvalho

Plus de Jose Augusto Carvalho (6)

Puppet Infraestrutura Código