O documento discute armazenamento de dados e apresenta três notícias. Resumidamente: (1) Fala sobre o crescimento exponencial dos dados e a necessidade de armazenamento inteligente; (2) Apresenta uma má notícia sobre déficit de profissionais de TI no Brasil e uma boa notícia sobre abertura de vagas; (3) A terceira notícia é excelente, projetando aumento de profissionais e vagas em TI no Brasil em 2012.
3. Crescimento constante
Uma explosão inacreditável de dados vai acontecer
nos próximos anos
Somando tudo o que temos no mundo temos 1.2 ZB de
dados (Um Zetabyte é um bilhão de trilhões de bytes)
Em 2020 serão 35 ZB (um crescimento de quase 30x
em 8 anos)
3 23/05/2011
4. Porque Armazenar a Informação
Universo Digital – Explosão da informação
O século 21 é o da era da informação
Somos dependentes da tecnologia
Exemplo: sites de rede social, e-mails, website de
compartilhamento de vídeo e fotos, compra online,
engines de pesquisa, etc
O gerenciamento da informação é o grande desafio
4 23/05/2011
6. Componentes de um disco
Controller
HDA Interface
Power
Connector
6 23/05/2011
7. Desempenho de um Disco
Dispositivo Eletromecânico
Impacta de forma geral o desempenho no
armazenamento
Tempo de serviço do disco
Tempo que leva para o disco completar a requisição
de I/O que é a soma de
Seek Time
Rotational Latency
Data Transfer Rate
7 23/05/2011
8. Seek Time
Tempo de
posicionamento da
cabeça de leitura e
gravação.
8 23/05/2011
9. Rotational Latency
Depende da velocidade de
rotação do disco
Media de rotational latency
Metade do tempo de uma
rotação inteira
Appx. 5.5 ms para disco
5400 rpm
Appx. 2.0 ms para disco
15000 rpm
Rotational delay (em sec) = 0.5/(RPM/60)
9 23/05/2011
10. Data Transfer Rate
Media de montante de dados transferidos por determinado
tempo (MB/s)
Transfer Rate Interno
Velocidade que um dado se move de uma trilha até o
buffer interno do disco
Transfer Rate Externo
Velocidade da interface até o host
Transfer rate externa é Transfer rate interna é
medida aqui medida aqui
Disk Drive
Head Disk
HBA Interface Buffer Assembly
10 23/05/2011
11. Utilization vs. Response time (Little´s Law)
Cotovelo da curva: o disco
Esta em torno de 70%
de utilização
Tamanho de fila baixo
0% Utilization 70% 100%
O tempo de resposta tende a crescer exponencialmente
quando a utilização esta acima de 70%
11 23/05/2011
12. Desafio
Vamos considerar que uma aplicação requer uma
capacidade de armazenamento de 1TB e executa 4900
IOPS.
O tamanho do I/O da aplicação é de 4KB
Como essa aplicação é critica, o tempo de resposta
deverá estar dentro de padrões aceitáveis.
Especificações disponíveis do disco:
Capacidade = 100 GB
15000 RPM
5 ms media de seek time
40MB/sec de transfer rate
Quantos discos são necessários para esta aplicação ?
12 23/05/2011
13. Solução
O tempo para executar um I/O é a soma do seek time,
rotational latency e transfer time.
5 ms+0.5/(15.000/60)+4KB/(40MB/sec)= 7,1msec
Então calculamos o numero máximo de IOPS um disco
pode executar.
1 sec / 7,1 msec = 140 IOPS
Para ter um tempo de resposta aceitável, temos que
controlar nossa utilização para que obedeça a Little´s
Law, ou seja fica abaixo dos 70%.
140 IOPS x 0,7 = 98 IOPS
Então podemos dizer que
Capacidade: 10 discos
Performance: 4.900/98 = 50 discos
13 23/05/2011
14. Evolução na Arquitetura
Multi Protocol
Router
LAN FC SAN
IP SAN
RAID Array SAN / NAS
JBOD
Internal DAS
Time
15. RAID – Redundant Array of Independent Disks
Este Não Este
15 23/05/2011
16. Porque RAID ?
Limite de performance para um disco único.
Tempo de vida medio de um disco (MTBF)
Exemplo: Se o MTBF de um disco é de 750.000 horas e
temos 1000 disco, a probabilidade de um disco falhar
é de 750 horas.
As vantagens dessa utilização é:
Melhorar a Capacidade
Alta Disponibilidade
Melhorar a performance
16 23/05/2011
17. Tipos de RAID
Espelhados (Mirror, penalidade 50%)
RAID 1
RAID 1/0 – 10 -1+0
Paridade (penalidade de 1 disco)
RAID 0
RAID 3
RAID 4
RAID 5
RAID 6
Já existe RAID com 4 paridades.
17 23/05/2011
18. Comparação entre RAID´s
Min Storage
RAID Cost Read Performance Write Performance
Disks Efficiency %
Very good for both
random and sequential Very good
0 2 100 Low
read
Good
Slower than a single
Good disk, as every write must
1 2 50 High Better than a single disk be committed to two
disks
(n-1)*100/n Poor to fair for small
Good for random reads
where n= random writes
and very good for
3 3 number of Moderate Good for large,
sequential reads
disks sequential writes
Fair for random write
(n-1)*100/n Very good for random
Slower due to parity
where n= reads
overhead
5 3 number of Moderate Good for sequential
Fair to good for
disks reads
sequential writes
(n-2)*100/n Very good for random
Moderate Good for small, random
where n= reads
6 4 but more writes
number of Good for sequential
than RAID 5 (has write penalty)
disks reads
1+0
and 4 50 High Very good Good
0+1
18 23/05/2011
19. Penalidades em RAID 5
RAID Controller
Ep new = Ep old - E4 old + E4 new
2 XOR
P0 D1 D2 D3 D4
19 23/05/2011
20. Array–Sitema de Armazenamento Inteligente
CX4- 960 (modelo Midrange)
Suporta portas de FC de
8Gb/s ou iSCSI de 10 Gb/s
(FCoE)
960 discos
600 TB de capacidade
nominal
32 GB de memoria Cache
20 23/05/2011
21. Array–Sitema de Armazenamento Inteligente
Symmetrix – DMX4 –
(modelo High-end)
Suporta portas FC de 8
Gb/s , portas iSCSI de
10Gb/s (FCoE) e portas
para Mainframe (Escon,
Ficon)
1920 discos
1,92 PB de
capacidade nominal
128 GB de Memoria
Cache
21 23/05/2011
22. Componentes de um Array
Intelligent Storage System
Host Front End Back End Physical Disks
Cache
Connectivity
FC SAN
22 23/05/2011
23. Como podemos melhorar nossa performance ?
Disco Convencional Enterprise flash drive
Tem toda a demora associado aos Melhor “throughput” por disco
dispositivos mecânicos Sem partes mecânicas
Seek time Melhor desempenho e
Rotational latency consistência de I/O
Maior consumo de energia associado aos
dispositivos eletromecânicos
Econômico em relação a energia
Requer menos energia por GB
de armazenamento
Requer menos energia por IOPS
23 23/05/2011
24. Enterprise Flash Drives – Benefícios
Melhor Performance
1@15K 10@15K 30@15K
Fibre Fibre
30 vezes mais IOPS
Fibre
Channel Channel Channel
drive drives drives
Menos de 1 msec de
Response Time
tempo de serviço
Melhor confiabilidade
Sem partes moveis
Muito mais rápido 1 Flash drive
para a reconstrução
IO per second
depois de falhas
24 23/05/2011
28. Boa Notícia
Atualmente existem 700 mil profissionais de TI
(Tecnologia da Informação) no Brasil
Porém existem 750 mil postos de trabalho
28 23/05/2011