Entrega conteúdo JVM extremos

Entregando conteúdo
em ambientes extremos na JVM
ROd

Desenvolvedor especialista
em arquiteturas de alta
performance relacionadas
a publicação, busca e
entrega de conteúdo para
o portal UOL.
Mestre pelo IME-USP em
07/2012 =)

ROd
rzaccara@uolinc.com
@rzdrigo

Academia UOL 06/07/2012

Objetivo

Aumentar a disponibilidade
da entrega de conteúdo do
Portal


Objetivo

Diminuir acesso aos
serviços de backend


Objetivo

Simplificar a infraestrutura
de entrega de conteúdo


Objetivo

Suportar múltiplos formatos
do conteúdo na mesma URL


noticias.uol.com.br


Premissas

• Estado imutável

• Detecção de User Agent

• Cache

• Melhores práticas do HTTP

• Proxy da engine de template


Detecção de User Agent

• WURFL

●
Web patch

• Fast detection

●
Bot

●
Desktop


Cache

• Cache replicado em todas as máquinas
do pool
• Separação entre conteúdo e máquina de
estado
• Cache de conteúdo “gzipado”
• Bots não adicionam conteúdo no cache


HttpHandler

• Content-Encoding: gzip

• Etag e Last-Modified

●
11% da audiência utiliza HTTP/1.0

• Cache-Control

• Connection: close


Ambiente original


Novo ambiente


Testes

• Teste no hardware final

• Ferramentas

●
HAProxy

●
ab, request-simulator, siege

●
visualvm e visualgc


JVM

• -Xms == -Xmx

• -XX:+AggressiveOpts

• -XX:+UseAdaptiveSizePolicy

• -XX:+UserParNewGC

• -XX:ParallelGCThreads


JVM

• -verbose:gc

• -XX:+PrintGCDetails

• -XX:+PrintGCDateStamps

• -Dnetworkaddress.cache.ttl

• -Dnetworkaddress.cache.negative.ttl


Migração

• Beta com noticias.uol.com.br

• Migração de todos os domínios de

coteúdo em 2 meses

●
42 áreas principais

●
Mais de 80 domínios


Apache DocRoot

• Apache envia redirect

●
/busca → /busca/

• Problema: Algumas funções JavaScript se

apoiavam nesta “feature”

• Erro: /buscamontecarlo.htm → 404 Not Found


Negando conexões

• Após morte do Chico Anysio requisições

não estabeleciam

• Pico de 160k req/minuto por servidor

• Pico de 3200 req/segundo por servidor


Negando conexões

• Tentativas:

●
Aumento de threads do Apache

●
Pré alocação de threads do Apache

●
Testes com nginx

●
Solução: ajuestes nos valores do sysctl

net.ipv4.ip_local_port_range e net.ipv4.tcp_tw_reuse


Long GC Pauses

• Requisições tinham tempo alto de

resposta sem nenhum evento especial

• Análise de gc.log

• FullGCs levando 12 ~ 15 segundos,

mesmo após ajustes em pré produção


Long GC Pauses

• Após resolução do problema anterior as

alterações do Apache não foram

desfeitas

• Thread pré alocadas fizeram o servidor

começar a consumir swap

• Monitoração da swap desativada


500 Server Internal Error

• Diversas requisições retornando 500

• No mesmo momento outras retornando

“200 OK” para o mesmo resource

• Nenhuma mensagem de erro no log da

aplicação


500 Server Internal Error

• Suspeita: Connection Pool do Jetty

• Análise: Sniffer entre Apache e Jetty

• Problema:

●
queryString no Apache 2.0.x não suporta

UTF-8

●
Somente IE realizava esta transformação


Números

• 15 ~ 150 req/min (230k no pico → 3833 req/s)

• 98% cache hits

• 125 Mbps (225 Mbps pico)

• 55% de respostas “Not Modified” (304)

• Redução de consultas ao Sistema de busca

●
500 → 250 queries/segundo (-50%)


Próximos passos

• Substituir Jetty → Netty

• Armazenar uma semana de conteúdo em

memória

• Integração com o Metrics framework

• Migração de outros serviços para a

plataforma

Apresentação disponível em
http://www.uolhost.com.br/ciclodepalestras/

Entrega conteúdo JVM extremos

Recommandé

Recommandé

Contenu connexe

Similaire à Entrega conteúdo JVM extremos

Similaire à Entrega conteúdo JVM extremos (20)

Entrega conteúdo JVM extremos