Mauricio Onoda - Processamento de imagens com Deep Learning
•
2 j'aime•957 vues
O documento discute processamento de imagens com deep learning. O autor apresenta sua experiência em TI e machine learning e descreve como a OLX lida com milhões de imagens de anúncios usando deep learning para processamento de imagens. Ele explica os principais conceitos de deep learning e como o framework Caffe é usado para treinar modelos neurais profundos capazes de classificar imagens de forma automatizada.
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Mauricio Onoda - Processamento de imagens com Deep Learning
Similaire à Mauricio Onoda - Processamento de imagens com Deep Learning (20)
Plus de Agile Trends
Plus de Agile Trends (20)
Mauricio Onoda - Processamento de imagens com Deep Learning
- 1. Processamento de Imagens com Deep Learning Mauricio Onoda
- 2. Bio • Atualmente sou do 2me de Big Data da OLX, trabalhando com processamento de textos e de imagens. • Tenho mais de 10 anos de experiência em TI e há 13 anos trabalho com Machine Learning. • Possuo doutorado e mestrado pela COPPE/ UFRJ, sendo graduado em Computação pelo ITA.
- 3. 12.5 milhões de anúncios ativos na plataforma – quase meio milhão de novos anúncios por dia 2 milhões de imagens por dia!
- 4. Processamento de Imagens • Não é novidade! • Recentemente houve um salto no desempenho com a u2lização de Deep Learning
- 8. ü Redes Neurais com mais neurônios que as redes “tradicionais” ü Formas mais complexas de conexão entre as camadas e neurônios ü Extração automá2ca de features Deep Learning neuralnetworksandde eplearning.com/ chap1.html 60 milhões de parâmetros 12 mil parâmetros
- 15. Nossa Escolha Fonte: hUps://pt.slideshare.net/irpycon/caffe-a-deep-learning-framework-ramin-fahimi • Especializado em imagens • Bastante popular • Coleção de modelos pré-treinados (Caffe Model Zoo) • Facilidade de realizar fine-tuning • Extração de features • Processamento em “batch”
- 16. Caffe Classes • Blob – Armazenamento e comunicação de dados • Layer – Unidade de computação • Net – DAG de layers e blobs conectados • Solver – O2mização dos parâmetros
- 17. Caffe Etapas • Converter dados para um formato suportado – LMDB, HDF5, lista de imagens • Definir a rede • Configurar o solver • Treinar o modelo
- 18. Caffe Definição da Rede • Através de schemas • Protobuf Model Format • Prototxt file Fonte: hUps://compu2ng.ece.vt.edu/~f15ece6504/slides/L2_caffe.pdf
- 20. Caffe Definição da Rede • Na prá2ca... – Divcil criar uma rede do zero – Fine-tuning de modelo pré-treinado – A maioria das empresas adaptam as redes/ arquiteturas já existentes – Camadas iniciais/intermediários são man2das, que são responsáveis pelas features de baixo/ médio nível
- 23. Caffe Treinamento do modelo Fonte: hUp://adilmoujahid.com/images/caffe_model_1_learning_curve.png
- 25. Nossa solução • Usamos modelos pré-treinados – Classes já contempladas • Realizamos fine-tuning • Desvantagem – alguns modelos foram treinados para uma imagem por vez – batch size = 1
- 26. Nossa solução • U2lizamos AWS • Máquinas com GPU só tem nos Estados Unidos • Para treinamento, apenas uma instância EC2 com GPU • Para ambiente de produção, usamos algumas instâncias on demand e algumas spot • Desempenho depende do batch size e, principalmente, de quantos modelos estão sendo executados
- 27. E custos? • 2 milhões imagens/dia • Lançamentos de grandes soluções na nuvem de reconhecimento de imagem – Amazon Rekogni2on: US$ 54.000 – Google Vision: US$ 90.000 – Microso} Cogni2ve Services: US$ 36.000* * Limite de 10 imagens/seg • Nosso custo: ~US$ 5.000 VALORES MENSAIS
- 28. Não é somente custo... Ao usar as grandes soluções na nuvem de reconhecimento de imagem, não está claro se elas vão u2lizar as imagens para outros fins.