Este documento describe cómo una compañía llamada Scalable Press utiliza grandes cantidades de datos y tecnología para reinventar la industria de la imprenta. Generan terabytes de datos diariamente de más de 5 mil millones de productos impresos, y usan motores de búsqueda en tiempo real para permitir que los usuarios encuentren fácilmente los productos que buscan entre su enorme catálogo.

1. Distribuyendo
Playeras y Datos
Alex Escobedo

2. Agenda
• Introducción
• Generación de Datos
• Caso de Estudio - Motor de búsqueda en tiempo real

3. Introducción
Scalable Press
esta utilizando la
tecnologia para
reinventar la
industria de la
imprenta

4. Desde bordados,
playeras, fundas de
celulares o posters,
producimos millones
de productos a los
más de 100 millones
de usuarios que nos
visitan anualmente

5. Generación de Datos
Nuestras impresoras
generan tanta
información que
tenemos servidores
en cada almacén para
guardar los cúmulos
de datos que se
generan diariamente

6. Contamos con más
de 5 mil millones
(5,000,000,000) de
productos, resultado
de la combinación
de diferentes
productos, diseños
y colores

7. Ofrecer imágenes para tantas
combinaciones no es nada
sencillo, necesitamos ofrecer
la posibilidad de ver todos
los productos, en todas las
con
fi
guraciones posibles

8. 2018-12-01
532,000,000~ ->

9. 2018-12-01
30 TB~ ->

10. Caso de estudio -
Motor de búsqueda en
tiempo real

11. Como sitio de e-commerce, debemos ofrecer la
posibilidad de buscar cualquier producto de (forma
rápida) entre nuestro enorme catalogo de productos

14. http://bigocheatsheet.com/
O(n) = 5,000,000,000 O(log n) = 32~

15. SELECT *
FROM campaigns
WHERE description LIKE “%cor%”
Búsqueda de texto sencilla ->
Campañas cuya descripcion es
como ‘cor’
cor -> corgi
Corgis are the best dog breed.

17. cor, org, rgi, gis, is , s a, …
Corgis are the best dog breed.
Búsqueda de texto completo: Encuentra rápidamente las instancias de un termino

18. http://fc03.deviantart.net/fs70/f/2010/322/8/b/greyscale_by_nautishko-d333fgc.png

19. 23 million documents, pagination
Cambio a lectura de disco
Todo a la par
Queries tardadas

20. Mongo Aggregation

23. {
"_id" : ObjectId("58bbf20a944c785bed9c8729"),
"url" : "corgi",
"duration" : 24,
"description" : "<div>Best dogs ever</div>",
"title" : "Corgi dog”
}
{
"_id" : ObjectId("58bbf20a944c785bed9c8729"),
"url" : "corgi",
"duration" : 24,
"description" : "<div>Best breed ever</div>”,
"title" : "Corgi dog”
}
Update

24. *image from Introduction To Streaming Data and Stream Processing with Apache Kafka - Con
fl
uent

25. ¿Qué problemas estamos
tratando de resolver?
• Actualización de datos a otros servicios en ‘tiempo real’
• Reducir dependencia de ‘cron’
• Creación de plataforma de analytics

26. *image from Introduction To Streaming Data and Stream Processing with Apache Kafka - Con
fl
uent

27. ¿Qué proponemos?
Mejorar nuestra arquitectura de forma que:
• Sirva como punto central, capaz de distribuir datos a
todas las plataformas y servicios nuevos que lo requieran
• Sea tolerante a fallos
• Soporte tareas asíncronas
• Sea escalable

29. • Capaces de manejar
nuestra propia
infraestructura
• Política de retención es
mas con
fi
gurable
• Comunidad Open Source
• Podemos optimizar
nuestra arquitectura en
base a costos en lugar de
tener un costo
fi
jo
(ejemplo 0.01$ por
mensaje procesado)

30. *image from Introduction To Streaming Data and Stream Processing with Apache Kafka - Con
fl
uent

33. "ts" : Timestamp(1395663575, 1),
"h" : NumberLong("-5872498803080442915"),
"v" : 2,
"op" : "i",
"ns" : "sl-table.campaigns",
"o" : {
"_id" : ObjectId("533022d70d7e2c31d4490d22"),
"url" : "corgi",
"description" : “best dog ever”
}
}

34. "ts" : Timestamp(1395663575, 1),
"h" : NumberLong("-5872498803080442915"),
"v" : 2,
"op" : "i",
"ns" : "sl-table.campaigns",
"o" : {
"_id" : ObjectId("533022d70d7e2c31d4490d22"),
"url" : "corgi",
"description" : “best dog ever”
}
}

36. Diagrama de arquitectura

37. Preguntas