Este documento discute técnicas de recomendação de conteúdo usando machine learning. Ele descreve como algoritmos como collaborative filtering e fatores latentes podem ser usados para prever preferências de usuários baseado em dados como porcentagem de scroll e tempo na página. Ele também discute métricas como precisão, recall e F-measure para avaliar os modelos, e como testes AB podem ser usados para comparar algoritmos.

2. Objetivo

3. Recomendação de conteúdo

4. Em 2010...

5. Arquitetura tradicional

6. Artesanato de paralelismo
página visitada Papalog
página visitada Papalog
página visitada Papalog

7. Artesanato de paralelismo
página visitada
Globo
Social
página visitada
Globo
Social

8. Machine Learning

9. Revolução industrial
yarn

10. Abstração: Foco no valor
df.groupBy(df("user"), df("object"))
.agg(first("user"), first("object"), max("scroll"))
.where(df("scroll") > 50)

11. Coleta de atividades
página visitada
tempo assistindo video
compartilhamento
comentário
tempo lendo matéria
Horizon
Gateway
porcentagem de scroll

12. Iterativo e incremental

13. Resultados

14. Globo Esporte

15. BUG :(
Globo Esporte

16. GShow

17. 75% a mais de
conversão em mobile
que outras ofertas
automáticas
173% a mais de
conversão em
desktop que outras
ofertas automáticas
GShow

18. TechTudo

19. TechTudo
+195%
na partipação na
retenção do usuário
em 2014

20. TechTudo: Home

21. TechTudo: Home
50% a mais de
conversão em
mobile que outras
ofertas automáticas
32% a mais de
conversão em
desktop que outras
ofertas automáticas

22. GlobosatPlay

23. GlobosatPlay
45% de melhoria
de conversão

24. Data Science

25. @timotta

26. Algoritmos de Machine Learning

27. Content based

28. Preferências do usuário

29. TF-IDF
Importância do termo no documento
Quão incomum é o termo no acervo

30. Entidades semânticas

31. Encontrando a notícia certa
+BBB
+Edredon
Notícia c
Notícia B
Notícia A
Usuário

32. User based

33. Collaborative filtering

34. Matriz de preferências

35. Preferências implícitas
Porcentagem de scroll
Temo de página visivel

36. Matriz de preferências implícitas
0,9 0,8
0,8

37. Fatores latentes

38. Previsão n-dimensional
Duas dimensões:
f(x) = a + bx
Três dimensões:
f(x) = a + bx'1 + cx'2
N dimensões:
f(x) = a + bx'1 + cx'1 + … nx'n

39. Validação

40. Cross validation

41. K-fold cross validation

42. Força bruta
for (maxIter <- Array(5, 10, 15, 20)) {
for (feature <- Array(10, 20, 30, 40)) {
for (alpha <- Array(0.01, 0.1, 0, 1, 10, 100)) {
for (regParam <- Array(0.01, 0.1, 0, 1, 10, 100)) {

43. Root mean square error

44. Precision and recall
Quanto dos documentos recomendados acertamos
Quanto dos documentos relevantes acertamos

45. F-measure

46. Métricas por algoritmo

47. Baseada em testes AB

48. @timotta