O documento descreve um estudo de caso que investigou se incentivos financeiros poderiam motivar usuários a fornecer avaliações mais honestas em um sistema de recomendação de filmes. O estudo comparou o número e a qualidade das avaliações fornecidas por usuários em diferentes condições: sem incentivo, com incentivo aberto e usando o modelo HYRIWYG, que oferece incentivos proporcionais à qualidade da avaliação. Os resultados sugerem que o HYRIWYG aumentou a quantidade de avaliações, mas o incentivo oferecido não foi suficiente para

1. Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web 17.11.2005 Leandro Neumann Ciuffo

3. Introdução Bom dia, dona Maricota. O de sempre? Temos uma broa de milho que a senhora irá gostar. Em algum lugar no passado...

4. Introdução Hoje: necessidade de filtragem Existe uma enorme quantidade de opções para que as pessoas decidam o que consumir Falta de experiência para realizar escolhas acertadas

5. Estratégias de Recomendação Recomendações Gerais Alternativa para driblar a sobrecarga de opções Recomendações não dirigidas

6. Recomendações Gerais na Web Listas de Recomendação Estratégias de Recomendação

7. Recomendações Gerais na Web Listas de Recomendação Comentários de Texto Estratégias de Recomendação

8. Recomendações Gerais na Web Listas de Recomendação Comentários de Texto Revisões/ Avaliações Estratégias de Recomendação

9. Recomendações Gerais na Web De fácil implementação Não consideram as preferências dos usuários Estratégias de Recomendação Ineficaz em domínios onde existe heterogeneidade de opiniões

10. Direcionamento de Produtos Estratégias de Recomendação

11. Associação entre itens Estratégias de Recomendação Direcionamento de Produtos

12. Associação entre itens Cross-sell Estratégias de Recomendação Direcionamento de Produtos

13. Recomendações Personalizadas Consideram as características individuais dos consumidores Estratégias de Recomendação Necessidade de identificação das preferências pessoais e hábitos de consumo

14. Identificação dos Usuários Login Recomendações Personalizadas Cookies

15. Coleta Implícita de Informações Monitoramento de ações que indicam interesse Adicionar página aos “Favoritos” Visualizar a página por longo tempo Scrolling da barra de rolagem Colocar um produto na cesta de compras Análise das estatísticas de acesso Recomendações Personalizadas

16. O usuário pode comprar um presente para outra pessoa Recomendações Personalizadas Desvantagem da Coleta Implícita

17. Coleta Explícita de Informações Recomendações Personalizadas Melhor customização das preferências

18. Desvantagem da Coleta Explícita Exige paciência e atenção dos usuários Recomendações Personalizadas

19. Filtragem da Informação Momento 1: usuário como produtor de informações Recomendações Personalizadas

20. Informações coletadas de forma implícita ou explícita Recomendações Personalizadas Filtragem da Informação

21. Informações adicionadas ao perfil do usuário Recomendações Personalizadas Filtragem da Informação

22. Momento 2: usuário como consumidor de informações Recomendações Personalizadas Filtragem da Informação

23. O usuário deseja receber uma recomendação Recomendações Personalizadas Filtragem da Informação

24. As informações armazenadas no perfil são lidas pelo SR Recomendações Personalizadas Filtragem da Informação

25. O SR “filtra” os itens de acordo com o perfil e gera as recomendações Recomendações Personalizadas Filtragem da Informação

26. As recomendações são entregues ao usuário Recomendações Personalizadas Filtragem da Informação

27. Filtragem Baseada em Conteúdo (FBC) Técnicas de Filtragem da Informação O conteúdo dos itens precisa ser descrito Compara a descrição dos itens com o perfil do usuário Princípio da continuidade de preferências Se o usuário gostou de um item, deve gostar de um item similar no futuro

28. Desvantagens da FBC Técnicas de Filtragem da Informação Superespecialização Impossibilidade de análise de conteúdo em domínios não textuais Não-consideração de aspectos como a qualidade ou estilo do item

29. Filtragem Colaborativa (FC) Técnicas de Filtragem da Informação Sistema de Recomendação

30. Características Filtragem Colaborativa Baseada nas avaliações feitas pelos usuários Mede a similaridade entre os usuários Pessoas que concordaram no passado tendem a concordar novamente no futuro

31. Entrada de Dados Filtragem Colaborativa Usuários com avaliações semelhantes são agrupados

32. Vantagens Aplicação em qualquer domínio Independe da classificação de itens feita por revisores Pode gerar recomendações inesperadas Filtragem Colaborativa Alteração constante das vizinhanças

33. Problemas Matriz Esparsa Ovelha Negra Primeira avaliação Partida a Frio Falso Bom vizinho Falta de motivação Problema do “Carona” Filtragem Colaborativa Ataques a SRs

34. Avaliações Não-Confiáveis Avaliações intencionalmente desonestas usuários com interesses especiais Avaliações aleatórias ou constantes Usuários que não entendem o processo de geração das recomendações Extensos formulários de avaliação agravam este problema Filtragem Colaborativa

35. Desafios Motivar os usuários Garantir a honestidade das avaliações Filtragem Colaborativa

36. Iniciativas para motivar os usuários e inibir avaliações não-confiáveis Avaliações Não-Confiáveis Reconhecimento da comunidade Reputação Web-of-Trust

37. Iniciativas para motivar os usuários e inibir avaliações não-confiáveis Avaliações Não-Confiáveis Reconhecimento da comunidade Reputação Web-of-Trust Dificulta a ação de usuários desonestos Não incentiva o cadastro de novos usuários

38. Características HYRIWYG: How You Rate Influences What You Get Não utiliza sistemas complementares Todos os usuários possuem uma mesma reputação De fácil implementação Promove o aumento da quantidade de avaliações honestas

39. Modelo HYRIWYG: How You Rate Influences What You Get

40. Modelo HYRIWYG: How You Rate Influences What You Get Avalia um item com uma nota de valor Vi Vi

41. Modelo HYRIWYG: How You Rate Influences What You Get A avaliação é submetida ao SR... Vi

42. Modelo HYRIWYG: How You Rate Influences What You Get ... Que a utiliza para configurar o perfil do usuário. Vi Ajuste

43. Modelo HYRIWYG: How You Rate Influences What You Get O perfil  i é carregado... Vi Perfil  i Ajuste

44. Modelo HYRIWYG: How You Rate Influences What You Get ... E utilizado para inferir o valor da suposta nota V’i Vi Perfil  i V’i Ajuste

45. Modelo HYRIWYG: How You Rate Influences What You Get O mecanismo utiliza uma função de compensação para conceder incentivos de forma proporcional à contribuição do usuário Incentivo Vi Perfil  i V’i Ajuste

46. Modelo HYRIWYG: How You Rate Influences What You Get Função de Compensação Incentivo concedido Avaliação inferida pelo sistema Avaliação real do usuário Constante para calibragem do sistema de avaliação

47. Incentivo indexado pela qualidade da avaliação HYRIWYG: How You Rate Influences What You Get Evitar a ocorrência de avaliações não-confiáveis de usuários que querem aumentar o valor dos incentivos Utilização do próprio SR para determinar em quais itens o incentivo poderá ser aplicado

48. Incentivo indexado pela qualidade da avaliação HYRIWYG: How You Rate Influences What You Get

49. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get O usuário deseja receber uma recomendação Vi Perfil  i V’i Incentivo Ajuste

50. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get Solicita recomendação Vi Perfil  i V’i Incentivo Ajuste

51. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get Vi Perfil  i V’i Incentivo As informações armazenadas no perfil são lidas pelo SR Ajuste

52. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get Vi Perfil  i V’i Incentivo O usuário recebe recomendações de itens de acordo com seu perfil Ajuste

53. Em teoria: HYRIWYG: How You Rate Influences What You Get

54. Estudo de Caso Hipóteses Hipótese 1: O HYRIWYG faz com que a quantidade de avaliações fornecidas ao SR seja maior do que quando nenhum incentivo é concedido aos usuários Hipótese 2: O HYRIWYG faz com que as pessoas avaliem mais honestamente do que quando o incentivo concedido é aberto

55. Estudo de Caso Objeto de Estudo Avaliações Escala discreta de 0 a 6 Questionário com 300 filmes

56. Estudo de Caso Objeto de Estudo

57. Estudo de Caso Procedimentos FASE 1 - Altruística FASE 2 - Incentivo aberto FASE 3 - HYRIWYG

58. {SR(filmes,  i )  Acervo(filmes)} Estudo de Caso Variáveis de Medição  = 0 C = 1/40 de uma locação gratuita de DVD Função de compensação: Regra de Resgate: Alugar gratuitamente T i DVDs

59. Estudo de Caso Instrumento SR de Filmes Filtragem Colaborativa Coeficiente de Pearson

60. Estudo de Caso Instrumento Cadastro Gêneros prediletos

61. Estudo de Caso População 565 usuários cadastrados

62. Estudo de Caso Períodos de Coleta de Dados Fase 1 Fase 2 Fase 3

63. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) “ Não vi” Nota Usuários de Juiz de Fora

64. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) “ Não vi” Nota Usuários de Juiz de Fora

65. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) “ Não vi” Nota Usuários de outras cidades

66. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) Usuários de outras cidades Usuários de Juiz de Fora 42,85% 54,16% 25% % de usuários que optaram por avaliar filmes de todos os gêneros 7 16,33 2,66 Média de cadastro/semana Fase 3 Fase 2 Fase 1 18% 22,22% 10% % de usuários que optaram por avaliar filmes de todos os gêneros 3,66 3 3,33 Média de cadastro/semana Fase 3 Fase 2 Fase 1

67. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Usuários de Juiz de Fora Tempo médio de sessão Máximo 9 min. 30 primeiras avaliações Segundos t 0 = Página carregada t f = usuário submete avaliações

68. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Avaliação da recomendação

69. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 2 Períodos sem incentivo Avaliação negativa < 4 Avaliação positiva ≥ 4 Todos os usuários (198 avaliações) Usuários de J.Fora (39 avaliações) Base de dados diferentes

70. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 2 Avaliação negativa < 4 Avaliação positiva ≥ 4 Usuários de J.Fora (39 avaliações) Amostra pouco representativa O incentivo não foi bom o suficiente para os usuários serem desonestos

71. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 17 usuários contemplados

72. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 Apenas 7 resgataram as locações

73. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 “ Gostei das recomendações, mas não as resgatei porque não tive tempo.”

74. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 “ Gostei das recomendações, mas não as resgatei porque as locadoras ficam longe da minha casa.”

75. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 “ Não resgatei as locações porque não gostei dos filmes recomendados.”

76. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 5 usuários ganharam 16 locações 2 usuários ganharam 12 locações

77. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 5 usuários ganharam 16 locações 2 usuários ganharam 12 locações

78. Estudo de Caso Limitações População / distribuição restrita de incentivos Localização das videolocadoras Qualidade do incentivo

79. Conclusões Contribuições Investigação da viabilidade real do HYRIWYG O experimento é sensível aos valores dos parâmetros Utilidade da recomendação – valor dos SRs Aumento da reputação do sistema

80. Conclusões HYRIWYG - Benefícios Matriz menos esparsa Redução do problema da Falta de Motivação Redução do problema do “carona” Predominância de avaliações honestas

81. Conclusões Trabalhos Futuros Testar configurações diferentes das variáveis de medição Cadastrar mais filmes e melhorar questões de projeto Parceria com uma locadora “virtual” de DVDs Parceria com a BLOCKBUSTER

82. Conclusões Trabalhos Futuros

83. Conclusões Trabalhos Futuros

84. Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web 17.11.2005 Leandro Neumann Ciuffo