Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Rate it Again
    Increasing Recommendation Accuracy by 
                User re­Rating
      Xavier Amatriain (with J.M. ...
The Recommender Problem
    ●   Two ways to address it
    1. Improve the Algorithm




 


                         X. Am...
The Recommender Problem
    ●   Two ways to address it
    2. Improve the Input Data




                                 ...
User Feedback is Noisy




 
    ●    See our UMAP '09 Publication: 
        “I like it... I like it not” (Amatriain et al...
Natural Noise Limits our User Model


                                      DID YOU HEAR WHAT 
                           ...
Experimental setup
    ●   118 participants rated movies in 3 trials            
          T1 (rand) <­>  24 h <­>T2 (pop....
Users are Inconsistent




    ● What is the probability of making an inconsistency 
    given an original rating
 


    ...
Users are Inconsistent

                                                Mild ratings are 
                                ...
Users are Inconsistent

                                                 Negative 
                                       ...
Prediction Accuracy
              #Ti    #Tj                    #              RMSE


                                    ...
Max error in 
                       Prediction Accuracy
    trials that are 
                       #Ti    #Tj           ...
Significant less 
                      Prediction Accuracy
    error when 2nd      #Ti    #Tj                    #       ...
Algorithm Robustness to NN
        Alg./Trial     T1        T2                  T3   Tworst /Tbest
        User          1...
Algorithm Robustness to NN
    Trial 2 is 
    consistently the 
             Alg./Trial     T1        T2                 ...
Algorithm Robustness to NN (2)
        Training­Testing    T1-T2                T1-T3    T2-T3
        Dataset

        Us...
Algorithm Robustness to NN (2)
          Training­Testing    T1-T2                T1-T3    T2-T3
          Dataset

      ...
Let's recap
    ●   Users are inconsistent
    ●   Inconsistencies can depend on many things 
          including how the ...
Hypothesis
    ●   If we can somehow reduce natural noise due to 
           user inconsistencies we could greatly 
      ...
Algorithm
    ●   Given a rating dataset where (some) items 
         have been re­rated,
    ●   Two fairness conditions:...
Algorithm
    ●   One source re­rating case:




    ●   Given the following milding function:

 


                      ...
Results
    ●   One­source re­rating (Denoised⊚Denoising)
                           T1⊚T2    ΔT1         T1⊚T3      ΔT1  ...
Results                   Best results (above 10%!) 
                                                              when de...
Results                   Smaller (yet important) 
                                                              improveme...
Results
    ●   One­way re­rating (Denoised⊚Denoising)
                           T1⊚T2    ΔT1         T1⊚T3      ΔT1     ...
But...
    ●   We can't expect all users to re­rate all items 
         once or twice to improve accuracy!
    ●   Need to...
Random re­rating




    ● Improvement in RMSE when doing once­source (left) and 
    two­source (right) re­rating as a fu...
Random re­rating




    ● Improvement in RMSE when doing once­source (left) and 
    two­source (right) re­rating as a fu...
Denoise Extreme Ratings




    ● Improvement in RMSE when doing once­source (left) 
    and two­source (right) re­rating ...
Denoise Extreme Ratings




    ● Improvement in RMSE when doing once­source (left) 
    and two­source (right) re­rating ...
Denoise outliers




    ●    Improvement in RMSE when doing once­source (left) and two­
    source (right) re­rating as a...
Denoise outliers




    ●    Improvement in RMSE when doing once­source (left) and two­
    source (right) re­rating as a...
Value of Rating

                                                 An extreme re­
                                         ...
Conclusions
    ●   Improving data can be more beneficial than 
          improving the algorithm
    ●   Natural noise li...
Rate it Again
    Increasing Recommendation Accuracy by 
                User re­Rating

                Thanks!



 


  ...
Prochain SlideShare
Chargement dans…5
×

User Feedback is Noisy   ●  See our UMAP '09 Publication:  “I like it... I like it not” (Amatriain et al. '09) Rate it Again

4 008 vues

Publié le

User Feedback is Noisy




 
●  See our UMAP '09 Publication: 
“I like it... I like it not” (Amatriain et al. '09)
X. Amatriain et. al
Rate It Again

Publié dans : Technologie, Spirituel

×