Some examples about page rank algorithm - The top ten algorithms in data minning

1. PageRank Algorithm
The top ten Algorithms in
Data Mining
Bùi Đình Luyến

2. Nội dung
• Thuật toán và ví dụ
• Một số yếu tố ảnh hưởng
• Thuật toán cải tiến
2

3. Ý tưởng thuật toán
• “Nếu có liên kết từ trang A đến trang B thì
độ quan trọng của trang A cũng ảnh
hưởng đến độ quan trọng của trang B”.
3

4. Công thức tính toán(1)
• Coi Web là đồ thị liên thông G = (V, E)
• inbound link và outbound link
• Giá trị PageRank P(i) của trang i
• Trong đó
Oj là số liên kết từ trang i (outbound link)
4

5. Công thức tính toán(2)
• Cách viết khác (dạng ma trận)
• Trong đó
P = (P(1), P(2),…,P(n))T là vector
PageRank – vector riêng của AT
A là ma trận n x n với
5

6. Tính vector riêng
6

7. Trên thực tế
• Giả thiết đồ thị Web liên thông là không
thực tế.
• Dangling nodes.
• Độ quan trọng của bất kì một trang Web
nào cũng phải là dương.
7

8. Giải quyết dangling nodes
8

9. Mô hình duyệt ngẫu nhiên
• Vector PageRank tỉ lệ với phân phối xác
suất dừng của một quá trình ngẫu nhiên.
• PageRank của một trang Web chính là xác
suất để 1 người ngẫu nhiên duyệt trang
Web đó.
9

10. Hệ số hãm d
10

11. Ví dụ (1).1
11

12. Ví dụ (1).2
12

13. Inbound links(1)
-Với d=0.5, PR(A) gấp khoảng 4 lần PR(D)
-Với d=0.75, PR(A) gấp khoảng 2 lần PR(D)
d=0.5; PR(X)=10
 Với hệ số hãm cao hơn, ảnh hưởng của d=0.75; PR(X)=10
việc thêm 1 inbound link với đồ thị Web: phân
bố đều hơn giữa các trang trong đồ thị !
PR tăng 7.5
PR tăng 5
13

14. Inbound links(2)
14

15. Outbound links(1)
-d=0.75
-Tổng là 92/23 = 4
15

16. Outbound links(2) – Dangling links
Tổng là 36/23
PR(A) = PR(B) = 1
PR(C) = 0.25 + 0.375 PR(A) = 0.625
16

17. Outbound links(3) – Dangling links
• Theo Page và Brin, số lượng dangling link
của Google là khá cao, vì khá nhiều link
không được index:
– File robots.txt
– Các file PDF, Word không có outbound links
• Việc loại bỏ các dangling link trong tính
toán sẽ tối ưu hơn cho tìm kiếm !
17

18. Sự phân bố PageRank(1)
1a 1b 2a 2b
3a 3b 18

19. Sự phân bố PageRank(2)
• d = 0.5, PR(X) = 10
1a 1b
19

20. Sự phân bố PageRank(3)
• d = 0.5
2a 2b
20

21. Sự phân bố PageRank(4)
• d = 0.5
3a 3b
21

22. Các thuật toán cải tiến PageRank
• Timed PageRank
• Topic sensitive PageRank
• Adaptive PageRank
22

23. Timed PageRank
23

24. Topic sensitive PageRank
• Taher H. Haveliwala đề xuất, 2002
• PageRank quan tâm đến nội dung Website
• Gồm 2 bước:
– Phân các trang Web thành các lớp chủ đề
– Được thực hiện trong thời gian hỏi – đáp
24

25. Adaptive PageRank
• Sepandar D. Kamvar và cộng sự, 2003
• Tận dụng những trang hội tụ sớm và kết
quả độ quan trọng của các trang đã hội tụ
có thể không cần tính tiếp
25

26. Tài liệu tham khảo
• The top ten algorithms in data mining
• Hà Quang Thụy, Phan Xuân Hiếu, Đoàn
Sơn, Nguyễn Trí Thành, Nguyễn Thu
Trang, Nguyễn Cẩm Tú (2009). Giáo trình
khai phá dữ liệu Web, NXB giáo dục Việt
Nam, 2009
• http://pr.efactory.de
26

27. 27