1. SEARCH ENGINE
NEWS COLLECTION SYSTEM
Nguyen Duc Phu
<nducphu@gmail.com>

2. WHY WE DO?
sport relax business other
1 2 3 4
1 2
3 4
One channel?

3. 1. Web crawling ( or spider, bot,
crawler, web worm, robot…)
2. Indexing
3. Searching
SIMPLE SEARCH ENGINE

4. FLOW
1. GATHER DATA
News Sources Data Server
Vnexpress Dantri ... Spider Engine
2. SEARCH
Data Server
keyword
Result
End Users

5. FLOW ONE: GATHER DATA
Spider Engine
DATABASE

6. SPIDER ENGINE
TEXT PARSER
DATA HANDLE

7. WHAT IS TEXT PARSER?
TEXT
PARSER
Domain: vnexpress.net Images: Yes (no)
Subject: Giá xăng dầu giảm xuống còn 11 ngàn ImageURL:
http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.j
Time: 10:30, 12-12-2008 pg
Descripton: Một quan chức thuộc Bộ Tài chính SourceURL:http://www.vnexpress.net/GL/Kinh-
cho biết về khả năng tăng giá xăng dầu... doanh/2008/12/3BA09661/
Other...

8. DATA RETURN
BY TEXT WHAT IS DATA HANDLE?
PARSER
DATA
HANDLE
Tags: giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, năng lượng...
Time: 10:30, 12-12-2008
Images: Yes (no)
ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg
SourceURL:http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/
Etc...

9. LAYOUT STRUCTURE
Block 0
Block 1
v Block 2
v Block 3

10. HOW IS TEXT PARSER WORK?

11. DATA HANDLE
DATA
RETURN
BY TEXT
PARSER
DUPLICATE DATA
TAGS MAKER
TAGS PARSE
DATA
DICTIONARY HANDLED
CUSTOME TAGS
INDEXING

12. WHAT’S TAGS Giá xăng dầu giảm xuống còn 11 ngàn
MAKER?
TAGS PARSE
Giá xăng, giá dầu, xăng dầu, 11
ngàn, giảm xuống, xuống còn, giá
xăng dầu,...
TAGS MAKER DICTIONARY
Giá xăng, xăng dầu, giá xăng dầu,
giảm xuống...
CUSTOME TAGS
Giá xăng, xăng dầu, giá xăng dầu,
kinh tế, năng lượng,...

13. TAGS PARSER
Vietnamese Rule
1 2 3 4 - Maximum length: 3-5
Giá xăng dầu giảm ... - Minimum: 2 (1?)
Giá+xăng Giá+dầu Giá+giảm xăng+dầu dầu+giảm
1 2 1 3 1 4 2 3 3 4
giá+xăng+dầu?
1 2 3
a+b+c
a<b<c

14. MORE
EXAMPLE
tag-name,
Thị trường chứng khoán
tag-name..
4: even number
tag-name,
Họp quốc hội
tag-name..
3 : odd number

15. FLOW 2:
SEARCHING

16. HOW WE DO?
Keyword
Keyword
Analysis
Ranking
Keyword
Keyword Tags RESULTS
Filter Parser

17. KEYWORD FILTER
Normal Remove special character
Mai Phương Thúy
Mai Phuong Thuy
Wrong Bad word
MaiPhuong Thuy
.^Mai-Phuong*%Thuy
Site regular
Type classification
dantri: mai phuong
thuy,
{today}mai phuong
thuy
mai phuong thuy, mai
phương thúy

18. mai phuong thuy, mai
phương thúy
TAGS PARSER
Mai Phương Thúy, Mai Ranking
Phương, Phương Thúy Keyword
SEARCHING PROCESS

19. MADE IN VIETNAM

20. DO ANYTHING YOU
WANT TO

21. THANKS
Have Question?