3. Key Success Factor
of IR Service
• Document Coverage
• Speed of Retrieving
• Sorting Result
: Ranking with relevance and importance
4. Defeat IR
• Search Engine Spam
Deliberate human action to trigger an
unjustifiably high rank, considering the
pages’s true value.
• Synonym
Spamdexing,Web Spam, Seach Spam
5. Spam is Big Money
• Affiliate programs
• Siphon traffic from SEs to Amazon/eBay/
Make a few bucks
• Siphon traffic from SEs to aViagra seller
Make $6 per sale
• Siphon traffic from SEs to a porn site
Make $20-$40 per new member
7. Boosting Techniques
Body,Title, Meta Tag,Anchor, URLWhat
Repetition, Dumping,Weaving, StitchingHow
- By Term
- By Link
What
How
In-link, Out-link
Honey Pot, Directory, Comment,
Exchange, Exp. Domain, Farm
11. Case 2
• Weaving
http://blog.naver.com/PostView.nhn?blogId=myloveend07&logNo=60096768168
<div style="font-size:9pt; font-family:1184252_9;" class="view"><table cellspacing="0"
cellpadding="0" align="left" border="0"> <tbody> <tr> <td style="font-size:9pt;font-family:
1184252_9;"><img src="http://imgnn.seoul.co.kr/img//upload/2009/12/08/SSI_20091208135040_V.jpg"
onload="setTimeout('utility.resizeImageWithId('img//upload/2009/12/08/SSI_20091208135040_V.jpg
')',200)" style="cursor: pointer;" id="img//upload/2009/12/08/SSI_20091208135040_V.jpg"
onclick="popview(this, '90000003_000000000000000DFE0BE8A8')" /></td></tr> <tr> <td style="font-
size:9pt;font-family:1184252_9;" height="2"></td></tr></tbody></table>’자연의 삶’을 한눈에 확인할 수 있
는 사진 한장이 해외언론에 공개돼 화제다. 물고기를 잡아먹는 뱀, 그리고 물고기를 삼키는 그 뱀을 잡아먹는 왜가리를 순간
포착한 절묘한 사진이다. 이 사진은 미국 메릴랜드 포토맥 강에서 야생동물을 전문적으로 촬영하는 데이비드 크룩스가 우연
하게 담아냈다. 사진에 등장하는 왜가리는 ‘푸른 가슴 왜가리’고 뱀은 ‘노던 워터 스네이크’라 불리는 물뱀이다. 포토맥 강
에 날아드는 왜가리와 큰 해오라기 εїз무료바다이야기↘♫온라인황금성◎↖ⓗTtp://addppp.com❤온
라인릴게임㉦바다이야기다운오션파라다이스↕①바다이야기게임㉦온라인야마토◎인터넷바다이야기◎릴게임사이온라인야마토종류의
새를 전문으로 촬영하는 크룩스는 사진 촬영당시에는 이 상황을 알아채지 못했다. 왜가리의 사냥장면을 찍기 위해 인내심을
가지고 주시하던 왜가리가 먹이를 잡기위해 물속으로 부리를 재빠르게 집어 넣는 순간 카메라 셔터를 누르기 시작했다. 그리
고 왜가리의 입에는 물고기εїз무료바다이야기↘♫온라인황금성◎↖ⓗTtp://addppp.com❤온라인릴게임
㉦바다이야기다운오션파라다이스↕①바다이야기게임㉦온라인야마토◎인터넷바다이야기◎릴게임사이온라인야마토가 아닌 뱀이 물
려 나왔다. 그리고 나중에 컴퓨터에서 확인한 후에야 뱀의 입에 다시 물고기가 있다는 것을 알게됐다. 크룩스는 ”새를 촬영
하εїз무료바다이야기↘♫온라인황금성◎↖ⓗTtp://addppp.com❤온라인릴게임㉦바다이야기다운오션파
라다이스↕①바다이야기게임㉦온라인야마토◎인터넷바다이야기◎릴게임사이온라인야마토는 것은 고독하고 오랜 인내심을 필요로
하는데, 이런 멋진 장면을 담을 수 있어 너무 기쁘다.” 고 말했다. ’자연의 삶’을 한눈에 확인할 수 있는 사진 한장이 해
외언론에 공개돼 화제다. 물고기를 잡아먹는 뱀, 그리고 물고기를 삼키는 그 뱀을 잡아먹는 왜가리를 순간포착한 절묘한 사
News URL : http://nownews.seoul.co.kr/news/newsView.php?id=20091208601008
12. Case 3
• Stitching + Repetition
http://blog.naver.com/mjy579/90057036369
◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나미에" 日 네티즌
찬사◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나미에" 日 네
티즌 찬사◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나미에"
日 네티즌 찬사◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나
미에" 日 네티즌 찬사 ◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라.......
News URL : http://breaknews.com/sub_read.html?uid=106260§ion=sc4
14. Case 5
• Weaving + Stitching + Hiding(Script)
http://blog.naver.com/PostView.nhn?blogId=albatros10&logNo=150117998769
<div style="OVERFLOW: hidden; WIDTH: 1px; HEIGHT: 1px">(여행)오션파라다이스(미국) ======⊙?⊙========⊙?
⊙======(여행)오션파라다이스(미국) 444444444444444 경기를 치르게 되며 (여행)오션파라다이스(미국) LIG손해보험에서 1걸음
당 1천원을 자선 기금으로 적립하게 된다. 밝혔다. 마나우스는 브라질의 항구도시로서 교통의 요충지에 인구 200만을 자랑하는 도시다.
(여행)오션파라다이스(미국) 분명한 (여행)오션파라다이스(미국) 것은 시청자들의 바라는 '무릎팍도사'의 색은 더욱 확고해지고 있다는 사
실이다. 종합격투기의 메이저리그 UFC가 오는 28일 13년 만에 (여행)오션파라다이스(미국) 브라질 대회를 개최한다. 늘씬하고 부유한 세
경(서효림)을 (여행)오션파라다이스(미국) 물리치고 지욱의 마음을 차지한 연재의 스타일링을 보라. 솔직한 (여행)오션파라다이스(미국)
발언으로 눈길을 끌었다. "먹는 것을 워낙 좋아해서 먹고 싶은 건 다 먹었다. 대신 군것질을 줄이고 운동을 했다"고 밝
힌 박하선은 "운동은 종류별로 다 해봤는데, 줄넘기가 가장 효과적이었다"며 "줄넘기로 한 달에 6Kg을 감량한 적도
있다"고 털어놨다. 없게 됐다. 하지만 최성국은 K리그에 복귀할 수 (여행)오션파라다이스(미국) 있는 가능성도 부여받았다. 위해서는
나스리 이적료의 두 배 이상을 지불해야 한다고 (여행)오션파라다이스(미국) 엄포를 놓았다. 중에서도 각 프로팀이 먼저 (여행)오션파라다
이스(미국) 탐낼 만한 선수는 투수가 많았다는 뜻이다. 아무 무리 없이 (여행)오션파라다이스(미국) 나스리의 빈 자리를 메울 수 있게 된
다. 수식을 붙이는 이는 단 (여행)오션파라다이스(미국) 한 명도 없다고 해도 과언이 아니다. 상무(여행)오션파라다이스(미국) 선수들이
20세 이하 대표나 올림픽대표로 뛸 수 있기 때문이다. (여행)오션파라다이스(미국) 움직임까지 벌였고 KBS 예능국은 고위 관계자들까지
나서 '강호동 잡기'에 나섰다고 했다. 속내들이 엮어지고 그것이 무대 위로 집중되어 (여행)오션파라다이스(미국) 폭발할 때 힘이 생겨난
다. 했지만, 연재를 연기하는 배우의 몸은 평범한 30대의 것이 아니지 않는가. (여행)오션파라다이스(미국) </div>
기사 : http://media.daum.net/entertain/enews/view?
cateid=1032&newsid=20110825145441849&p=mydaily&t__nil_news=downtxt&nil_id=4
17. Domestic Spam
• 온라인 매체 홍보
• 도박 사이트 (B + H)
• 화상 채팅 사이트 (B + H)
• 경매 사이트 (B)
• 파일공유 사이트 (H)
• 사주 사이트 (B)
• 기타
• 외부 검색 사이트 관련 Link Flash
• 뉴스 관련 기사 영역 Link
• 레포트 사이트
• 오프라인 매체 홍보
• 휴대폰 소액 결제
• 성매매
• 아이디, 통장 매매
• 불법 약품 판매
18. Domestic Spam
• Spamdexing Sources
• Text
• News Article
• Famous Blogger’s Article
• QnA Article
• Manual of Certain Domain
• Keyword
• Adult Keyword
• Title of Software
0
1.50
3.00
4.50
6.00
Adult Query Ratio Normal Query
23. Document Filtering
• Keyword-based filtering with
Aho-corasick String matching algorithm
• Sentence-based filtering with
Hash function, NLP
• Domain Name-based filtering
• Pattern-based filtering with
Regular Expressions
24. IP based Spam Domain Evaluation Service
• Spammer’s Objective = Rendering their page on user’s browser
• How?
• Out-link
• Script
• Cost for Single Domain Cost for Single IP Address
Free $500 ~ $1,000 / month
• Example,
<
218.232.105.118
057c.kjlkrtsd.co.kr
2nbt4hz.infohunte.co.kr
4fvn.rbmsdfue.com
.
.
.
Spam Document 1
Spam Document 2
Spam Document 3
Spam Document 4
.
.
.
1 IP 1M Domains 2.8M Documents
25. Limitation of
Document Filtering
• Work Process
Expose Detect Logic Update Filtering
• High Dependency of keywords and patterns
• Robust approach is needed.
User oriented analysis!
26. Spam User Profiling
• Keyword Set Expand to Ambiguous Word
• Diversify the Qualification Features
• Reduce the Keyword and Pattern Dependency
• Intuitive and Fast Spam Profile Modeling
27. Spam User Profiling
• Document Features
• Dictionary based Feature
• Html Tag based Feature
• Text based Feature
• SNS oriented Feature
• User Feature
• Writing activity
• Maturity
• Document Filter
- User Profile
28. • Vectorization
• Normalizing FeatureValues with Linear Function
• Ex ) Outlink Ratio : 0.75 < x < 1.00
x = 0.85, S(x) = 4
• Similarity Measure
• Cosine Similarity
|B|Cosθ
Sim(A, B) =
|A|
Spam User Profiling
29. • Process Flow
Raw Documents
Document Features
User Profile
Spam User Profile
Spam User Profiling
IDtTitletContentt...
ID DF1|DF2|DF3|...
ID S(UF1)|...S(DF1)|...
ID SUP_Score|...
Map & Reduce
Map & Reduce
31. Limitation of
Spam User Profiling
• Pre-defined Spam User Profile is Needed
• Cost for maintenance
• Cost for expansion coverage
Supervised Learning Classifier!
37. References
• http://news.chosun.com/site/data/html_dir/
2011/03/29/2011032900039.html
• Gyongyi Z., Garcia-Molina H.,“Web spam taxonomy”, In First International
Workshop on Adversarial Information Retrieval on the Web(AIRWeb), 2005
• Dennis Fetterly, Mark Manasse and Marc Najork.,“Spam, damn spam, and
statistics.” In Proceedings of the 7th International Workshop on the Web and
Database(WebDB), 2004
• Zoltan Gyongyi, Hector Garcia-Molina, and Jan Pedersen.,“Combating web
spam with TrustRank.” In Proceedings of the 30th International Conferece
onVery Large Database(VLDB), 2004
• Amit Shinghal, Challenges in running a Commercial Web Search Engine
