(KO) <<2020 소셜코딩>> 에서 발표한 내용입니다. 기술의 사회적 기여를 위해 모인 소셜코딩 구성원들에게 온라인 뉴스 플랫폼의 어뷰징 분석에 대해 이야기하였습니다.

1. 온라인 뉴스 댓글 플랫폼을
흐리는 어뷰저 분석기
2020.06.04
문지형
[Social Coding]

2. 안녕하세요
저는 사람을 향한 데이터 분석 / 모델링을 하고 싶은
Machine Learning Researcher 입니다.
오늘 발표할 분석기 또한
더 나은 온라인 플랫폼이 되길 바라는 마음으로 진행한
개인 프로젝트입니다.
2

3. 프로젝트를 시작하게 된 계기
사회적으로 문제가 되었던 댓글 어뷰징을 데이터로 해결해보고 싶었기
때문입니다.
3

4. 프로젝트를 시작하게 된 계기
사실, 처음 기획은 여러 정보를 담은 시각화 페이지를 만드는 것이었습니다.
“댓글이 하루 동안 쌓일 것이므로, 그 다음 날 댓글 정보를 가공해서 가장
많이 언급된 주제/키워드를 보여주면 어떨까?”
“댓글의 내용을 토대로 진보/보수 를 구분해서 어떤 정치색의 댓글이
많은지 보여주면 어떨까?”
“어뷰저로 의심되는 유저는 제거하고 집계하거나, 이 유저들을 표시해서
사람들이 이 사람들의 댓글에 좌지우지 되지 않도록 도와주는 것은 어떨까?”
4

5. 프로젝트를 시작하게 된 계기
사실, 처음 기획은 여러 정보를 담은 시각화 페이지를 만드는 것이었습니다.
“댓글이 하루 동안 쌓일 것이므로, 그 다음 날 댓글 정보를 가공해서 가장
많이 언급된 주제/키워드를 보여주면 어떨까?”
“댓글의 내용을 토대로 진보/보수 를 구분해서 어떤 정치색의 댓글이
많은지 보여주면 어떨까?”
“어뷰저로 의심되는 유저는 제거하고 집계하거나, 이 유저들을 표시해서
사람들이 이 사람들의 댓글에 좌지우지 되지 않도록 도와주는 것은 어떨까?”
à 어뷰저를 구분하고 분석에 포함시키지 않는 것이 제일 먼저 할 일!
5

6. 프로젝트 진행
1. 데이터를 모은다.
2. 모은 데이터를 통해 어뷰저를 분석한다!
6

7. 데이터 수집
• 수집 기간:
• 2006.04.26 ~ 2018.05.25 (수집 시점: 2018.10)
• 수집 내용:
• 네이버 뉴스의 6개 분야별 (정치, 경제, 사회, 생활/문화, 세계, IT/과학) 가장
많이 본 뉴스 30건, 뉴스 기사 제목, 내용 및 그에 달린 댓글과 아이디
7https://github.com/zaemyung/crawl-naver-news-and-comments

8. 데이터 탐색
월별 뉴스 댓글 수
8

9. 데이터 탐색
월별 뉴스 댓글 수
91) https://namu.wiki/w/네이버 뉴스

10. 데이터 탐색
월별 뉴스 댓글 수
101) https://namu.wiki/w/네이버 뉴스

11. 데이터 탐색
월별 뉴스 댓글 수
11
1) https://www.wikitree.co.kr/main/news_view.php?id=71675
2) https://namu.wiki/w/네이버 뉴스

12. 데이터 탐색
월별 뉴스 댓글 수
121) https://www.mk.co.kr/news/society/view/2018/05/294952/

13. 데이터 탐색
월별 뉴스 댓글 수
13

14. 유의미한 데이터인 것 같다
분야별 많이 본 뉴스 30건은
당일 메이저 뉴스를 대표한다고 볼 수 있다.
14

15. 어뷰저를 찾아보자
그런데,
뉴스 댓글 플랫폼에서 “어뷰저”란 어떤 존재인걸까?
15

16. 어뷰저? 그 모호한 단어
먼저, 어뷰징의 목적과 어뷰징이 문제가 되는 상황에 대해 정리해보았다.
• 어뷰징의 목적:
어뷰저들의 목표는 네이버의 댓글 정렬 기준에 맞추어 10위권 내에 드는
것이다. 네이버 뉴스의 UI 상, top 10 내에 들면 그 기사를 읽는 누구나 쉽게 그
댓글의 내용에 접하게 되기 때문이다. 그리고 그 내용이 대중을 대표한다고
생각하기 때문에 쉽게 타인의 생각에 영향을 미칠 수 있다.
• 어뷰징이 문제가 되는 상황:
어뷰징이 문제가 되는 경우는 일반적인 환경에서는 top 10 내에 들지 못했을
댓글이 어떤 조직적인 세력에 의해 강제로 top 10 내에 드는 상황이다. 우리는
top 10 댓글이 플랫폼 참여자들의 생각을 대표하는 댓글이길 기대하지만 그
기대가 깨짐으로써 문제가 발생한다.
16

17. 그래서 어뷰저는
1. 어뷰징의 목적을 달성한 유저
• 타인의 생각에 영향을 미칠 수 있도록, 작성한 댓글이 top 10 내에 한 번
이상 들었어야 한다.
• 실제 어뷰저였어도 top 댓글이 아니어서 타인에게 영향을 미치지 못했다면
어뷰저라고 불릴 자격(?)이 없다. (안습)
2. 자연적으로 발생하기 어려운, 다시 말해, 특정 세력이 배후에 있지
않고서는 등장하기 힘든 패턴이 발견된 유저
17

18. 댓글이 Top 10 내에 들었던 유저
• 정치뉴스
• 어떤 유저는 정치뉴스에 작성한 댓글이 369 번 Top 10 내에 랭크되었다.
• 사회, 경제, 문화, IT, 세계 뉴스에서도 같은 방법을 적용
18

19. 댓글이 Top 10 내에 들었던 유저
top user들은 크게 두가지 부류로 나뉠 것이다.
첫번째, 골수 네이버 뉴스 플랫폼 애용자
• 네이버 뉴스 플랫폼에서 높은 순공감을 받을 수 있는 전략이 학습되었을
것이다.
• 기사가 나오고 얼마 지나지 않아 댓글을 남기거나, 그 당시 분위기에 맞는
댓글의 내용을 남기거나,
• 사실로 보여지는 데이터와 함께 댓글을 작성하거나 하는 등 자신만의 전략이
있을 것이다.
두번째, 어뷰저
• 전략과 무관하게, 보이지 않는 집단에 의해 높은 순공감을 받았을 것이다.
19

20. 댓글이 Top 10 내에 들었던 유저
top user들은 크게 두가지 부류로 나뉠 것이다.
첫번째, 골수 네이버 뉴스 플랫폼 애용자
• 네이버 뉴스 플랫폼에서 높은 순공감을 받을 수 있는 전략이 학습되었을
것이다.
• 기사가 나오고 얼마 지나지 않아 댓글을 남기거나, 그 당시 분위기에 맞는
댓글의 내용을 남기거나,
• 사실로 보여지는 데이터와 함께 댓글을 작성하거나 하는 등 자신만의 전략이
있을 것이다.
두번째, 어뷰저
• 전략과 무관하게, 보이지 않는 집단에 의해 높은 순공감을 받았을 것이다.
20
이 둘을 구분짓는 특징은 무엇일까?

21. 댓글이 Top 10 내에 들었던 유저
top user들은 크게 두가지 부류로 나뉠 것이다.
첫번째, 골수 네이버 뉴스 플랫폼 애용자
• 네이버 뉴스 플랫폼에서 높은 순공감을 받을 수 있는 전략이 학습되었을
것이다.
• 기사가 나오고 얼마 지나지 않아 댓글을 남기거나, 그 당시 분위기에 맞는
댓글의 내용을 남기거나,
• 사실로 보여지는 데이터와 함께 댓글을 작성하거나 하는 등 자신만의 전략이
있을 것이다.
두번째, 어뷰저
• 전략과 무관하게, 보이지 않는 집단에 의해 높은 순공감을 받았을 것이다.
21
작성 댓글이 Top 10 내에 들 확률!

22. 작성 댓글이 Top 10 내에 들 확률
• 골수 애용자들의 전략이 아무리 뛰어나더라도 100%의 확률로 통하지는
않았을 것이다.
• 때로는 일찍 댓글을 작성했음에도 뒤늦게 작성한 댓글이 폭발적인 공감을
이끌어내서 top 10에 들지 못했을 수도 있고,
• 당시의 전반적인 분위기에 탑승하는 댓글을 남겼음에도 다른 댓글 중에
두드러지지 못해 공감을 받지 못했을 수도 있다.
• 반면, 어뷰저는 top 10 성공률이 굉장히 높을 것이다.
• 특정 댓글을 무조건 top 10 내에 들게 하는 것이 목적이므로 성공률을 낮출
요인이 없다.
22

23. 작성 댓글이 Top 10 내에 들 확률
가설:
• 어뷰저는 댓글을 작성한 경우 대부분 Top 10 내에 들었을 것이다.
à 작성 댓글이 Top 10 내에 들 확률 >= 90%
• 골수 애용자들은 90% 정도까지는 아니지만 그래도 2-30% 정도는 될 것
23
mean: 25.0, std: 20.5

24. 어뷰저 의심 유저 A
회색 line: 정치면 기사 댓글
파란색 line: 이 작성자가 쓴 전체 댓글 수
초록색 line: 이 작성자가 쓴 댓글 중 top 10 내에 들었던 댓글 수
24

25. 어뷰저 의심 유저 A
• 중복 댓글이 여기저기 보인다
25
title article date top comments
朴대통령, ‘29일까지 대면조사’ 檢 요청에 사흘째 묵묵부답
2016-11-25
15:12:00
대통령인 자가 자신의 관할하에 있는 검찰을 부정한다
면 곧 국가도 부정하겠다는 의미다. 이런 대통령은 더
이상 대한민국 대통령이 아니다.
차은택 변호인 “차씨, 최순실 지시로 김기춘 실장 공관서
면담”
2016-11-27
16:04:00
김기춘의 진두지휘하에 박근혜 정권의 모든 불법들이
자행되었다. 정말 악마같은 인간이다.
변호인 “차은택, 崔 지시로 김기춘 만나…우병우 장모와
골프도”(종합)
2016-11-27
16:46:00
김기춘의 진두지휘하에 박근혜 정권의 불법들이 자행
되었다. 구속수사해서 감옥에서 못나오게 만들어야 한
다. 공작정치부터 공안탄압 정경유착의 죄를 물어야
한다.
청문회장도 지배한 ‘촛불민심’…與野 ‘재벌 봐주기’ 없었다
2016-12-06
12:34:00
뇌물이었다는 진술을 이끌어내기에는 힘들것 같다. 지
들이 감옥갈 일이니까… 강요죄는 확실할듯…
재벌 총수들 “청와대 거절 어려워”…하나같이 대가성 부인
2016-12-06
12:45:00
뇌물이었다는 진술을 이끌어내기에는 힘들것 같다. 지
들이 감옥갈 일이니까… 강요죄는 확실할듯…

26. 어뷰저 의심 유저 A
• 중복 댓글이 여기저기 보인다
26
title article date top comments
박한철 前소장 한표, ‘캐스팅보트’ 될뻔한 아슬아슬 상황 나
올까
2017-03-04
08:00:00
탄핵 기각에 표 던지면 그게 판사냐? 재판정에서 궤변
을 늘어놓은 박측 대리인들의 안하무인에 손을 들어준
다면 판사이기를 포기하고 박근혜 부역에 동참하겠다
는 선언일 뿐이다.
85시간 재판, 속기록 3000쪽…탄핵심판 이번주 결론날까
2017-03-05
09:00:00
탄핵 기각에 표 던지면 그게 판사냐? 재판정에서 궤변
을 늘어놓은 박측 대리인들의 안하무인에 손을 들어준
다면 판사이기를 포기하고 박근혜 부역에 동참하겠다
는 선언일 뿐이다.
[리얼미터] 다자 文 42.6% vs 安 37.2%…양자 文
47.6% vs 安 43.3%
2017-04-10
09:15:00
여론몰이에 흔들릴 국면이 아니다. 무쏘의 뿔처럼 나
아가면 야합은 흩어지고 굳건함이 승리할 것이다.
文 “김부겸 동지 미안하다…꼭 국민통합 해내겠다”
2017-04-22
08:01:00
김부겸의 진심이 느껴지고 그를 위로하고 뜻을 같이
하는 문재인의 진심도 느껴진다. 남자들에게 이런 동
지애는 죽음도 불사하게 만드는 마력과도 깉다. 조~오
타!!!

27. 어뷰저 의심 유저 A
• 중복 댓글이 여기저기 보인다
27
title section article date top comments
[현장영상] 박근혜 前 대통령 법원으로
출발
society 2017-03-30 10:18:00
최고의 보안과 경호를 철저히 받을
수 있는 구치소를 거쳐 교도소로 직
행하면 나라도 안정되고 국민들도 평
안하고 박근혜 자신도 언론의 감시로
부터 벗어날수 있다.
구속 갈림길에 선 박근혜 ‘웅변 대신
침묵’ 선택
politics 2017-03-30 10:22:00
최고의 보안과 경호를 철저히 받을
수 있는 구치소를 거쳐 교도소로 직
행하면 나라도 안정되고 국민들도 평
안하고 박근혜 자신도 언론의 감시로
부터 벗어날수 있다.

28. 어뷰저 의심 유저 B
회색 line: 정치면 기사 댓글
파란색 line: 이 작성자가 쓴 전체 댓글 수
초록색 line: 이 작성자가 쓴 댓글 중 top 10 내에 들었던 댓글 수
28

29. 어뷰저 의심 유저 B
• 중복 댓글이 여기저기 보인다
29
title article date top comments
정상회담 돌발 변수는 ‘사드’…청 “모든 가능성 준비”
2017-06-25
20:20:00
국익과국가안보가최우선입니다~~~~
송영무 “사드, 비준 아닌 국회 검증…고액연봉·음주운전 송
구”(종합)
2017-06-28
12:18:00
이유미녹취록에맛짱구치고놀아난언론은×
이유미-이준서 중 한 명은 거짓말…윗선 수사 불가피
2017-06-28
20:52:00
이유미녹취록에맛장구치고놀아난언론은~~~~????
軍, 송영무 인사청문회서 공개된 ‘군사기밀 유출’ 조사 착수
2017-06-29
12:24:00
자유당놈들답다도둑놈들
文대통령, 내일 트럼프와 만난다…취임 후 첫 韓美정상회
담
2017-06-29
13:54:00
국익과국가안보가최우선입니다부디좋은결과있으시길
~
트럼프, 文대통령 부부에 백악관 사적공간 ‘트리티 룸’ 깜짝
공개(종합)
2017-06-30
13:23:00
문재인대통령님~멋저부러요~♡♡♡
한반도 이슈서 ‘주도권’ 확보 성과…한미FTA 재협상 ‘숙
제’(종합)
2017-07-01
10:05:00
국익과국가안보가최우선입니다부디좋은결과있으시길
~~~~~~~~♡♡

30. 결론
• 어뷰저를 정의해보았다.
• Top 10 댓글에 “자주” 올라왔던 유저
• 자주 à 작성 횟수 대비 90% 이상
• 이 기준에 해당되는 유저의 댓글을 보았더니
• 중복이 자주 보였다.
• 별 내용이 아니었다.
어뷰저를 잡은 것 같다
30

31. 그런데 상황이 변했다
N 사는 댓글 정책을 변경했다.
1. 댓글 작성자 닉네임과 프로필 사진 공개
2. 댓글 작성자의 댓글 이력 공개
1. 게시 중인 댓글
2. 최근 삭제한 댓글 비율
3. 그 동안 쓴 댓글수와 공감수
31http://www.hani.co.kr/arti/economy/it/933142.html

32. 아직 어뷰징이 문제일까?
• 혐오가 극명하게 보이는 댓글이 문제인 것은 아닐까?
• 관련 연구: https://github.com/kocohub/korean-hate-speech
• 댓글의 팩트체크가 중요한 것은 아닐까?
• 기사 내용과 관련있는 댓글을 우선으로 보여주는 것이 좋은 것 아닐까?
• 유저별로 댓글의 정치색을 트래킹해보는 것이 중요한 것은 아닐까?
• 관련 연구: https://www.aclweb.org/anthology/D19-5548/
32

33. Reference
1. https://inmoonlight.github.io/2019/07/25/Naver-News-Comments-
Analysis-(1)
2. https://inmoonlight.github.io/2019/08/03/Naver-News-Comments-
Analysis-(2)
3. https://www.viewsnnews.com/article?q=74392
4. http://news1.kr/articles/634736
5. http://www.speconomy.com/news/articleView.html?idxno=16882
6. http://sports.khan.co.kr/bizlife/sk_index.html?art_id=201704170922
013&sec_id=560901
7. http://www.donga.com/news/article/all/20180828/91705745/1
8. https://news.joins.com/article/22539863
9. https://www.wikitree.co.kr/main/news_view.php?id=71675
33

34. 감사합니다
End of Document
34