http://balticdigitaldays.ru 11.08.2017

1. Исследование качества сервисов
кластеризации по поисковой выдаче
Александр Ожгибесов
OZHGIBESOV.NET

3. Много времени при СЯ занимает:
1. Предварительный анализ структуры
сайтов конкурентов.
2. Подготовка входных групп для парсинга
и дальнейшую очистку данных от
мусора
3. Кластеризация запросов
Проблема

4. Сервисы
Rush Analytics
– SOFT и HARD
Just Magic
– HARD
Topvisor
– SOFT и HARD
Key Collector
– своё
KeyAssort
– SOFT и HARD
Mindserp
– SOFT и HARD
Semparser
– своё
Megaindex
– HARD

5. Получить рейтинг кластеризаторов с
учетом следующим параметров:
• Коммерческая/Информационная
тематика
• Тип бизнеса: услуги/продажа товаров
• Частотность тематики
Цели

6. 116 готовых СЯ объемом 102 тысячи запросов,
построенных по методике:
• Предварительный анализ структуры сайтов
конкурентов
• Подготовка входных групп для парсинга и
дальнейшая очистка данных от мусора
• Кластеризация запросов по ТОПу с
последующим анализом
• Группировка по интенту и конечное
построение структуры
Методология. Исходные данные

7. • Допустимо, что нет сайта, который занимает
позиции в ТОП 10 по всем запросам.
Сравниваем по каждому кластеру.
• Ищем сайт из ТОП 10 с наибольшим
совпадением по списку запросов, при этом
сайт с 9 совпадению из 10 с позицией с 5 по
10 считается менее репрезентативным,
нежели сайт с 8 совпадениями с позициями с
1 по 4.
«Идеальность» исходных СЯ

8. 1. Поиск сайта

9. 2. Поиск наилучшего

10. 3. Поиск наилучшего – позиции

11. www.bonus-malus.ru
Всего 189
ТОП 1-5: 69% ТОП 6-10: 31%

12. www.reso.ru
Всего 176
ТОП 1-5: 62% ТОП 6-10: 38%

13. www.driver-helper.ru
Всего 134
ТОП 1-5: 43% ТОП 6-10: 57%

14. 1. Экспорт запросов из Serpstat по
странице https://www.bonus-
malus.ru/osago/kalkuljator.html
2. Позиции >10 минус.
3. Сравнение исходного кластера и
кластера сайта.
4. Так по каждому кластеру в исходном
СЯ.
4. Экспорт и сравнение

15. 4. Экспорт и сравнение
Средний % совпадения по этому СЯ – 85%

16. Средний % совпадения по 87 из 116 – 81%
Средний % совпадения по 32 из 116 – 37%
Доказано, что исходная выборка по
116 семантическим ядрам общий
объемом 102 тысячи запросов
является репрезентативной.
4. % «идеальности» исходных СЯ

17. 37%: Узкая тематика

18. 37%: Тематика + регион (773 970)

19. 37%: Тематика + регион (496 656)

20. Данные, которые подаются на вход являются
максимально объективными по требованию самих же
кластеризаторов.
Это не только очищенные запросы от мусора, это
готовая группировка, на основе которых строится
структура и продвижение реальных сайтов. Данные,
которые вы получите, применив эту методику на «голом»
парсинге никак не могут соотноситься с текущим
исследованием!
Кластеризация проводилась в каждом из сервисов в
одно и то же время.
Пояснение по сравнению

21. – дублирование кластеров

22. Как должно быть:

23. – дублирование кластеров

24. Как должно быть:

25. – Нет кластеризации в регионах

26. Как должно быть:

27. – Разложил основное? Займись
некластеризованным

28. – Запросы «прыгают» по кластерам

29. – Запросы «прыгают» по кластерам

30. – Сложные тематики
В добавку ко всему вышеперечисленному, 1/3
проекта мы просто не можем кластеризовать

31. – Какой % оптимизаторов сможет проанализировать и
правильно использовать информацию?

32. – Как из этого построить структуру?

33. Как должно быть:

34. Параметры оценки:
• Сильное совпадение - % совпадений запросов из кластера
сервиса от 60 до 100 с исходным кластером.
• Слабое совпадение - % совпадений из кластера сервиса от 59
до 21 с исходным кластером.
• Сильное несовпадение - % совпадений из кластера сервис от
20 до 0 с исходным кластером.
• Некластеризовано – какой % запросов из кластеризации
сервиса оказалось непригодным для кластеризации по
сравнению с исходным кластером.
Сравнение с кластеризаторами:

35. • Совпадение по важным - % совпадения по
высокочастотным запросам из кластера.
• Совпадение по второстепенным - %
совпадения по менее частотным запросам из
кластера.
• Совпадение по ТОПу - Сравнение
проводится по методологии оценки исходной
группировки, но с учетом дублей по кластерам.
Сравнение с кластеризаторами:
параметры оценки

37. Key Collector – не рассматривается

38. 1,484050232
1,636346655
2,823864725
2,968100464
3,306839182
3,918835665
4,648466853
4,77255318
4,913236719
5,053920257
5,691242645
6,049708005
7,7466535
7,81752015
7,833700567
7,920747634
8,34106023
8,449109742
8,902100311
9,598027368
9,849987168
9,943447845
11,23416071
11,30708565
11,56601548
11,64954048
11,8249453
12,28003841
13,27199049
13,89022494
15,25563679
15,39444811
16,11664123
16,63242662
16,97764566
17,14819677
17,61195067
18,14422642
20,13251723
21,07492162
24,34340847
24,88535349
26,84783234
26,90189612
31,63896118
33,54788671
35,60393863
37,03917766
41,60303719
44,89686205
44,91847634
46,02391437
0 5 10 15 20 25 30 35 40 45 50
Semparser - 7
Mindserp HARD - 6
Топвизор HARD - 7
Rush Soft - 7
Semparser - 6
Топвизор HARD - 6
Megaindex HARD - 5
Semparser - 5
Mindserp SOFT - 7
Rush HARD - 5
Rush Soft - 6
Топвизор SOFT - 6
Semparser - 4
Just-Magic HARD - 4
Mindserp HARD - 3
Megaindex HARD - 3
Semparser - 3
Just-Magic HARD - 3
Топвизор HARD - 3
Rush HARD - 3
Топвизор SOFT - 4
Mindserp SOFT - 5
Топвизор SOFT - 3
Mindserp SOFT - 4
KeyAssort SOFT - 5
Mindserp SOFT - 3
Сильное совпадение

39. 1,68820644
3,37641288
7,8506737
9,732184874
9,89568278
10,18650932
11,78292455
12,4313018
13,66361627
14,04972635
15,28187692
15,32473598
15,69610785
16,16176706
16,64590599
17,23450083
17,43154976
18,49703494
18,72909877
18,74735521
18,97014507
19,13004956
20,02178951
20,86068223
20,92879425
21,3952709
21,55335644
21,8420355
22,57586605
22,93536314
23,53644063
23,99354384
24,04544345
24,29746284
24,68477282
24,88444912
26,02879743
26,71867406
27,20389
27,98987258
28,10273619
28,39503155
28,85935361
28,92386842
29,63088461
29,66923942
30,274289
30,60492309
30,81518741
32,02167971
32,33847884
32,68553831
0 5 10 15 20 25 30 35
Semparser - 7
Mindserp HARD - 7
Megaindex hard - 6
Топвизор HARD - 7
Semparser - 6
KeyAssort SOFT - 4
Топвизор SOFT - 7
Топвизор HARD - 6
Just-Magic Hard - 6
Mindserp SOFT - 6
Megaindex hard - 4
KeyAssort SOFT - 5
Mindserp SOFT - 4
Топвизор SOFT - 6
Rush Soft - 5
Semparser - 4
Rush HARD - 5
Mindserp HARD - 3
Топвизор HARD - 4
Megaindex hard - 3
Just-Magic Hard - 4
Rush Soft - 4
Топвизор HARD - 3
Топвизор SOFT - 3
Rush HARD - 3
Just-Magic Hard - 3
Слабое совпадение

40. 70,50535167
61,18162906
52,65351113
49,03841924
46,10735199
43,44766989
41,01067184
39,56119285
39,11884432
38,57367379
37,48645972
37,24155531
37,23911698
36,9767068
36,89520942
36,77319338
35,72056564
35,41714058
35,25267584
35,00041231
34,88328456
34,58368404
34,1838539
33,84363127
32,75310305
32,44159339
32,33147698
31,42026502
30,98896321
28,02189837
28,01629645
26,46902945
26,37363856
26,34727906
25,07525473
23,4712096
22,5428502
21,985253
19,20695049
16,21571242
16,10001759
14,63032444
14,14061714
13,50317677
12,37233564
11,66930423
11,0451292
9,347769301
8,66691249
8,411027278
6,311945502
6,04579557
0 10 20 30 40 50 60 70 80
Megaindex hard - 7
Megaindex hard - 5
Semparser - 5
Semparser - 4
Key Assort hard - 5
Key Assort hard - 4
Key Assort hard - 6
Just-Magic Hard - 6
Rush HARD - 4
Semparser - 7
Топвизор HARD - 3
Топвизор HARD - 6
Rush HARD - 3
Mindserp HARD - 5
Mindserp HARD - 6
Mindserp HARD - 3
Mindserp HARD - 7
Топвизор SOFT - 4
Топвизор SOFT - 3
Rush Soft - 4
Rush Soft - 5
Mindserp SOFT - 7
Rush Soft - 6
Mindserp SOFT - 5
Mindserp SOFT - 4
KeyAssort SOFT - 3
Сильное несовпадение

41. 77,20844828
61,61603448
56,88842105
54,78247423
49,41209524
45,46857143
43,47905263
43,17991379
40,74378947
40,61973684
39,118
38,57506749
37,75628571
34,01452174
32,93578947
32,61952381
32,38493591
30,30114583
30,076
29,58245614
29,16922414
28,51571429
26,92877777
26,27509939
25,03181034
24,44978947
24,27509939
24,15013498
24,03321739
23,8868918
23,24628571
23,16067917
23,15013499
22,39965217
21,6575
21,49868421
21,36685714
20,83675439
19,21376064
17,87378947
16,80047619
16,706
16,514
16,29930435
16,02685714
15,544375
15,26684211
12,44543103
12,39608696
12,28895238
10,47356522
7,477304348
0 10 20 30 40 50 60 70 80 90
Rush Soft - 7
Топвизор HARD - 7
Mindserp HARD - 7
Топвизор HARD - 6
Топвизор SOFT - 6
Key Assort hard - 7
Mindserp HARD - 6
Топвизор HARD - 5
Semparser - 6
Rush HARD - 5
Key Assort hard - 6
Semparser - 5
Rush Soft - 4
Megaindex hard - 5
KeyAssort SOFT - 6
Mindserp SOFT - 5
Megaindex hard - 7
Топвизор SOFT - 4
Mindserp HARD - 4
Semparser - 3
Mindserp SOFT - 4
Key Assort hard - 4
Mindserp HARD - 3
Just-Magic Hard - 3
Key Assort hard - 3
KeyAssort SOFT - 4
Некластеризованно

42. 8,56862
10,63245997
17,06457
19,27781687
21,58447458
22,90134089
23,95115828
24,01976768
25,64132
27,90300772
28,22811837
28,73739469
30,12758346
30,24590785
30,99290888
31,6725
31,76633772
32,47478937
33,07732369
34,67690166
35,35892
35,68707301
35,96923394
36,0341145
36,79077691
37,37805134
37,74884154
38,25551842
38,35380332
38,5279
38,77878246
39,19102335
39,51167721
40,4601985
40,57268117
41,26586385
41,48822253
41,80764758
41,95031808
42,22519556
42,55756491
42,93172283
43,99321054
44,90427802
45,10515851
45,14967454
45,2271817
45,61529515
47,11373268
47,26413662
48,17350881
49,43147095
0 10 20 30 40 50 60
Semparser - 7
Megaindex HARD - 7
Mindserp HARD - 7
Mindserp SOFT - 7
Megaindex HARD - 6
Mindserp HARD - 6
Rush SOFT - 5
Mindserp SOFT - 6
Топвизор SOFT - 6
Mindserp HARD - 5
Megaindex HARD - 4
Mindserp SOFT - 5
Mindserp HARD - 4
Key Assort HARD - 6
Just-Magic HARD - 5
Semparser - 4
Mindserp HARD - 3
Топвизор HARD - 4
Mindserp SOFT - 3
Топвизор SOFT - 4
Just-Magic HARD - 4
Топвизор HARD - 3
Key Assort HARD - 4
Rush HARD - 3
Key Assort HARD - 3
KeyAssort SOFT - 4
Совпадение по важным

43. 7,5531
12,15921903
15,1684
17,00349102
18,58024545
19,106273
20,21032122
21,19725777
21,70115
22,01601136
23,95294504
24,38756343
26,27509469
26,40748978
26,6925266
26,90589007
27,03441
27,49020888
28,78440984
29,53175015
29,84227917
29,86652
30,29844202
31,03022412
31,66873215
32,00862202
32,0635003
32,3203284
32,46138255
32,47189519
32,97906845
33,08184665
33,24387
34,22340458
34,50800171
34,70110108
34,97771
35,37546761
35,94379038
36,05898497
36,23169352
36,39221354
38,13290931
38,38067242
38,38985291
38,47362599
39,11796993
39,30642583
40,2906828
40,49035851
41,35299946
43,09089824
0 5 10 15 20 25 30 35 40 45 50
Semparser - 7
Megaindex hard - 7
Mindserp SOFT - 7
Топвизор HARD - 7
Megaindex hard - 6
Semparser - 6
Топвизор HARD - 6
Rush Soft - 5
Megaindex hard - 5
Mindserp SOFT - 5
Mindserp HARD - 4
KeyAssort SOFT - 7
Rush HARD - 5
Just-Magic Hard - 5
Mindserp HARD - 3
Key Assort hard - 7
Megaindex hard - 3
Rush Soft - 4
Топвизор HARD - 4
Just-Magic Hard - 4
Key Assort hard - 5
Топвизор HARD - 3
KeyAssort SOFT - 5
Just-Magic Hard - 3
Rush Soft - 3
KeyAssort SOFT - 4
Совпадение по второстепенным

44. 0
5
10
15
20
25
30
35
40
Rush Soft - 3 KeyAssort
SOFT - 3
Топвизор
SOFT - 3
Key Assort
hard - 3
Rush HARD
- 3
Just-Magic
Hard - 3
Топвизор
HARD - 3
Mindserp
SOFT - 3
Mindserp
HARD - 3
Semparser -
3
Megaindex
hard - 3
Вхождение в ТОП

46. 0
50
100
150
200
250
300
Rush SOFT - 3 Топвизор SOFT - 3 KeyAssort SOFT - 3 Just-Magic HARD - 3 Mindserp SOFT - 3 Semparser - 3 Megaindex HARD - 3
Оценка

47. Спасибо за внимание!
Контакты:
ozhgibesov.net
@Aozhgibesov
/Aozhgibesov
/Aozhgibesov
youtube.com/c/aozhgibesov