План доклада 1) Две задачи: антиспам и ранжирование в Яндексе. 2) Факторы АГС-40: статистическое исследование. 3) Текстовые фильтры: запросозависимые и запросонезависимые санкции. 4) Кейсы по профилактике и снятию санкций для коммерческих сайтов.

1. 25 февраля 2014
«SEO 2014»
Конференция SEO 2014
Аналитика по санкциям в Яндексе:
АГС-40 и текстовые фильтры

2. План доклада
2
1. > Две задачи: антиспам и ранжирование в Яндексе.
2. Факторы АГС-40: статистическое исследование.
3. Текстовые фильтры: запросозависимые и
запросонезависимые санкции.
4. Кейсы по профилактике и снятию санкций для
коммерческих сайтов.

3. Антиспам и ранжирование
3
При решении задач антиспама
1. Используются факторы, которые не участвуют в ранжировании.
Среди них могут быть:
•
•
•
•
CMS-сайта
Скорость прироста контента на сайте
Доля роботизированных запросов
Количество исходящих коммерческих ссылок к числу страниц
в индексе поисковой системы
• И другие…
2. Оптимизируются свои метрики.
3. Ищется баланс точности и полноты.

4. Точность, полнота, F-мера
4
Поиск и настройка «оптимального» фильтра

5. Приоритет полноты
5
Нашли 100% сайтов достойных бана/фильтра

6. Приоритет точности
6
Все 100% наказанных сайтов были этого достойны

7. Выкат новых санкций в поиске
7
При выкатывании новых санкций и обновлений
1. Изучается поведение метрик качества поиска (pFound и
подобных).
2. Значительные изменения:
• расчет метрик качества
• анализ поведения пользователей на выдаче
(пользовательские метрики)
 с разбиением запросов на группы
 замер множества показателей по выдаче

8. pFound в ранжировании
8
При обучении формулы максимизируется
вероятность того, что человек нашел, что искал.
В СПЕКТРЕ — схожая вероятностная модель, но
несколько потребностей пользователя.

9. План доклада
2
1. Две задачи: антиспам и ранжирование в Яндексе.
2. > Факторы АГС-40: статистическое исследование.
3. Текстовые фильтры: запросозависимые и
запросонезависимые санкции.
4. Кейсы по профилактике и снятию санкций для
коммерческих сайтов.

10. АГС-40
10
Факты об АГС-40
1. Впервые замечен: 1 ноября 2013.
2. Официально анонсирован: 6 ноября 2013. В блоге
компании «Яндекс»: http://webmaster.ya.ru/16272
3. Было несколько «волн» наложения санкций.
4. Регулярное обновление базы и выход ряда сайтов из-под
санкций.
5. Ссылочными биржами даны различные оценки: от 1% до
20% от всей ссылочной базы.

11. АГС-40: исследование
11
Данные на входе (полная база биржи ссылок)
1. База: 17 744 сайта, при проверке «живых»: 16 442 сайта
2. В каких TLD?

12. Попали под АГС: всего
12
Итого попали под АГС-40
Типичная ситуация

13. Сайты под АГС: по доменам
13
Доля сайтов под АГС с заданной доменной зоной

14. Сайты под АГС: YACA
14
•
•
Среди сайтов под АГС в YACA — 10%
Среди сайтов без АГС в YACA — 25%

15. Сайты под АГС: DMOZ
15
•
•
Среди сайтов под АГС в DMOZ — 3,5%
Среди сайтов без АГС в DMOZ — 19%

16. Сайты под АГС: YACA + DMOZ
16
•
•
Среди сайтов под АГС в YACA+DMOZ — менее 0,25%
Среди сайтов без АГС в YACA+DMOZ — 10%

17. Сайты под АГС: торговали ссылками
17
•
Явной зависимости от торговли временными /
арендными ссылками — НЕТ!

18. Общее распределение по CMS
18
•
•
Взяты CMS с числом сайтов в группе более 150 штук.
Всего для исследования вышло: 16 103 сайта.
Супер-помощь в
определении CMS:
Никулин Павел —
SEO-эксперт
www.facebook.com/
pavel.nikulin.9

19. Сайты под АГС: CMS сайта
19
1. Есть ли зависимость наложения АГС от типа CMS?
2. Bitrix — минимальный процент сайтов попавших под
фильтр АГС (правда и доноров мало).

20. Сайты под АГС: Яндекс.Директ
20
Влияние блоков Яндекс.Директ на АГС:
• Наличие Яндекс.Директ — отличный знак!
• Попали под АГС порядка 4% сайтов с Яндекс.Директ.

21. Сайты под АГС: возраст домена
21
Есть ли влияние возраста домена на АГС?
• Всего исследовалось 8 299 сайта.

22. Сайты под АГС: тИЦ
22
Есть ли влияние показатель тИЦ на АГС?
• Всего исследовалось 16 402 сайта.
• Зависимость есть, причём почти линейная!

23. Сайты под АГС: посещаемость
23
Есть ли влияние посещаемости сайта на АГС?
• Всего исследовалось 6 986 сайтов.
• Резкое падение доли сайтов под АГС после 150
посетителей и после 300 посетителей в сутки.

24. Статистическое исследование АГС
24
Выводы
1. Наблюдается корреляция вероятности наложения
фильтра АГС с рядом классических SEO-показателей.
2. Выбираем доноры с:
•
трафиком от 300 в сутки
•
YACA + DMOZ
•
с блоками Яндекс.Директ
•
Bitrix и UCOZ…
•
… тИЦ от 300

25. Статистическое исследование АГС
25
Планируется публикация подробной статьи
со статистическим изучением факторов АГС,
следите за обзорами.

26. План доклада
2
1. Две задачи: антиспам и ранжирование в Яндексе.
2. Факторы АГС-40: статистическое исследование.
3. > Текстовые фильтры: запросозависимые и
запросонезависимые санкции.
4. Кейсы по профилактике и снятию санкций для
коммерческих сайтов.

27. Текстовые фильтры
27
«Переспам» (портяночный, -20)
«Переоптимизация»
Сведения:
— внедрен с февраля 2010 года
— официально не анонсировался
Сведения:
— внедрен с сентября 2011 года
— официальный анонс в блоге на ya.ru
Проявление:
— резкое проседание одного запроса
— документ нормально ранжируется по
другим запросам
— сайт резко растет в выдаче при
модификации запроса
Проявление:
— резкое проседание всего документа
— документ теряет большую часть
поискового трафика с Яндекса
— документ плохо ранжируется даже по
длинным запросам (4-5 слов)
Как бороться:
— разбавка чистых вхождений
— уменьшение объема текста
— разбавление «сухого» текста: картинки
— проверка входящих ссылок и
увеличение числа безанкорных
Как бороться:
— полная переписка (рерайт) текста
— текст = польза для читателя
— исправление ошибок (согласований)
— удаление избыточных акцентов (<b>,
<h1>-<h6> и др.)

28. Обнаружение фильтра «Переспам»
28
Выполняем следующую последовательность
1. Задаем исходный запрос в Яндекс, для примера:
[строительство кирпичного дома]
2. Изучаем выдачу: 26 место по запросу (prime-group.ru)

29. Обнаружение фильтра «Переспам»
29
Выполняем следующую последовательность
3. Задаем в Яндекс модифицированный запрос: [строительство
кирпичного дома] ⇒ [строительство дома кирпичного]
4. Ищем резкий рост сайта по модифицированному запросу
(prime-group.ru) — на 10 пунктов и более

30. Обнаружение фильтра «Переспам»
30
Данное поведение сайта
1. С большой долей вероятности свидетельствует о наложении
запросозависимого текстового фильтра на документ.
2. Наблюдение за динамикой и анализ анкоров входящих ссылок
— дает точный ответ на этот вопрос.
3. (!) Меняются и кликовые поведенческие факторы: это надо
учитывать (сравнение относительных колебаний соседний
сайтов по запросу).
4. (!) Меняется ряд текстовых факторов учитывающих порядок
слов в документе.

31. План доклада
2
1. Две задачи: антиспам и ранжирование в Яндексе.
2. Факторы АГС-40: статистическое исследование.
3. Текстовые фильтры: запросозависимые и
запросонезависимые санкции.
4. > Кейсы по профилактике и снятию санкций для
коммерческих сайтов.

32. Снятие портяночного фильтра
32
Действия по документу
1. Удаление 1 чистого вхождения.
2. Скрытие 20% текста в <noindex> (лучше удалять, так как
<noindex> учитывает только Яндекс).
3. Добавление безанкорных ссылок (сказывается медленно
от 1 месяца).

33. Снятие портяночного фильтра
33
Продвигаемый запрос [программа 1с]
Даты
наложения
фильтра
Даты
снятия
фильтра
Даты: с 03.07.2013 по 19.11.2013
Дожимаем
сайт до
ТОП-10!

34. Снятие переоптимизации
34
В одну дату проседают сразу все запросы на
страницу, проседание от ≈ 10 до ≈ 25 позиций

35. Снятие переоптимизации
35
Действия по документу
1. Переформатирование контента.
2. Уменьшение текста на 15%.
3. Вычитка текста:
•
окончания и согласования фраз
•
удаление избыточных вхождений

36. Полезные ссылки
36
1. http://www.pixelplus.ru/poiskovoe_prodvizhenie_sajtov/:
продвижение сайтов, статьи, FAQ по SEO.
2. http://www.seonews.ru/analytics/tekstovye-filtry-yandexadavayte-razlichat/: текстовые фильтры Яндекса.
3. http://www.seonews.ru/analytics/AGS-40-faktory-vliyayushiena-nalojenie-sanknsiy-so-storony-yandexa/: сводка по АГС-40.
4. http://www.slideshare.net/kakbactam/: презентации и SEOтемы.
5. http://www.youtube.com/user/pixelplusru/videos:
бесплатные SEO-видео на YouTube.

37. Ваши вопросы
37
Вопросы слушателей?

38. 25 февраля 2014
«SEO 2014»
Аналитика по санкциям в Яндексе:
АГС-40 и текстовые фильтры
Севальнев Дмитрий