1. Машинное обучение в
ScrapingHub
Михаил Коробов,
DUMP 2014

3. Задачи
• Скачать веб-странички;
• из HTML вытащить информацию.

4. Примеры
• цены и продукты
• названия и контакты организаций
• категории товаров
• …
• места дислокации батальонов в WWI
• энергопотребление вентиляторов

5. Единого подхода нет

6. Подходы
• Правила (xpath, css, regex) - Scrapy
• …

7. Сложные случаи
• 100000 сайтов, все разные
• сайт один, но информация - в обычном тексте
• объединение информации из разных источников
• хочется «накликать» мышкой, что извлекать, и не
писать код

8. Примеры проектов

9. 100k сайтов; узнать,
какие веб-студии их
делали

10. Классификация ссылок
• текст ссылки
• текст в title
• текст до ссылки
• target=_blank
• …

11. Учет нескольких факторов
• AND: 15*x1 + 15*x2 > 20
• OR: 15*x1 + 15*x2 > 10
!
• z = sum(wi*xi)
• P = f(z)

12. Подбор правил (весов)
• вручную
• автоматически: SVM (без ядра), Logistic
Regression

13. Подход
• для каждой ссылки выделить признаки
• перевести признаки в цифры (получить вектор x)
• для каждой ссылки передать в библиотеку x и
метку (ссылка на веб-студию: да/нет)
• библиотека подберет веса

14. Подход (предсказание)
• для каждой ссылки выделить признаки
• перевести признаки в цифры (получить вектор x)
• для каждой ссылки передать в библиотеку x
• библиотека вернет метку (веб-студия/нет)

15. Тонкости
• Переобучение
• Регуляризация
• Подбор параметров классификатора
• Кросс-валидация

17. Поиск именованных сущностей (NER)
есть 100k сайтов, нужно узнать:
• название организации
• ее адреса
• телефоны
• факсы
• время работы
• URL-ы форм обратной связи
• размещенные вакансии
• способы подачи заявки на работу
• …

18. US Address
<ORG> <STREET> <CITY> <ZIPCODE> <COUNTRY>
tel: <TEL>, fax: <FAX>

19. Правила - сложные и
работают не очень хорошо
• части необязательны
• встречаются в разных местах страницы
• сокращения
• перестановки
• названия организаций не проверишь по словарю
• …

20. Название организации
• подстрока веб-страницы
• несколько токенов, идущих подряд

21. Contact:O Us:O
ScrapingHub:B-ORG
Inc.:I-ORG Copyright:O 2014:O
BIO-кодирование

22. O I-ORG
B-ORG … I-ORG
I-STREET B-CITY

23. CRF
• обычно 1 порядка
• максимизирует вероятность всей цепочки, а не
тегов для отдельных токенов
• реализации: Wapiti, CRFsuite

24. Подход
• Выделяем из HTML текст
• разбиваем его на токены
• тренировочные данные: каждому токену
сопоставляем тег в BIO кодировке
• для каждого токена определяем характерные
признаки
• передаем все в библиотеку для тренировки

25. Примеры признаков (фич)
• сам токен
• предыдущий токен
• с заглавной буквы?
• по регекспу похож на телефон
• часть названия города и GeoNames (начало, середина?)
• HTML-элемент, в котором лежит токен
• первый или последний токен в HTML элементе?
• word2vec

26. Разметка тренировочных
данных
• WebAnnotator (https://addons.mozilla.org/en-US/
firefox/addon/webannotator/)
• GATE (https://gate.ac.uk/)

27. WebStruct
github.com/scrapinghub/webstruct
• загрузка данных
• токенизация с сохранением информации о позиции в HTML
• конвертация в BIO и обратно
• интерфейсы к CRF
• работа с GeoNames
• метрики
• группировка сущностей
• …

28. Вопросы?
https://github.com/kmike