Презентация Павла Егорова, СКб Контур

1. Машинное обучение
Kontur Labs @xoposhiy
Павел Егоров
Михаил Самойленко pe@kontur.ru
Алексей Буславьев

2. Задача
Бухгалтерские документы:
акты, накладные, счета, договора, …
Excel
Установленных стандартных шаблонов — НЕТ!
Хотим извлекать «интересные» поля:
• Тип документа, Номер, Дата
• Сумма, НДС, Основание
• Покупатель, Продавец
• …

3. 3

4. 4

5. 5

6. 6

7. 7

8. Машинное обучение
Куча хороших данных
→ PROFIT

9. Данные
Данные — это множество векторов:
vi = (1, 0.5, 1.37, 2.8, -1, -0.1, …)
Разметка — что-то, известное для каждого вектора
обучающей выборки. Это то, что мы хотим научиться
вычислять для произвольного вектора.

10. Классификаторы
…тренируются классифицировать на обучающей выборке
• Нейронные сети
• KNN (K nearest neighbors)
• Линейное разделение
• Дерево решений
• Рандомизированный лес
• SVM

11. Feature-engineering
Задача:
«Является ли данный кусок текста датой документа?»
Фичи, господа, фичи!

12. Фичи
• Положение на странице
• Размер шрифта
• Жирность
• Расстояние до ключевых слов
• …и направление
• Положение гипотезы внутри блока текста (ячейки)
• Выравнивание
• На сколько далеко от Now?

13. Прагматичный взгляд
Машинное обучение — всего лишь способ объединения
большого количества слабых признаков в сильный
классификатор
Если фич мало — просто закодируйте эвристику.

14. Генеральный план
Ищем в документе поле, в котором Тип/Дата/Номер/…
Но постойте! Это же не задача классификации!
Двухходовка:
Простая эвристика находит все гипотезы
Классификатор выбирает из них правильную

17. Разметка базы
Demo

18. Обучение
и тестирование
Размеченная база:
• Обучающая выборка
• Тестовая выборка
Метрики качества:
• Точность = truePositive / allPositive
• Полнота = truePositive / allTrue

19. Общая схема
Придумываем
Обучаем
фичи
Делаем Размечаем
генератор базу
гипотез документов
Изучаем
ошибки
Для каждого поля отдельно

20. Отладка
Demo

21. ИКР
Распознаем всё, во всех форматах!
1. Новые типы документов, со своими полями
2. Новые форматы
3. Optical character recognition

22. Я тоже хочу так уметь!
Machine learning @ Stanford university (www.coursera.org)
Классическая книга:
Pattern Recognition and Machine Learning
Christopher M. Bishop
Книги попроще:
Machine Learning in Action, Peter Harrington
Machine learning for Hackers, Drew Conway, John Myles White

23. Q&A
Егоров Павел, Kontur Labs
@xoposhiy
pe@kontur.ru

25. Excel
• http://poi.apache.org (JAVA)
• https://code.google.com/p/npoi/ (.NET port)
Текст-блок:
X, Y, W, H, Font, VAlignment, HAllignment
Интерпретация формул
Игнорируем:
Картинки, объекты вне ячеек, границы, …

26. Фичи. Инвариантность
Инвариантность относительно некоторых трансформаций:
Шрифт, масштаб, положение, синонимы,
выравнивание текста, …

27. Данные — наше всё!
• «Повезло» — у нас уже есть 100К+ документов.
• Грубые фильтры:
Неинтересные нам документы (отчеты, расчеты, …)
Дубли и очень похожие документы
Тестовые, пустые, мусор
→ ~2К документов

28. RandomForest