Выступление Тани Ландо на открытии проекта Я.Студент в МГУ Natural Language Processing

2. NLP
Татьяна Ландо
Отдел лингвистических технологий

3. NLP
Natural Language Processing

4. Natural Language Processing
• Автоматическая
обработка
естественного
языка
• Искусственный
интеллект
• Тест Тьюринга
4

5. 5

6. Что делает NLP?
•
•
•
•
•
•
•
•
6
Поиск (текстовый) / Information Retrieval
Извлечение фактов / Information Extraction
Автоматический перевод
Диалоговые системы и Question Answering
Синтез и распознавание речи
Оценка тональности
Автореферирование
Кластеризация и классификация текстов

7. Что внутри?
•
•
•
•
•
•
•
•
7
Графематика
Морфология
Синтаксис
Named Entity Recognition
Кореференция
Снятие омонимии
Генерация текста
Речевые технологии

8. Графематика
Разбиение текста на слова и предложения
Яндекс.Маркет — сервис сравнения
характеристик товаров и их цен
Скоро начнется осенняя серия игр "Что?
Где? Когда?".
8

9. Морфология
• Бывает словарная и автоматическая
• Еще бывает:
– Part-of-Speech Tagging
– Стемминг
стекло:
Стекло – существительное в ед.ч, им.п./вин.п
Стекать – глагол в прош. вр., ед.ч, сред. род
9

10. Синтаксис
• Бывает полный
или частичный
• Они оба
ошибаются,
полный чаще
10

11. Named Entity Recognition (NER)
• Извлечение именованных сущностей
Ранее "Коммерсантъ" и "Интерфакс"
удалили со своих сайтов высказывание
Пескова, где он объясняет, что Путин
публично не произносит имени Алексея
Навального, так как боится отдать ему
часть своей популярности, сообщает
justmedia.ru.
11

12. Кореференция: анафора
• Разрешение анафоры: поиск разных
выражений указывающих на одну сущность
Ранее "Коммерсантъ" и "Интерфакс"
удалили со своих сайтов высказывание
Пескова, где ОН объясняет, что Путин
публично не произносит имени Алексея
Навального, так как боится отдать ЕМУ
часть СВОЕЙ популярности, сообщает
justmedia.ru.
12

13. Кореференция: “синонимы”
• Разнообразные способы называния одного
и того же
• Транслитерация: Yandex – Яндекс
• Аббревиация: ВТБ – Внешторгбанк – Банк
Внешней Торговли
• Синонимы: больница – госпиталь
• Словообразование: Москва – московский
• Графические: авто кредит - автокредит
13

14. Снятие омонимии
• Снятие разнообразных неоднозначностей:
• Морфологическая:
Молоко стекло со стола
• Синтаксическая:
Он видел их семью своими глазами
• «Объектная»:
Михаил Задорнов: «20% российских семей
могут себе позволить ипотеку»
14

15. Генерация текста
• Чат-боты!
Me: I read about Turing test.
Bot: Ah the Turing Test. People are always trying
to get me to take it, but I just pretend not to
understand.
Me: You are doing a good job.
Bot : Why, thank you very much. I like you, too.
If I could have a pet you would be my first
choice.
15

16. Генерация текста: SCIgen
• A Methodology for the Synthesis of Expert
Systems
• 802.11B must work. After years of significant
research into the Internet, we disprove the
improvement of virtual machines, which
embodies the structured principles of
steganography. We show that although the
acclaimed flexible algorithm for the important
unification of information retrieval systems and
robots by Miller et al. is Turing complete, cache
coherence and agents are entirely incompatible.
Of course, this is not always the case.
16

17. Методы
• Machine learning
• Machine learning
• Machine learning
•
•
•
•
•
17
Статистика
Контекстно-свободные грамматики
Словарные и корпусные данные
Онтологии
Построение языковой модели

18. Яндекс.Перевод
18

19. Голосовые команды
Едем от «улица Льва Толстого, 16»
до «Азбука Вкуса» через «Лукойл»
19

20. Извлечение фактов в почте
20

21. Карты
Ул. Юных
Ленинцев
Чулочноносочные изделия
21

22. Новости
22

23. Поиск
23

24. Поиск
24

25. Поиск
25

26. Поиск
26

27. "Every time I fire a linguist, the performance of the
speech recognizer goes up"
Frederick Jelinek

28. А на самом деле:
Нас 80 человек
And counting…
28

29. Татьяна Ландо
Менеджер проектов
Отдел лингвистических
технологий
Спасибо!