SlideShare une entreprise Scribd logo
1  sur  32
Télécharger pour lire hors ligne
Что такое
близкие запросы,
как их найти и
использовать
Павел Браславский
Лия Карепова
Максим Королев
Светлана Шорина
ЧТО ТАКОЕ «БЛИЗКИЕ ЗАПРОСЫ»?

                               2
михаил булгаков            богдан ступка
мастер и маргарита         михаил боярский
мастер и маргарита фильм   д'артаньян
владимир бортко            три мушкетера
тарас бульба фильм         александр дюма

                                             3
Подробнее
1. Уточнение :
   золотое кольцо золотое кольцо с бриллиантом
2. Снятие неоднозначности:
   ягуар ягуар животное
3. Расширение:
   золотое кольцо ювелирные украшения
4. Синоним:
   японская вишня сакура
                                                 4
Подробнее – 2
5. Другой запрос на ту же тему:
   мерседес ауди
6. Смена поисковой цели:
   купить санки детский мир
7. Перевод:
   коралловый клуб coral club


                                  5
Близкие, но «про другое»
•   Опечатки: курсовая робота – курсовая работа
•   Транслитерация: золото – zoloto
•   Раскладка: lbvf ,bkfy – дима билан
•   Реникса: otbeptka – отвертка


                                                  6
ХОРОШИЙ ЗАПРОС – ЭТО НЕПРОСТО

                                7
Назовите глагол из вопроса, помещенного
   на борту транспортного средства
       подопечных Фатиха Терима
      на первенстве континента?

       IX Кубок Яндекса по поиску
                                          8
Работа мысли
•   Фатих Терим
•   сборная турции на борту самолета
•   сборная турции "на борту" самолета
•   сборная турции надпись "на борту" самолета
•   сборная турции надпись "на борту" автобуса
•   сборная турции надпись на автобусе
•   футбол "сборная турции" надпись на автобусе
•   чемпионат европы футбол "сборная турции" надпись на автобусе
                                                                   9
Ответ

Вместит ли автобус всю страсть Турции?




                                         10
ПОМОЧЬ ПОЛЬЗОВАТЕЛЮ

                      11
12
13
14
15
16
17
ГДЕ ИСКАТЬ, КАК ИЗВЛЕЧЬ?

                           18
Источники данных
• Лог запросов
• Текст ссылок
• Корпус текстов
  ford ford focus, ford fusion, ford mondeo
  карта карта памяти, карта города
  машина стиральная машина, швейная машина
                                              19
Близость запросов
      q1      q2           q3   q4
слова/буквы                          сессии


                   клики




                                              20
Требования
1.   Семантическая близость запросов
2.   Без ошибок, опечаток, обрезанных словосочетаний
3.   Без смысловых дублей (шарон стоун, шерон стоун)
4.   Недопустимо – порно, мат, оскорбительная лексика
5.   Плохо: гео-зависимые запросы в чужом регионе,
     неактуальные запросы (о прошедших событиях)

                                                        21
запрос=<timeStamp, userId, queryText>

0. чистка лога (порно, Яндекс, «подсказки», язык запросов, опечатки)

1. выделение сессий (по времени)




2. выделение пар (в.ч. транзитивно)



                                                                       22
3. нормализация запросов (стоп-слова, капитализация,
лемматизация, сортировка слов + выбор лучшего обратного
преобразования)

4. Борьба со флешмобами и «событийными» ассоциациями

5. Матрица частоты переходов «запрос-запрос» (пороги для
пользователя, ограничение на абсолютную частоту)



                                                           23
6. weight(q1   q2)= f(freqq1, freqq2, freqq1q2)*f(freqq2q1)

7. ранжирование, отсечение по порогу

8. индекс: q   q1, q2, q3… (оригинальные запросы)




                                                              24
Оценка
•   «оценка глазами»
•   «классы объектов»
•   кластеры запросов Яндекс.Директа
•   кликабельность

                                       25
РЕЗУЛЬТАТ

            26
27
Выбор пользователей
          другой запрос на ту же тему
          уточнение
          расширение понятия
          синоним
          перевод
          смена цели
          снятие неоднозначности
                                        28
60%
                         Спрос/предложение
50%
                                                                         клики        показы
40%


30%


20%


10%


0%
      другой запрос на   уточнение   расширение   синоним   смена цели      перевод       снятие
         ту же тему                    понятия                                        неоднозначности
                                                                                                 29
Где еще можно использовать?
• Реклама
• Качество поиска




                                30
СПАСИБО ЗА ВНИМАНИЕ!

                       31
Павел Браславский
pb@yandex-team.ru
Лия Карепова
Максим Королев
Светлана Шорина




                    32

Contenu connexe

Plus de rit2010

Sphinx new
Sphinx newSphinx new
Sphinx new
rit2010
 
Microsoft cluster systems ritconf
Microsoft cluster systems ritconfMicrosoft cluster systems ritconf
Microsoft cluster systems ritconf
rit2010
 
анатомия интернет банка Publish
анатомия интернет банка Publishанатомия интернет банка Publish
анатомия интернет банка Publish
rit2010
 
Ilia kantor паттерны серверных comet решений
Ilia kantor паттерны серверных comet решенийIlia kantor паттерны серверных comet решений
Ilia kantor паттерны серверных comet решений
rit2010
 
Alexei shilov 2010 rit-rakudo
Alexei shilov 2010 rit-rakudoAlexei shilov 2010 rit-rakudo
Alexei shilov 2010 rit-rakudo
rit2010
 
Konstantin kolomeetz послание внутреннему заказчику
Konstantin kolomeetz послание внутреннему заказчикуKonstantin kolomeetz послание внутреннему заказчику
Konstantin kolomeetz послание внутреннему заказчику
rit2010
 
Bykov monitoring mailru
Bykov monitoring mailruBykov monitoring mailru
Bykov monitoring mailru
rit2010
 
Alexander shigin slides
Alexander shigin slidesAlexander shigin slides
Alexander shigin slides
rit2010
 
иван василевич Eye tracking и нейрокомпьютерный интерфейс
иван василевич Eye tracking и нейрокомпьютерный интерфейсиван василевич Eye tracking и нейрокомпьютерный интерфейс
иван василевич Eye tracking и нейрокомпьютерный интерфейс
rit2010
 
Andrey Petrov P D P
Andrey Petrov P D PAndrey Petrov P D P
Andrey Petrov P D P
rit2010
 
Andrey Petrov методология P D P, часть 1, цели вместо кейсов
Andrey Petrov методология P D P, часть 1, цели вместо кейсовAndrey Petrov методология P D P, часть 1, цели вместо кейсов
Andrey Petrov методология P D P, часть 1, цели вместо кейсов
rit2010
 
Dmitry lohansky rit2010
Dmitry lohansky rit2010Dmitry lohansky rit2010
Dmitry lohansky rit2010
rit2010
 
Dmitry Lohansky Rit2010
Dmitry Lohansky Rit2010Dmitry Lohansky Rit2010
Dmitry Lohansky Rit2010
rit2010
 
Related Queries Braslavski Yandex
Related Queries Braslavski YandexRelated Queries Braslavski Yandex
Related Queries Braslavski Yandex
rit2010
 
молчанов сергей датацентры 10 04 2010 Light
молчанов сергей датацентры 10 04 2010  Lightмолчанов сергей датацентры 10 04 2010  Light
молчанов сергей датацентры 10 04 2010 Light
rit2010
 
Sergey Ilinsky Rit 2010 Complex Gui Development Ample Sdk
Sergey Ilinsky Rit 2010 Complex Gui Development Ample SdkSergey Ilinsky Rit 2010 Complex Gui Development Ample Sdk
Sergey Ilinsky Rit 2010 Complex Gui Development Ample Sdk
rit2010
 
Serge P Nekoval Grails
Serge P  Nekoval GrailsSerge P  Nekoval Grails
Serge P Nekoval Grails
rit2010
 
Max Lapshin Erlyvideo V2
Max Lapshin Erlyvideo V2Max Lapshin Erlyvideo V2
Max Lapshin Erlyvideo V2
rit2010
 
Eugene Lisitsky Web Sockets
Eugene Lisitsky Web SocketsEugene Lisitsky Web Sockets
Eugene Lisitsky Web Sockets
rit2010
 
Alexey Bazhin Balancing
Alexey Bazhin BalancingAlexey Bazhin Balancing
Alexey Bazhin Balancing
rit2010
 

Plus de rit2010 (20)

Sphinx new
Sphinx newSphinx new
Sphinx new
 
Microsoft cluster systems ritconf
Microsoft cluster systems ritconfMicrosoft cluster systems ritconf
Microsoft cluster systems ritconf
 
анатомия интернет банка Publish
анатомия интернет банка Publishанатомия интернет банка Publish
анатомия интернет банка Publish
 
Ilia kantor паттерны серверных comet решений
Ilia kantor паттерны серверных comet решенийIlia kantor паттерны серверных comet решений
Ilia kantor паттерны серверных comet решений
 
Alexei shilov 2010 rit-rakudo
Alexei shilov 2010 rit-rakudoAlexei shilov 2010 rit-rakudo
Alexei shilov 2010 rit-rakudo
 
Konstantin kolomeetz послание внутреннему заказчику
Konstantin kolomeetz послание внутреннему заказчикуKonstantin kolomeetz послание внутреннему заказчику
Konstantin kolomeetz послание внутреннему заказчику
 
Bykov monitoring mailru
Bykov monitoring mailruBykov monitoring mailru
Bykov monitoring mailru
 
Alexander shigin slides
Alexander shigin slidesAlexander shigin slides
Alexander shigin slides
 
иван василевич Eye tracking и нейрокомпьютерный интерфейс
иван василевич Eye tracking и нейрокомпьютерный интерфейсиван василевич Eye tracking и нейрокомпьютерный интерфейс
иван василевич Eye tracking и нейрокомпьютерный интерфейс
 
Andrey Petrov P D P
Andrey Petrov P D PAndrey Petrov P D P
Andrey Petrov P D P
 
Andrey Petrov методология P D P, часть 1, цели вместо кейсов
Andrey Petrov методология P D P, часть 1, цели вместо кейсовAndrey Petrov методология P D P, часть 1, цели вместо кейсов
Andrey Petrov методология P D P, часть 1, цели вместо кейсов
 
Dmitry lohansky rit2010
Dmitry lohansky rit2010Dmitry lohansky rit2010
Dmitry lohansky rit2010
 
Dmitry Lohansky Rit2010
Dmitry Lohansky Rit2010Dmitry Lohansky Rit2010
Dmitry Lohansky Rit2010
 
Related Queries Braslavski Yandex
Related Queries Braslavski YandexRelated Queries Braslavski Yandex
Related Queries Braslavski Yandex
 
молчанов сергей датацентры 10 04 2010 Light
молчанов сергей датацентры 10 04 2010  Lightмолчанов сергей датацентры 10 04 2010  Light
молчанов сергей датацентры 10 04 2010 Light
 
Sergey Ilinsky Rit 2010 Complex Gui Development Ample Sdk
Sergey Ilinsky Rit 2010 Complex Gui Development Ample SdkSergey Ilinsky Rit 2010 Complex Gui Development Ample Sdk
Sergey Ilinsky Rit 2010 Complex Gui Development Ample Sdk
 
Serge P Nekoval Grails
Serge P  Nekoval GrailsSerge P  Nekoval Grails
Serge P Nekoval Grails
 
Max Lapshin Erlyvideo V2
Max Lapshin Erlyvideo V2Max Lapshin Erlyvideo V2
Max Lapshin Erlyvideo V2
 
Eugene Lisitsky Web Sockets
Eugene Lisitsky Web SocketsEugene Lisitsky Web Sockets
Eugene Lisitsky Web Sockets
 
Alexey Bazhin Balancing
Alexey Bazhin BalancingAlexey Bazhin Balancing
Alexey Bazhin Balancing
 

Pavel Braslavski Related Queries Braslavski Yandex

  • 1. Что такое близкие запросы, как их найти и использовать Павел Браславский Лия Карепова Максим Королев Светлана Шорина
  • 3. михаил булгаков богдан ступка мастер и маргарита михаил боярский мастер и маргарита фильм д'артаньян владимир бортко три мушкетера тарас бульба фильм александр дюма 3
  • 4. Подробнее 1. Уточнение : золотое кольцо золотое кольцо с бриллиантом 2. Снятие неоднозначности: ягуар ягуар животное 3. Расширение: золотое кольцо ювелирные украшения 4. Синоним: японская вишня сакура 4
  • 5. Подробнее – 2 5. Другой запрос на ту же тему: мерседес ауди 6. Смена поисковой цели: купить санки детский мир 7. Перевод: коралловый клуб coral club 5
  • 6. Близкие, но «про другое» • Опечатки: курсовая робота – курсовая работа • Транслитерация: золото – zoloto • Раскладка: lbvf ,bkfy – дима билан • Реникса: otbeptka – отвертка 6
  • 7. ХОРОШИЙ ЗАПРОС – ЭТО НЕПРОСТО 7
  • 8. Назовите глагол из вопроса, помещенного на борту транспортного средства подопечных Фатиха Терима на первенстве континента? IX Кубок Яндекса по поиску 8
  • 9. Работа мысли • Фатих Терим • сборная турции на борту самолета • сборная турции "на борту" самолета • сборная турции надпись "на борту" самолета • сборная турции надпись "на борту" автобуса • сборная турции надпись на автобусе • футбол "сборная турции" надпись на автобусе • чемпионат европы футбол "сборная турции" надпись на автобусе 9
  • 10. Ответ Вместит ли автобус всю страсть Турции? 10
  • 12. 12
  • 13. 13
  • 14. 14
  • 15. 15
  • 16. 16
  • 17. 17
  • 18. ГДЕ ИСКАТЬ, КАК ИЗВЛЕЧЬ? 18
  • 19. Источники данных • Лог запросов • Текст ссылок • Корпус текстов ford ford focus, ford fusion, ford mondeo карта карта памяти, карта города машина стиральная машина, швейная машина 19
  • 20. Близость запросов q1 q2 q3 q4 слова/буквы сессии клики 20
  • 21. Требования 1. Семантическая близость запросов 2. Без ошибок, опечаток, обрезанных словосочетаний 3. Без смысловых дублей (шарон стоун, шерон стоун) 4. Недопустимо – порно, мат, оскорбительная лексика 5. Плохо: гео-зависимые запросы в чужом регионе, неактуальные запросы (о прошедших событиях) 21
  • 22. запрос=<timeStamp, userId, queryText> 0. чистка лога (порно, Яндекс, «подсказки», язык запросов, опечатки) 1. выделение сессий (по времени) 2. выделение пар (в.ч. транзитивно) 22
  • 23. 3. нормализация запросов (стоп-слова, капитализация, лемматизация, сортировка слов + выбор лучшего обратного преобразования) 4. Борьба со флешмобами и «событийными» ассоциациями 5. Матрица частоты переходов «запрос-запрос» (пороги для пользователя, ограничение на абсолютную частоту) 23
  • 24. 6. weight(q1 q2)= f(freqq1, freqq2, freqq1q2)*f(freqq2q1) 7. ранжирование, отсечение по порогу 8. индекс: q q1, q2, q3… (оригинальные запросы) 24
  • 25. Оценка • «оценка глазами» • «классы объектов» • кластеры запросов Яндекс.Директа • кликабельность 25
  • 27. 27
  • 28. Выбор пользователей другой запрос на ту же тему уточнение расширение понятия синоним перевод смена цели снятие неоднозначности 28
  • 29. 60% Спрос/предложение 50% клики показы 40% 30% 20% 10% 0% другой запрос на уточнение расширение синоним смена цели перевод снятие ту же тему понятия неоднозначности 29
  • 30. Где еще можно использовать? • Реклама • Качество поиска 30