Soumettre la recherche
Mettre en ligne
Sphinx: распределяя индексы.
•
0 j'aime
•
1,637 vues
MageCloud
Suivre
"Sphinx: распределяя индексы." Евгений Борисенко, системный администратор, QuartSoft.
Lire moins
Lire la suite
Signaler
Partager
Signaler
Partager
1 sur 14
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Web весна 2013 лекция 3
Web весна 2013 лекция 3
Technopark
Web осень 2012 лекция 3
Web осень 2012 лекция 3
Technopark
Сокеты
Сокеты
lectureswww lectureswww
Node.JS: возможности для РНР-разработчика
Node.JS: возможности для РНР-разработчика
Alexei Smolyanov
Веб-сервер
Веб-сервер
lectureswww lectureswww
Александр Крашенинников "Hadoop High Availability: опыт Badoo"
Александр Крашенинников "Hadoop High Availability: опыт Badoo"
IT Event
Спецификация WSGI (PEP-333)
Спецификация WSGI (PEP-333)
lectureswww lectureswww
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)
Ontico
Contenu connexe
Tendances
Нагруженный поиск на Sphinx
Нагруженный поиск на Sphinx
Roman Pavlushko
Практические примеры использования API в инфраструктурных продуктах Cisco для...
Практические примеры использования API в инфраструктурных продуктах Cisco для...
Cisco Russia
HTTP протокол
HTTP протокол
lectureswww lectureswww
Анализ трафика
Анализ трафика
lectureswww lectureswww
Дмитрий Стогов
Дмитрий Стогов
CodeFest
Обзор Redis storage / Symfony Camp UA 2011
Обзор Redis storage / Symfony Camp UA 2011
Igor Brovchenko
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Badoo Development
Методы защиты Java-приложений и их обход
Методы защиты Java-приложений и их обход
Positive Hack Days
Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
Ontico
Nginx Igor Sysoev
Nginx Igor Sysoev
Media Gorod
Avito Stachka 2012
Avito Stachka 2012
Roman Pavlushko
Web весна 2012 лекция 3
Web весна 2012 лекция 3
Technopark
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
AvitoTech
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Александр Сигачев
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Fwdays
Андрей Субботин "Локализация приложений для iOS: как не прострелить себе ногу"
Андрей Субботин "Локализация приложений для iOS: как не прострелить себе ногу"
Yandex
pgconf.ru 2015 avito postgresql
pgconf.ru 2015 avito postgresql
Михаил Тюрин
Находим и эксплуатируем уязвимости. Теория и практические примеры уязвимых ре...
Находим и эксплуатируем уязвимости. Теория и практические примеры уязвимых ре...
Kristina Pomozova
Опенсорс-инструменты на страже безопасности бэкенда — Петр Волков
Опенсорс-инструменты на страже безопасности бэкенда — Петр Волков
Yandex
Tendances
(19)
Нагруженный поиск на Sphinx
Нагруженный поиск на Sphinx
Практические примеры использования API в инфраструктурных продуктах Cisco для...
Практические примеры использования API в инфраструктурных продуктах Cisco для...
HTTP протокол
HTTP протокол
Анализ трафика
Анализ трафика
Дмитрий Стогов
Дмитрий Стогов
Обзор Redis storage / Symfony Camp UA 2011
Обзор Redis storage / Symfony Camp UA 2011
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Эволюция php code coverage в Badoo. Доклад Ильи Агеева на LoveQA РИТ.
Методы защиты Java-приложений и их обход
Методы защиты Java-приложений и их обход
Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
Nginx Igor Sysoev
Nginx Igor Sysoev
Avito Stachka 2012
Avito Stachka 2012
Web весна 2012 лекция 3
Web весна 2012 лекция 3
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
"Успеть за 100 миллисекунд: контекстная реклама на Sphinx" Дмитрий Хасанов (...
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Андрей Субботин "Локализация приложений для iOS: как не прострелить себе ногу"
Андрей Субботин "Локализация приложений для iOS: как не прострелить себе ногу"
pgconf.ru 2015 avito postgresql
pgconf.ru 2015 avito postgresql
Находим и эксплуатируем уязвимости. Теория и практические примеры уязвимых ре...
Находим и эксплуатируем уязвимости. Теория и практические примеры уязвимых ре...
Опенсорс-инструменты на страже безопасности бэкенда — Петр Волков
Опенсорс-инструменты на страже безопасности бэкенда — Петр Волков
Similaire à Sphinx: распределяя индексы.
Phalcon - самый быстрый PHP Framework
Phalcon - самый быстрый PHP Framework
Oleksandr Torosh
ВВЕДЕНИЕ В NODE.JS
ВВЕДЕНИЕ В NODE.JS
Pavel Tsukanov
Программные интерфейсы управления (API) архитектурой, ориентированной на прил...
Программные интерфейсы управления (API) архитектурой, ориентированной на прил...
Cisco Russia
Антон Тюрин, Евгений Сафронов, Инфраструктура под Cocaine
Антон Тюрин, Евгений Сафронов, Инфраструктура под Cocaine
Tanya Denisyuk
Sivko
Sivko
kuchinskaya
2020.10.13 HA Redis is simple. FWDays Highload
2020.10.13 HA Redis is simple. FWDays Highload
Yehor Herasymchuk
Современный подход к локализации на примере одного проекта
Современный подход к локализации на примере одного проекта
SQALab
SAP hands on lab_ru
SAP hands on lab_ru
Positive Hack Days
Устройство фреймворка symfony 2 (http://frontend-dev.ru)
Устройство фреймворка symfony 2 (http://frontend-dev.ru)
Александр Егурцов
Взломать сайт на ASP.NET
Взломать сайт на ASP.NET
Positive Hack Days
Другая виртуализация
Другая виртуализация
Yandex
Building deployment pipeline - DevOps way
Building deployment pipeline - DevOps way
Andrey Rebrov
Sphinx
Sphinx
DexizeR
Роман Еникеев - PHP или откуда взялся слон
Роман Еникеев - PHP или откуда взялся слон
DataArt
Пост-эксплуатация веб-приложений в тестах на проникновение
Пост-эксплуатация веб-приложений в тестах на проникновение
beched
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012
Roman Pavlushko
Обзор Continuous integration инструментов
Обзор Continuous integration инструментов
Vitalii Morvaniuk
Cocaine: погружение в облака — Евгений Сафронов
Cocaine: погружение в облака — Евгений Сафронов
Yandex
Alfresco Lynx
Alfresco Lynx
JSC Lynx, Saint-Petersburg
CodeFest 2014. Каплуновский Б. — Использование асинхронного I/O для снижения ...
CodeFest 2014. Каплуновский Б. — Использование асинхронного I/O для снижения ...
CodeFest
Similaire à Sphinx: распределяя индексы.
(20)
Phalcon - самый быстрый PHP Framework
Phalcon - самый быстрый PHP Framework
ВВЕДЕНИЕ В NODE.JS
ВВЕДЕНИЕ В NODE.JS
Программные интерфейсы управления (API) архитектурой, ориентированной на прил...
Программные интерфейсы управления (API) архитектурой, ориентированной на прил...
Антон Тюрин, Евгений Сафронов, Инфраструктура под Cocaine
Антон Тюрин, Евгений Сафронов, Инфраструктура под Cocaine
Sivko
Sivko
2020.10.13 HA Redis is simple. FWDays Highload
2020.10.13 HA Redis is simple. FWDays Highload
Современный подход к локализации на примере одного проекта
Современный подход к локализации на примере одного проекта
SAP hands on lab_ru
SAP hands on lab_ru
Устройство фреймворка symfony 2 (http://frontend-dev.ru)
Устройство фреймворка symfony 2 (http://frontend-dev.ru)
Взломать сайт на ASP.NET
Взломать сайт на ASP.NET
Другая виртуализация
Другая виртуализация
Building deployment pipeline - DevOps way
Building deployment pipeline - DevOps way
Sphinx
Sphinx
Роман Еникеев - PHP или откуда взялся слон
Роман Еникеев - PHP или откуда взялся слон
Пост-эксплуатация веб-приложений в тестах на проникновение
Пост-эксплуатация веб-приложений в тестах на проникновение
AVITO. Решардинг Redis без даунтайма. DevConf 2012
AVITO. Решардинг Redis без даунтайма. DevConf 2012
Обзор Continuous integration инструментов
Обзор Continuous integration инструментов
Cocaine: погружение в облака — Евгений Сафронов
Cocaine: погружение в облака — Евгений Сафронов
Alfresco Lynx
Alfresco Lynx
CodeFest 2014. Каплуновский Б. — Использование асинхронного I/O для снижения ...
CodeFest 2014. Каплуновский Б. — Использование асинхронного I/O для снижения ...
Plus de MageCloud
How to find the Right Mobile and Cloud Application Development Company for Yo...
How to find the Right Mobile and Cloud Application Development Company for Yo...
MageCloud
First Steps to Mobile Sites and Apps
First Steps to Mobile Sites and Apps
MageCloud
Optimizing Magento for Peak Performance
Optimizing Magento for Peak Performance
MageCloud
Cloud Based Business Application Development
Cloud Based Business Application Development
MageCloud
Three keys to successful banner ads
Three keys to successful banner ads
MageCloud
Two Facets of Great e-Commerce: PPC and Landing Page Best Practices
Two Facets of Great e-Commerce: PPC and Landing Page Best Practices
MageCloud
Yii development
Yii development
MageCloud
Testing
Testing
MageCloud
Security testing
Security testing
MageCloud
Project lifecircle
Project lifecircle
MageCloud
Management of projects
Management of projects
MageCloud
Magento ecommerce
Magento ecommerce
MageCloud
Graphics
Graphics
MageCloud
Dotnet development
Dotnet development
MageCloud
Corporate structure project_team
Corporate structure project_team
MageCloud
Continuous integration
Continuous integration
MageCloud
Clientside optimization
Clientside optimization
MageCloud
Automated testing
Automated testing
MageCloud
Amazon
Amazon
MageCloud
Agile
Agile
MageCloud
Plus de MageCloud
(20)
How to find the Right Mobile and Cloud Application Development Company for Yo...
How to find the Right Mobile and Cloud Application Development Company for Yo...
First Steps to Mobile Sites and Apps
First Steps to Mobile Sites and Apps
Optimizing Magento for Peak Performance
Optimizing Magento for Peak Performance
Cloud Based Business Application Development
Cloud Based Business Application Development
Three keys to successful banner ads
Three keys to successful banner ads
Two Facets of Great e-Commerce: PPC and Landing Page Best Practices
Two Facets of Great e-Commerce: PPC and Landing Page Best Practices
Yii development
Yii development
Testing
Testing
Security testing
Security testing
Project lifecircle
Project lifecircle
Management of projects
Management of projects
Magento ecommerce
Magento ecommerce
Graphics
Graphics
Dotnet development
Dotnet development
Corporate structure project_team
Corporate structure project_team
Continuous integration
Continuous integration
Clientside optimization
Clientside optimization
Automated testing
Automated testing
Amazon
Amazon
Agile
Agile
Sphinx: распределяя индексы.
1.
Sphinx. Построение
распределенного сервера Борисенко Евгений Системный администратор компании «КвартСофт» vjik@quartsoft.com ©2012. QuartSoft Corp. www.quartsoft.com
2.
Зачем? Для чего?
Как? ©2012. QuartSoft Corp. www.quartsoft.com
3.
Кто ближе всех.... Семейство
Apache Lucene Sphinx search engine Индекс: инкрементный индекс, но Индекс: монолитный + дельта- требующий операции слияния индекс, возможность сегментов распределѐнного поиска API и протоколы: Java API API и протоколы: SQL DB, встроенная поддержка MySQL Размер индекса и скорость и PostgreSQL, собственный XML- поиска: около 20 Мб/минута, размер интерфейс, встроенные API для индексных файлов ограничен 2 Гб РНР, Ruby, Python, Java, Perl (на 32-bit ОС). Есть возможности Размер индекса и скорость параллельного поиска по поиска: очень нескольким индексам и быстрый, индексация около 10 кластеризация (требует сторонних Мб/сек, поиск около 0.1 сек/~2 — 4 платформ) Гб индексе, поддерживает размеры индекса в сотни Гб и URL: http://lucene.apache.org/ сотни миллионов документов URL: http://sphinxsearch.com ©2012. QuartSoft Corp. www.quartsoft.com
4.
Что подчеркнули... системой полнотекстового
поиска. взаимодействия с реляционными базами данных и скриптовыми языками программирования. возможности распределѐнного поиска и кластеризации. очень высокая скорость индексации и поиска ©2012. QuartSoft Corp. www.quartsoft.com
5.
Sphinxsearch.com
Самые большие: Infegy.com - 9 миллиардов документов в Sphinx. Boardreader.com a forum > 16 миллиардов документов другими словами около 5 Тб в 38 шардах. Самые загруженные: Craigslist.org, (сайт обявлений) около 200,000,000 миллионов запросов/день, - это примерно 2300 запросов/секунду. ©2012. QuartSoft Corp. www.quartsoft.com
6.
Работа одноуровнего Sphinx-
сервера Веб приложение Сервер Sphinx ©2012. QuartSoft Corp. www.quartsoft.com
7.
Проблема 1.Индекс
может разрушиться... 2.Веб сервер остался без данных... 3.На восстановление требуется время... ©2012. QuartSoft Corp. www.quartsoft.com
8.
Работа распределенного
Sphinx сервера Веб приложение Сервер Sphinx 1 2 n ©2012. QuartSoft Corp. www.quartsoft.com
9.
Критерии создания
распределенного индекса: • количество обработанных файлов; • суммарный размер обработанных файлов; • дисковое пространство занимаемое индексами; • общее время восстановления индекса. ©2012. QuartSoft Corp. www.quartsoft.com
10.
Время полного восстановления.
Затраченное время.(ч.) Количество шардов (ед.) ©2012. QuartSoft Corp. www.quartsoft.com
11.
Хитрости
Сервер • должен существовать локальный индекс той же структуры (пустой); • Запись подключения agent’а содержит индекс и дельта-индекс; Шарды • имена индексов и дельта-индексов должны совпадать с именами agent’а (не source блока). ©2012. QuartSoft Corp. www.quartsoft.com
12.
Конфигурационные файлы
sphinx-сервера source vf_transcriptions { index ind_vf_transcriptions { type = xmlpipe2 source = vf_transcriptions xmlpipe_field = title path = /var/lib/sphinx/vf_transcriptions xmlpipe_field = description ... ..... } } index main { type = distributed local = ind_vf_transcriptions agent = 192.168.1.2:9312:ind_vf_transcriptions,ind_vf_transcriptions_delta agent = 192.168.1.3:9312:ind_vf_transcriptions,ind_vf_transcriptions_delta ... agent_connect_timeout = 2000 agent_query_timeout = 10000 } searchd { listen= 192.168.1.1:9312 ... } ©2012. QuartSoft Corp. www.quartsoft.com
13.
Конфигурационные файлы
дочерних sphinx-серверов source vf_transcriptions { index ind_vf_transcriptions_delta : type = xmlpipe2 ind_vf_transcriptions{ xmlpipe_command = run_same_script source= vf_transcriptions_delta xmlpipe_field = title path = /var/sphinx/vf_transcriptions_delta ... ... } } index ind_vf_transcriptions { searchd { source = vf_transcriptions listen= 192.168.1.2:9312 path= /var/sphinx/vf_transcriptions ... ... } } source vf_transcriptions_delta : vf_transcriptions { xmlpipe_command = run_same_DELTA_script ... } ©2012. QuartSoft Corp. www.quartsoft.com
14.
http://sphinxsearch.com/info/webinar/
April 25th, 2012 - Relevance Ranking Explained Вопросы? Спасибо! Евгений Борисенко Системный администратор компании «КвартСофт» vjik@quartsoft.com ©2012. QuartSoft Corp. www.quartsoft.com
Télécharger maintenant