YAPC Russia 2009 "May Perl 2"

1. 10.000 вариантов
снять квартиру
или сам себе
POE-риелтор

3. Вид каталога

4. Идентификатор

5. Подробная информация

6. Паук на POE
и драйверная система

7. Структура драйвера
{
name => 'landlord',
url => sub { ... },
url_details => sub { ... },
types => {
app_for_sale => 'flat',
rent_flat => 'flat',
house_for_sale => 'house',
rent_house => 'house',
},
connection_options => {
keep_alive => 0,
},
parsers => {
count => sub { ... },
details => sub { ... },
items => sub { ... },
},
}

8. 3 функции для разбора
собранных страниц
parsers => {
count => sub { ... },
details => sub { ... },
items => sub { ... },
},

9. 2 Функции
для генерации ссылок
url => sub { ... },
url_details => sub { ... },

10. Драйвер готов!

11. Основные этапы
работы

12. 1. Инициализация
Определение количества страниц
каталога

13. 2. Сбор каталога
Сбор страниц по подготовленным
ссылкам

14. 3. Анализ собранных объектов
Сравнение объектов в нашей БД и в
каталоге-источнике

15. 4. Сбор подробной информации по
новым объектам

16. Необычный поиск
• Получить идентификатор с
помощью LWP::UserAgent
• Генерировать ссылки с
использованием идентификатора

17. Ошибки в каталогах

18. POE::Component::Client::Keepalive
v 0.25

19. Сервера риелторов не выдерживали
нагрузок
Apache + CGI = 5 запросов одновременно

20. Маленькие радости
Отдельное “спасибо” разработчикам,
сделавшим параметр «количество
объектов на странице»

21. Полуавтоматический режим
Меняется представление
информации, необходимо постоянно
поддерживать работу пауков

22. Спасибо за внимание!
Константинов Дмитрий
RostovOnDon.pm