Мы в Avito не так давно начали использовать Golang, но он уже успел занять важное место в различных частях проекта. В докладе мы расскажем о том, какие задачи нам помогает решать Go, почему выбор пал именно на этот язык, с какими подводными камнями мы столкнулись, и как их обходили. В частности поговорим про:
• Сервисы. Как мы начали использовать Go для разработки микросервисов, как это сказалось на их поддержке, а также отдельно расскажем про “шаблон сервиса”, который мы используем.
• Поиск. Как мы с помощью Go мы реализовали RtIndexer для обновления Sphinx Rt индексов в кластере из множества машин (поиск по активным объявлениям), который устойчиво работает с отставанием не более 10 секунд при нагрузке до 1000 rps.
• Автоматизацию тестирования. Как мы пишем тестовые сервисы и API на Go. Подробней остановимся на использовании общих моделей тел запросов и ответов для отправки и получения, использовании горутин как воркеров для обработки очереди.
10. Sphinx RT Indexes
• Обновление полнотекстовых данных на лету
• Демон Searchd работает одновременно на чтение и запись
• Indexer не нужен
• Обновления документов прилетают в Ram
• Заполненный Ram сбрасывается на Disk
• Старые версии перекрываются через Kill List
15. Golang pipelines
• https://blog.golang.org/pipelines
• Выделяем несколько воркеров
• Соединяем воркеры последовательно каналами
• Подаем исходные данные в первый воркер
• Каждый воркер принимает данные из входящего канала
• Создает свой исходящий канал и отправляет в него результат
• Последний воркер не создает исходящего канала
• При закрытии входящего канала воркер перекращает работу
• И закрывает свой исходящий канал
34. Что хотелось получить
• Единая входная точка
• Система хранения результатов выполнения
• Честная очередь выполнения
35. Что получилось
Client (Team City,
Bamboo, custom)
Main (parallel, start,
restart)
Worker Manager
Worker1 … WorkerN
Worker Manager
Worker1 … WorkerN
Env Manager
Test Report
RabbitMQ
Test Report View
36. Общие модели запросов и
ответов в структурах
• Валидация по типам
• Описания полей структуры к полям json экономят время
37. Воркеры в goroutines
• Доставка управляющих сообщений
по отдельному каналу
• Единая система хранения результатов при
проблемах с доставкой
Worker Manager
Worker1 … WorkerN
38. Радость при реализации
Json RPC 2.0
• Реализации batch request через goroutine
• Указатели в структурах дают простой механизм
опциональных значений для аргументов
39. Что получили в итоге от Go
• Простотой язык для изучения
• Скорость разработки
• Ресурсы, используемые сервером c сервисом на Go, в
десятки раз меньше чем с сервисом на PHP
