Avito на Highload++ 2017
Highload++ близко. В этот (одиннадцатый!) раз в Сколково соберутся 2700 разработчиков высоконагруженных систем для того, чтобы обменяться опытом построения и развития архитектуры крупных проектов, о базах данных, системах хранения, системном администрировании, нагрузочном тестировании, эксплуатации крупных проектов и других направлениях, связанных с высоконагруженными системами. Мы традиционно принимаем активное участие в Highload++ и сегодня расскажем, что приготовили для её участников в этот раз.
Содержание
1. Доклады
1.1 7 ноября
1.2 8 ноября
2. Мастер-классы
3. Активности
4. Профессиональное общение
Доклады
Для конференции наши коллеги подготовили четыре доклада — вы сможете встретить их в Конгресс-Холле, залах «Сингапур», «Пекин» и «Шанхай», 7 и 8 ноября. Или задать им свои вопросы на стенде Avito или в нашей переговорной. Подробности — ниже.
7 ноября
«Хранилище данных Avito: аналитика для микросервисной архитектуры». Артём Данилов, архитектор хранилища данных Avito
Время: 12:00
Место: Зал «Конгресс-Холл» (будет доступна онлайн-трансляция на сайте конференции)
Большое количество современных веб-проектов переходит на микросервисную архитектуру. Она решает огромное количество проблем, присущих монолитным системам, однако накладывает качественно новые требования, в том числе и на аналитику данных. В докладе будет рассказано о том, какие вызовы и возможности преподнесла Avito микросервисная архитектура, а также показано, как Clickstream может быть полезен не только аналитикам, но и разработчикам.
«Настройка kubernetes: tips and tricks». Михаил Прокопчук, ведущий разработчик серверной части Avito
Время: 15:00
Место: Залы «Пекин» и «Шанхай»
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов. В докладе Михаил поделится опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и расскажет о том, что и как необходимо мониторить.
8 ноября
«Контроль качества высоконагруженных систем». Андрей Дроздов, разработчик серверной части в Avito
Время: 12:00
Место: Зал «Конгресс-холл» (будет доступна онлайн-трансляция на сайте конференции)
Разработка любого высоконагруженного сервиса не обходится без нагрузочных тестов. Во многих проектах процесс анализа работы системы слабо структурирован или выполняется непосредственно в бою. Есть масса статей и рецептов использования тех или иных инструментов, но самые важные вопросы не раскрыты до конца: что именно мы должны измерять, правильно ли мы интерпретируем результаты и как ловить баги, которые проявляются только под высокой нагрузкой. В своем докладе Андрей расскажет о том, как построить процесс контроля качества highload-сервисов с нуля.
«Lambda architecture для realtime-аналитики — риски и преимущества». Николай Голов, руководитель разработки баз данных Avito
Время: 17:00
Место: Зал «Сингапур»
В 2017 году построить аналитику на больших данных — это уже не достижение. Витрины, отстающие на день — уже старые. Отставание на час — неплохо. Достижением для 2017 является realtime BigData, доступные для широкого круга аналитические данные, отстающие от реальности на секунды (миллисекунды!). Миллисекундное отставание означает in-memory. BigData значит, что всё в оперативную память уже не влезет. Значит, нужно совмещать. Эту концепцию принято называть Lambda Architecture.
В Avito подобная схема построена путем совмещения HP Vertica (объемные исторические данные) + Redis/Tarantool (realtime data cache). Приходите на доклад Николая, чтобы услышать подробности и задать свои вопросы.
Мастер-классы
«Логическая репликация и Avito». Константин Евтеев, Михаил Тюрин, Сергей Бурладян
Дата: 7 ноября
Время: 12:00 — 14:00
Место: Зал «Кейптаун»
В Avito объявления хранятся в базах данных Postgres. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объёма данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, межбазные и межсервисные синхронизации данных и пр. За годы эксплуатации репликации PgQ мы наработали обширный опыт, многое переосмыслили, реализовали собственные надстройки и расширения. На мастер-классе будут раскрыты следующие темы.
- Необходимость логической репликации в целом и кейсы Avito.
- Эволюция и принцип работы триггерных решений с версии Postgres 7.0: RServ Вадима Михеева (Vadim Mikheev, автор MVCC), Слоны (Slony), Слоник «Londiste» (PgQ) от Skype.
- Архитектура логической репликации «из коробки»: Logical Replication in PostgreSQL 10 & PGLogical.
- Примеры использования репликации и её расширений в Avito.
- Вопросы и пожелания, адресуемые комьюнити.
К мастер-классу можно будет подготовиться заранее. Вот образ виртуальной машины, на которой проводится практическая часть. Накануне мероприятия материалы для мастер-класса будут доступны здесь. И вот ещё пара ссылок:
- версия skytools Avito c undo и еще несколькими плюшками;
- RPC на основе PgQ.
«Нагрузочное тестирование веб-сервиса». Андрей Дроздов
Дата: 8 ноября
Время: 15:00 — 17:00
Место: Переговорная комната А1.2 («Африка»)
В продолжение доклада о нагрузочных и интеграционных тестах будет интересно попробовать все это вживую. Участники мастер-класса изучат yandex tank, pstack, pprof и другие инструменты, посмотрят на пример готового луна-парка. После этого будут предложены несколько web-сервисов на Go для анализа проблем производительности (можно будет выбрать любой другой язык по желанию). Важно: для полноценного участия необходимо иметь настроенный minikube на компьютере или быть готовым запустить виртуальную машину.
Активности
AvitoQuiz: prize, please!
В целом для Highload++ мы придумали и приготовили много крутых подарков. Один из способов их выиграть — поучаствовать в викторине AvitoQuiz. Нужно будет необходимо пройти тест по одному из языков программирования (Python, Go, PHP) или тест для DevOps. Лучшим 50 участникам каждого теста мы подарим футболки и другие классные сувениры.
Тому, кто пройдет более одного теста и наберёт максимальное количество баллов, подарим главный приз — электросамокат! Подробности — на нашем стенде.
PGHACK Lite
Есть ещё один способ выиграть призы. Возможно, кто-то из вас уже слышал про наше соревнование PGHACK. Конечно, мы сделали его версию для конференции. Вот как это было у нас в офисе. (А подробно можно посмотреть в фотоальбоме на FB).
(Этим кадром передаём привет envek, нашему победителю!)
Сокращенная блиц-версия нашего соревнования по восстановлению работоспособности Postgres будет проходить 7 ноября с 12:00 до 18:00 в игровой зоне (Фойе «Сингапура»). 8 ноября поучаствовать в PGHACK можно будет с 12:00 до 15:00. Подробности и расписание туров — на месте. Ждём на соревновании специалистов по работе с базами данных: разработчиков, программистов, администраторов. Участие смогут принять DevOps-инженеры и фуллстэк разработчики с большой базой знаний по теме. И конечно, это не только соревнование, но и профессиональное общение! Лучших игроков мы наградим призами и крутыми футболками, как у kevteev на этом фото:
Чтобы принять участие в блиц-версии PGHACK, вам понадобится ноутбук с VirtualBox (версия 5.1.24 или новее), 10Gb свободного пространства на жестком диске и 3GB оперативной памяти. Также можно заранее скачать на него игровую виртуальную машину. pkorobeinikov и мои коллеги будут ждать вас, чтобы вместе сделать PGHACK на Highload!
Профессиональное общение
И конечно, все два дня конференции без перерыва будет работать наш стенд. Там можно будет пообщаться с докладчиками, узнать о вакансиях Avito. Пополнить слоты наклеек для традиционной «Любознательности» и сфотографироваться с Гофером, Докером, Питоном или Слоном.
Для тех, кто не сможет быть 7 и 8 ноября на Highload++, будем вести прямые репортажи в наших социальных сетях: на странице AvitoTech в Facebook, телеграм-канале, Вконтакте и твиттере.
