Avito на Highload++ 2017

Highload++ близко. В этот (одиннадцатый!) раз в Сколково соберутся 2700 разработчиков высоконагруженных систем для того, чтобы обменяться опытом построения и развития архитектуры крупных проектов, о базах данных, системах хранения, системном администрировании, нагрузочном тестировании, эксплуатации крупных проектов и других направлениях, связанных с высоконагруженными системами. Мы традиционно принимаем активное участие в Highload++ и сегодня расскажем, что приготовили для её участников в этот раз.


wy2nkijbj54c-1x8ynqysxpo6iu.jpeg


Содержание

1. Доклады
1.1 7 ноября
1.2 8 ноября
2. Мастер-классы
3. Активности
4. Профессиональное общение


Доклады

Для конференции наши коллеги подготовили четыре доклада — вы сможете встретить их в Конгресс-Холле, залах «Сингапур», «Пекин» и «Шанхай», 7 и 8 ноября. Или задать им свои вопросы на стенде Avito или в нашей переговорной. Подробности — ниже.


7 ноября

«Хранилище данных Avito: аналитика для микросервисной архитектуры». Артём Данилов, архитектор хранилища данных Avito


image
Время: 12:00
Место: Зал «Конгресс-Холл» (будет доступна онлайн-трансляция на сайте конференции)


Большое количество современных веб-проектов переходит на микросервисную архитектуру. Она решает огромное количество проблем, присущих монолитным системам, однако накладывает качественно новые требования, в том числе и на аналитику данных. В докладе будет рассказано о том, какие вызовы и возможности преподнесла Avito микросервисная архитектура, а также показано, как Clickstream может быть полезен не только аналитикам, но и разработчикам.


«Настройка kubernetes: tips and tricks». Михаил Прокопчук, ведущий разработчик серверной части Avito


imageВремя: 15:00
Место: Залы «Пекин» и «Шанхай»


Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов. В докладе Михаил поделится опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и расскажет о том, что и как необходимо мониторить.




8 ноября

«Контроль качества высоконагруженных систем». Андрей Дроздов, разработчик серверной части в Avito


imageВремя: 12:00
Место: Зал «Конгресс-холл» (будет доступна онлайн-трансляция на сайте конференции)


Разработка любого высоконагруженного сервиса не обходится без нагрузочных тестов. Во многих проектах процесс анализа работы системы слабо структурирован или выполняется непосредственно в бою. Есть масса статей и рецептов использования тех или иных инструментов, но самые важные вопросы не раскрыты до конца: что именно мы должны измерять, правильно ли мы интерпретируем результаты и как ловить баги, которые проявляются только под высокой нагрузкой. В своем докладе Андрей расскажет о том, как построить процесс контроля качества highload-сервисов с нуля.




«Lambda architecture для realtime-аналитики — риски и преимущества». Николай Голов, руководитель разработки баз данных Avito


imageВремя: 17:00
Место: Зал «Сингапур»


В 2017 году построить аналитику на больших данных — это уже не достижение. Витрины, отстающие на день — уже старые. Отставание на час — неплохо. Достижением для 2017 является realtime BigData, доступные для широкого круга аналитические данные, отстающие от реальности на секунды (миллисекунды!). Миллисекундное отставание означает in-memory. BigData значит, что всё в оперативную память уже не влезет. Значит, нужно совмещать. Эту концепцию принято называть Lambda Architecture.
В Avito подобная схема построена путем совмещения HP Vertica (объемные исторические данные) + Redis/Tarantool (realtime data cache). Приходите на доклад Николая, чтобы услышать подробности и задать свои вопросы.


Мастер-классы

«Логическая репликация и Avito». Константин Евтеев, Михаил Тюрин, Сергей Бурладян


Дата: 7 ноября
Время: 12:00 — 14:00
Место: Зал «Кейптаун»


В Avito объявления хранятся в базах данных Postgres. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объёма данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, межбазные и межсервисные синхронизации данных и пр. За годы эксплуатации репликации PgQ мы наработали обширный опыт, многое переосмыслили, реализовали собственные надстройки и расширения. На мастер-классе будут раскрыты следующие темы.


  1. Необходимость логической репликации в целом и кейсы Avito.
  2. Эволюция и принцип работы триггерных решений с версии Postgres 7.0: RServ Вадима Михеева (Vadim Mikheev, автор MVCC), Слоны (Slony), Слоник «Londiste» (PgQ) от Skype.
  3. Архитектура логической репликации «из коробки»: Logical Replication in PostgreSQL 10 & PGLogical.
  4. Примеры использования репликации и её расширений в Avito.
  5. Вопросы и пожелания, адресуемые комьюнити.


К мастер-классу можно будет подготовиться заранее. Вот образ виртуальной машины, на которой проводится практическая часть. Накануне мероприятия материалы для мастер-класса будут доступны здесь. И вот ещё пара ссылок:


  • версия skytools Avito c undo и еще несколькими плюшками;
  • RPC на основе PgQ.


«Нагрузочное тестирование веб-сервиса». Андрей Дроздов


Дата: 8 ноября
Время: 15:00 — 17:00
Место: Переговорная комната А1.2 («Африка»)


В продолжение доклада о нагрузочных и интеграционных тестах будет интересно попробовать все это вживую. Участники мастер-класса изучат yandex tank, pstack, pprof и другие инструменты, посмотрят на пример готового луна-парка. После этого будут предложены несколько web-сервисов на Go для анализа проблем производительности (можно будет выбрать любой другой язык по желанию). Важно: для полноценного участия необходимо иметь настроенный minikube на компьютере или быть готовым запустить виртуальную машину.


Активности

AvitoQuiz: prize, please!


image В целом для Highload++ мы придумали и приготовили много крутых подарков. Один из способов их выиграть — поучаствовать в викторине AvitoQuiz. Нужно будет необходимо пройти тест по одному из языков программирования (Python, Go, PHP) или тест для DevOps. Лучшим 50 участникам каждого теста мы подарим футболки и другие классные сувениры.
Тому, кто пройдет более одного теста и наберёт максимальное количество баллов, подарим главный приз — электросамокат! Подробности — на нашем стенде.


PGHACK Lite


Есть ещё один способ выиграть призы. Возможно, кто-то из вас уже слышал про наше соревнование PGHACK. Конечно, мы сделали его версию для конференции. Вот как это было у нас в офисе. (А подробно можно посмотреть в фотоальбоме на FB).


qaswvujpomc54u-hftsigxobh_m.jpeg


(Этим кадром передаём привет envek, нашему победителю!)


8vkysjb-qt8mtu6i8eikg4r3p1o.jpeg


Сокращенная блиц-версия нашего соревнования по восстановлению работоспособности Postgres будет проходить 7 ноября с 12:00 до 18:00 в игровой зоне (Фойе «Сингапура»). 8 ноября поучаствовать в PGHACK можно будет с 12:00 до 15:00. Подробности и расписание туров — на месте. Ждём на соревновании специалистов по работе с базами данных: разработчиков, программистов, администраторов. Участие смогут принять DevOps-инженеры и фуллстэк разработчики с большой базой знаний по теме. И конечно, это не только соревнование, но и профессиональное общение! Лучших игроков мы наградим призами и крутыми футболками, как у kevteev на этом фото:


tcgtoentyxiy32eyqpzsi5gw_tk.jpeg


Чтобы принять участие в блиц-версии PGHACK, вам понадобится ноутбук с VirtualBox (версия 5.1.24 или новее), 10Gb свободного пространства на жестком диске и 3GB оперативной памяти. Также можно заранее скачать на него игровую виртуальную машину. pkorobeinikov и мои коллеги будут ждать вас, чтобы вместе сделать PGHACK на Highload!


Профессиональное общение

И конечно, все два дня конференции без перерыва будет работать наш стенд. Там можно будет пообщаться с докладчиками, узнать о вакансиях Avito. Пополнить слоты наклеек для традиционной «Любознательности» и сфотографироваться с Гофером, Докером, Питоном или Слоном.


egjfswgiqelxfichj_dziyonmmo.jpeg


Для тех, кто не сможет быть 7 и 8 ноября на Highload++, будем вести прямые репортажи в наших социальных сетях: на странице AvitoTech в Facebook, телеграм-канале, Вконтакте и твиттере.

© Habrahabr.ru