Грабли A/B тестирования — встреча с Романом Поборчим, Санкт-Петербург
В четверг, 7 июля, в 20:00, в петербургском офисе Oracle состоится встреча CodeFreeze с Романом Поборчим, экспертом по Java, качеству поиска и A/B тестированию. Тема встречи — грабли A/B тестирования.
Участие — бесплатное. Количество мест ограничено, необходима регистрация по ссылке.
О докладе
A/B-тестирование (англ. A/B testing, Split testing) — метод исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта.
Википедия
Все изменения на вашем сервисе проходят через эксперимент на пользователях. Вы выкатываете только то, что показывает значимое улучшение целевой метрики. Да, у вас есть целевая метрика. Да, вы всё знаете про статистическую значимость — ну или, по крайней мере, слышали о ней.
Так почему же целевая метрика вашего сервиса сегодня находится точно на том же уровне, что и год назад?
Один из возможных ответов состоит в том, что в систему проведения экспериментов вкрались ошибки. Роман расскажет о некоторых типовых проблемах, с которыми сталкиваются практически все, кто начинает экспериментировать над пользователями. Кроме конкретных проблем доклад коснется индикаторов, следя за которыми можно заметить, что что-то сломалось. Если в вашем проекте есть A/B тестирование, то по результатам рассказа вам наверняка захочется внести в него какие-то улучшения.
О докладчике
Роман Поборчий окончил мат-мех СПбГУ в 1998 году. До 2004 года работал над Sun JDK, поучаствовал в релизах с 1.1.8 до Java 5. С 2004 по 2008 год работал в Intel, где также работал над реализацией Java, впоследствии выложенной в Open Source под именем Apache Harmony. С 2008 по 2015 год занимался оценкой качества поиска в Яндексе, где, в частности, и приобрёл опыт в A/B тестировании. С 2015 года сменил основной род деятельности и теперь занимается презентациями в IT. Участвовал в качестве консультанта по презентациям в подготовке Highload++ 2015 и РИТ++ 2016.
Место проведения
Петербургский офис компании Oracle:
10-я Красноармейская улица, 22А, БЦ «Келлерман», 2 этаж
(геометка в 2Гис)
Транспорт
- от станции метро «Балтийская» — 10 минут пешком: сначала по Лермонтовскому проспекту, потом 100 метров налево по 10-ой Красноармейской.
ab testing, ab тестирование, ab-тестирование, split testing
