Datathon в рамках Data Science Week28.08.2015 00:03

вчера в 13:25

Сейчас Big Data и вообще Data Science проникает все в большее количество компаний, и расширяется множество интересных бизнес-задач, которые можно решить при помощи данных и их обработки. Приобщиться к этому и попробовать можно на хакатонах по анализу данных, которые в последнее время стали проводиться все чаще, многие слышали про хакатон Microsoft по машинному обучению, некоторые участвовали в Deephack, в хакатоне по открытым данным от MLClass.

Что-то похожее будет происходить и на дататоне, который будет проходить в рамках мероприятия под названием Data Science Week c 29 по 30 августа.

Официальные партнеры дататона: HeadHunter, Ozon.ru и 3data.

Первые двое предоставляют данные для анализа и формулируют задачи. А компания 3data предоставляет всю необходимую инфраструктуру для удобной работы на дататоне.

Теперь о самом интересном: о задачах.

Прогнозирование зарплаты для вакансий
Наверное, сложно найти человека, который бы никогда не пользовался сервисом HeadHunter и который бы не сталкивался с тем, что не у всех вакансий указана зарплата. Возможность прогнозировать зарплату по описанию вакансии позволила бы показывать соискателю вакансии с неуказанной зарплатой, но вероятно попадающие под его зарплатные ожидания.
Похожие поисковые запросы
К сожалению, не все люди говорят на одном языке. И речь идет не про русский, английский, китайский языки. А про то, что работодатели могут называть вакансии одним образом, а соискатель может искать те же вакансии, но по каким-то другим словам, формулировкам. Для того чтобы помочь соискателю найти интересующие его вакансии, но при этом не найденные по первому составленному им запросу, необходимо решить задачу определения похожих поисковых запросов.
Рекомендации редких товаров. Хвосты распределения
Очень просто рекомендовать товар, который и так является популярным. Конверсия такой рекомендации будет высокая, но это будет бесполезно с точки зрения бизнеса. В литературе это зовется банановой ловушкой. Гораздо интереснее порекомендовать что-то из редко покупаемых товаров. В этом и будет состоят задача.

На дататон нужно будет прийти со своими ноутбуками, с которых можно будет зайти на развернутый компанией 3data кластер с предустановленным Spark и Jupiter Notebook, а также всеми необходимыми пакетами под питон.

Вообще здорово, что вместо стандартного технического решения — развернуть инфраструктуру в каком-нибудь зарубежном облаке, организаторы привлекли партнером российскую компанию. Конечно, на 28 часов можно было легко обойтись и облаком, но если говорить про продакшн решения, даже для стартапов — то облака из-за курса сейчас становятся все менее привлекательными, а из-за закона о персональных данных, еще и неудобными.

Увидимся на дататоне. Регистрация на ивент здесь.