Прогнозируем результаты российского кинопроката с помощью ML27.05.2024 18:45

Работаем c базовыми и ансамблевыми моделями машинного обучения и персептроном. Выводы: на кино можно зарабатывать , конечно, если кинопроизводители и дистрибьютеры будут эмитировать акции, облигации и иные финансовые инструменты и публиковать отчетность. Датасет и код проекта лежат в репозитории.

Когда обычным «зрительцам» говорят, что кино — это творческая деятельность, великое искусство, а разговаривая про презренные деньги, мы тем самым оскорбляем священный процесс творчества и саму личность «кинотворца», нам сообщают не всю правду.

Кинематограф предсказуем. С учетом исторических данных прошлых периодов прокатную судьбу каждого национального фильма на локальном рынке можно определить еще до начала съемок. И можно заранее подобрать характеристики проекта так, чтобы он был успешен у зрителя: неважно, это будет легкая коммерческая романтическая комедия или патриотический фильм-драма, или добротная научная фантастика.

Если в наличии имеется «портфель» кинопроектов из 20–30 кинокартин, то его судьбу предсказать проще, пользуясь аналогией c хорошо диверсифицированным и сбалансированным портфелем инвестиционных финансовых инструментов.

Решим сперва задачу классификации: будет ли фильм успешным в прокате, соберет ли два своих бюджета?

Есть определённые признаки  успешного кино, например: комедии всегда коммерчески успешнее чем драмы, продолжительность идеального фильма стремится к 94 минутам, а если перед нами очередной «блокбастер» — риск неокупаемости повышается за счет ограниченной  емкости российского рынка. Подробнее по факторам инвестиционного успеха можно почитать здесь.

Экспериментировать мы будем на «малом» датасете российского кинопроката, включающем прокатные данные и информацию по режиссерам и сценаристам с 2004 года. Датасет содержит 1660 записей российских фильмов национального производства, начиная с фильма »72 метра» Владимира Хотиненко, вышедшего в прокат 12 февраля 2004 года, заканчивая картиной «Зоськина заправка», вышедшей в прокат 13 апреля 2023 года.

Автор вывел космический броненосец на запасную орбиту подготовил большую 146-факторную модель, охватывающую расширенную творческую группу фильма: продюсеров, монтажеров, композиторов и основных актеров, — с помощью которой уже возможно подбирать будущие характеристики кинофильма и состав творческой группы.  

Датасет предварительно вычищен, пропуски (бюджет) заполнены медианными значениями.  Это на самом деле не очень хорошо для точности расчетов, но вот такие у нас скрытные продюсеры. Все данные собирались из открытых легальных источников и проходили перекрестную проверку в ручном режиме.

Структура датасета

Метрики классификации у нас будут стандартные: accuracy, ROC-AUC в добавление посмотрим на precision, recall, f1-score.

На первом этапе для тестирования мы будем использовать базовые модели машинного обучения. На втором выйдем на ансамблевые модели ML в варианте для классификации с настройкой гиперпараметров. На третьем этапе добавим трэша и угара попытаемся использовать семплирование для выравнивания классов и задействуем MLP.

Регрессия и прогноз абсолютных значений по сборам, просмотрам и рейтингу «Кинопоиска» будут рассмотрены в следующей публикации.

Этап первый: базовые алгоритмы машинного обучения

Не будем пороть горячку, используем базовый алгоритм логистической регрессии. Выборку делим на тренинговую и тестовую в пропорции 70/30 и зафиксируем разделение random_state=42. Воспроизводилось результатов и расчётов — это святое для науки и для финансов!

Логистическая регрессия у нас работает только с нормализованными данными. Не забудем из sklearn.preprocessing вытащить StandardScaler и отмасштабируем признаки в диапазон от 0 до 1.

Отберем 26 признаков и целевое значение  (столбец result). Обучим и протестируем модель. 

Результат вполне неплох, мы получили точность 0,9238 и в общем-то верно предсказали прокатную судьбу 461 из 499 кинокартин.

Попробуем другой базовый метод, «машину опорных векторов».

Точность этой модели повыше 0,9359. Мы верно предсказали судьбу 467 кинокартин из 499 Это, конечно, лучше, но ненамного. Надо что-то помощнее и эффективнее.

Первый результат данной модели по точности не «айс» — всего 0,9158, и мы правильно определили только 457 кинокартин из 499.

У нас получилось следующее: criterion = 'gini', max_depth =  5, max_features = 7, min_samples_leaf = 2,   min_samples_split =  15, splitter =  'best'.

При данных гиперпараметрах достигнута общая точность =  0,9419. Мы определили судьбу 470 картин из 499.

Сс недостаточными метриками качества надо что-то делать, и помогут нам в этом деле боги тяжелого металла градиентного бустинга и ансамблевые модели машинного обучения.

Этап второй:  ансамбли и многоклассовая классификация

Итак, в жюри киноконкурса у нас: AdaBoostClassifier, BaggingClassifier, ExtraTreesClassifier, GradientBoostingClassifier, RandomForestClassifier, матрешки StackingClassifier и VotingClassifier с вложенными в них LogisticRegression и RandomForestClassifier, HistGradientBoostingClassifier и творение сумрачного гения и от «Яндекса» — CatBoostClassifier.

Мы создаем блок моделей, обучаем их на базовых настройках на 70%-выборке и делаем прогнозы по двум классам. И получаем соответствующее метрики качества.

Конечно можно попробовать поиграть с настройками и вложениям ансамблей серии  Bagging, Stacking и Voting, но оставим данный подход особо упоротым продвинутым специалистам — тем более GradientBoostingClassifier,   HistGradientBoostingClassifier и CatBoostClassifier показали вполне себе неплохие результаты уже в базе.

CatBoost дал нам точную оценку 478 кинокартин из 499. roc_auc_score  составил 0,9786.

Давайте для верности попробуем и HistGradientBoostingClassifier. Подберем гиперпараметры (learning_rate = 0.1, max_depth = 5, max_iter =100). Точность 0,9499. Количество верно предсказанных 474 из 499, ну и просто феноменальный roc_auc_score = 0,9801. Но этот показатель, как мы помним, для нас не так важен.

Для этого мы воспользуемся режимом многоклассовой классификации и значениями столбца rezult4 нашего «малого» датасета. Работать мы будем с CatBoostClassifier с настройками на 4 класса.

И сразу на модели  получаем roc_auc = 0,9629 (естественно, с установкой multi_class='ovr') и общей точностью — 0,8938. Так же нам потребуется перевод меток классов в формат one-vs-all, для чего используем label_binarize. И получаем данные для всех 4-классов. Даже при первом взгляде, видим, что промежуточные классы — «провисают».

Лучше всего модели удается определять крайности — совсем провальные картины и очень успешные.  Рискнем также предположить, что вне зависимости от контекста — успешный фильм все-равно окупится в прокате, а неуспешный — провалится, как бы его ни «тянули за уши», предоставляя лучшие прокатные условия.

Если мы хотим стабильные инвестиции, прибыль и рост кинорынка, то игнорировать их нам нельзя, из потенциально «гиперуспешных» фильмов в силу их малого количества сложно собрать диверсифицированный портфель по жанрам и режиссерам. «Портфель» должен быть разбавлен чуть менее успешными, но все же прибыльными картинами. 

Что дальше? Подбором гиперпараметров модели можно улучшить показатели, но на считанные проценты (как правило — доли процентов). Поэтому, как бы нам ни хотелось этого избежать, — придется использовать и синтетические данные, применять сэмплировнаие для выравнивания баланса классов.

Радует только то, что делать это мы будем на уже «знакомых» моделях и в качестве дополнительного бонуса попробуем для классификации нейросеть.

Этап третий:  балансировка классов и нейросеть

Увеличим выборку с использованием библиотеки imbalanced-learn. Теперь у нас примерно равное количество классов в общей выборке.  А заодно сравним как с новым датасетом справится уже хорошо знакомый CatBoostClassifier — и в пару к нему запустим обыкновенный MLP.

На увеличенной выборке со сбалансированными классами CatBoost показал феноменальные результаты по всем четырем классам с общей точностью в 0,9872. Теперь время ответить на вопрос — когда стоит «городить огород» то есть использовать другой подход к классификации?  

Используем нейросеть, построенную на архитектуре библиотеки TensorFlow — последовательную полносвязную сеть из трех слоев: 1. полносвязный слой (Dense) и функцией активации ReLU, принимающий  «на входе» входной тензор размерности 26 (по количеству признаков), полносвязный слой (Dense) с 64 нейронами и функцией активации ReLU, полносвязный слой (Dense) с 4 нейронами и функцией активации  Softmax  «на выходе». Скомпилируем ее при помощи следующих параметров: optimizer='adam' , loss='categorical_crossentropy' , metrics=['accuracy'].

Развитие прогнозирования кинопроката

Предиктивная аналитика кинопроката очень развита в Китае, Индии и странах Азии — автор насчитал уже более 200 современных публикаций на данную тему.

Исследователи используют: исторические данные проката и творческой группы, как и в настоящей публикации; данные социальных сетей, комментарии, блоги и профессиональные экспертные ресурсы, обрабатываемые с помощью языковых моделей и средств обработки естественного языка; изображения — постеры и кадры из кинофильмов — с помощью «компьютерного зрения».

Некоторые исследователи даже используют оценку человеческих эмоций с помощью инструментальных средств психодиагностики — от МРТ до всевозможных видов и наборов полиграфа и иных средств инструментальной психодиагнстики.

В следующей публикации планируем осветить вопросы регрессии: чтобы получить хотя бы приблизительное значение по сборам, просмотрам, а для эстетов — даже значение зрительского рейтинга «Кинопоиска». Зачем это нужно?

Прямой связи между рейтингом «Кинопоиска» и сборами на самом деле нет, так же как нет абсолютно никакой связи между окупаемостью проекта и количеством всевозможных золотых статуэток у режиссера и творческой группы. Это совсем разные миры, разделенные красной гиперплоскостью ковровой дорожки.

Рискнем вызвать гнев киноинквизиторов, но не блещущие 7–8-балльными оценками и золотыми статуэтками  Сарик Андреасян и Марюс Вайсберг — хорошие режиссеры с точки зрения исторической доходности и окупаемости. Жора Крыжовников, Дмитрий Дьяченко и примкнувший к ним  Клим Шипенко — очень хорошие. В России есть минимум два десятка первоклассных режиссеров-профессионалов, которым можно доверить инвестиции и рассчитывать на стабильный успех.

Тем не менее, мы не хотим лишать работы кинокритиков, поэтому тоже отметим важность рейтингов, комментариев и экспертных отзывов, тем более их можно изучать с помощью средств обработки естественного языка и языковых моделей.

Выводы

Инвестиции в российское кино могут быть прибыльными. И для государства, и для частных инвесторов. Если использовать «портфельный принцип» инвестирования — средняя годовая доходность дает, конечно, не «иксы» прибыли как в случае с отдельными картинами, но в рисковом варианте доходить до 139% вполне возможно, как и «повторить» успех «Чебурашки».

Стабильность и предсказуемость кинопроката означает новые возможности и для федеральных целевых программ поддержки кинематографа, и для частно-государственного финансирования, и для эмиссии акций и облигаций российскими кинопроизводителями и кинодистрибьютерами. 

Автор очень надеется, что опытные датасайентисты предложат пути усовершенствования в и поправки в расчётах, начинающие специалисты, школьники и студенты — смогут использовать датасет и материалы репозитория в научных и учебных целях.

Хороших  и успешных в прокате российских кинофильмов!

© Habrahabr.ru