Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта07.10.2022 13:17

Разработка образовательного проекта требует тщательного подхода. Чтобы оценить его потенциальную или реальную пользу, необходимо полагаться на анализ метрик эффективности. Они позволяют понять, насколько востребована программа или курс, достигают ли студенты своих целей и как развивается онлайн-школа.

Руководитель отдела управления продуктами Нетологии Дарья Панфилова рассказала о главных метриках, которыми необходимо руководствоваться.

Основные метрики образовательного проекта

Доля студентов, которые с помощью обучения достигли поставленных перед собой целей. Это самая главная метрика для оценки эффективности образовательного проекта. Чтобы измерить пользу курса или программы, необходимо понять, насколько студенты приблизились к поставленной перед собой цели. Для этого нужно узнать о ней у слушателей в начале обучения, а потом измерить прогресс её достижения и актуальность.

Обычно студенты ставят перед собой следующие цели:

• найти работу по новой профессии;
• развиваться в текущей профессии;
• найти новые проекты или попробовать фриланс;
• получить возможность саморазвития;
• создать или усилить портфолио.

Главная цель аудитории Нетологии — смена работы или карьерный рост. Если процент трудоустроенных выпускников высокий, значит, наши продукты эффективны и мы идём верным путём.

COR (Completion Rate) — это процент студентов, которые успешно завершили обучение. Его измеряют в конце курса. Чтобы посчитать доходимость до финала, нужно взять число тех, кто получил диплом, и поделить его на количество студентов на старте.

Если не брать в расчёт форс-мажоры, студенты бросают обучение по двум причинам: учиться слишком сложно или учиться слишком легко. Сложности возникают, когда учащиеся не понимают материал, не справляются со слишком объёмными домашними заданиями и чувствуют свою несостоятельность. Лёгкость обучения становится препятствием, когда материалы кажутся поверхностными и очевидными, слушатели не понимают, как применять их на практике, и не хотят тратить на обучение время.

CSAT (Customer Satisfaction) — индекс удовлетворённости пользователей. Его можно измерять в общем, но эффективнее отслеживать качество на маленьких этапах взаимодействия и по конкретным направлениям. CSAT позволяет узнать, какие элементы курса получились лучше всего, а какие стоит доработать.

Так, индекс удовлетворённости поможет узнать, насколько высоко студенты оценивают форматы теоретических и практических занятий, а также домашних заданий, качество образовательного контента и работу экспертов, сопровождение кураторами и тьюторами.

CSAT представляет собой оценку любого взаимодействия пользователя с сервисом, товаром или услугой. Шкала может быть разной: от 1 до 10 или ответ в формате «да/нет». В Нетологии используется оценка с помощью эмоджи. Перед студентом есть плашка с пятью лицами, выражающими разные эмоции. Он должен выбрать ту, которая лучше отражает его ощущения.

Система оценки в личном кабинете студентов Нетологии

CSAT есть смысл собирать после каждого взаимодействия со студентом: проведённого вебинара, завершённого модуля курса, общения со службой продаж.

Дополнительные метрики образовательного проекта

Не стоит ограничиваться только общими метриками. Для лучшего понимания эффективности программы или курса советуем использовать следующие дополнительные, но важные.

Возврат денег за курс. Если курс не соответствует ожиданиям студента настолько, что он оформляет возврат денег, стоит ещё раз проанализировать целевую аудиторию и причины, по которым человек попал на неподходящий ему курс. Нужно подумать, что могло повлиять на решение отказаться от обучения — и что следует учесть, чтобы сократить возвраты в будущем. Особое внимание этой метрике стоит уделить, если показатель высокий или растёт.

Отток студентов. Студенты могут бросить обучение в самом начале, на экваторе или ближе к концу. Эта метрика позволяет отследить, на каком этапе студенты сталкиваются со сложностями — и проанализировать причины. Стоить обратить внимание на «тихие возвраты» — в отличие от обычных возвратов, эти студенты не скажут, что не так, они просто перестают учиться.

Нагрузка в процессе обучения. Метрика отражает, насколько тяжело студентам может быть в процессе обучения. Этот показатель измеряется тем, какая у курса плановая нагрузка, сколько времени студенты тратят на обучение фактически и есть ли разница между фактом и планом.

Скорость выполнения практических заданий. Помогает выяснить, на какие задачи студент тратит день-два, а на какие — неделю-две, и скорректировать перепады нагрузки.

 Скорость обратной связи от экспертов и оценка их качества. Для измерения смотрим, как быстро эксперт проверяет домашние задания и отвечает на вопросы студентов, насколько студентам понравился ответ эксперта.

Скорость обратной связи от техподдержки. То, на что студенты всегда обращают внимание. Это может повлиять на отношение к конкретному курсу и школе в целом.

NPS (Net Promoter Score) — индекс лояльности пользователей. Он позволяет оценить, насколько пользователь готов порекомендовать нас своим друзьям и знакомым.

Для подсчёта NPS необходимо попросить выпускников оценить по шкале от 1 до 10, с какой вероятностью они порекомендует сервис, товар или услугу друзьям или знакомым. Метрика рассчитывается как разница между долей сторонников и критиков: от количества сторонников — тех, кто выбрал цифры от 9 до 10, — отнимаем количество критиков — выбравших цифры от 1 до 6. Нейтрально настроенных к обучению выпускников, которые отметили 7‒8, в расчёт не берём.

Его измеряют примерно на середине обучения.

 курс

Запуск и продюсирование онлайн-курсов

Узнать больше

• Научитесь с нуля запускать востребованные онлайн-курсы
• Отработаете реальные задачи руководителя онлайн-проекта
• Сможете продюсировать проекты уже через 3,5 месяца обучения

Основные бизнес-метрики образовательного проекта

У студентов и продюсеров с методистами свои критерии эффективности. Но важно учитывать ещё и бизнес-показатели. Средний чек, количество покупок, количество новых пользователей, количество людей, пришедших по рекомендациям, и количество людей, которые нас порекомендовали, — этими метриками пользуются компании самых разных направлений. Разберём, как можно влиять на них в образовательном проекте.

Средний чек. Повысить средний чек можно, например, за счёт увеличения ценности предложения — дополнительных опций, включённых в стоимость, или за счёт комплексного предложения, или за счёт гибких тарифов. Например, сжатый формат интенсива или факультативные занятия с ментором.

Добавив ценности, можно обусловить разницу в цене по отношению к конкурентам.

LTV (Lifetime Value) — количество покупок на пользователя. Увеличить этот показатель поможет практика допродаж — при покупке курса можно предложить студенту дополнительный модуль по сниженной цене. Хорошо работают и рекомендательные системы, когда клиент получает скидку на продукт, если его друзья или знакомые совершают покупки в той же компании.

В образовательном проекте рост количества покупок — долгий процесс. Новый клиент не всегда готов покупать много и сразу. Часто требуется постепенный прогрев аудитории полезным контентом: потенциальный студент знакомится с брендом, читает email-рассылки, интересуется отзывами и лишь потом совершает покупку.

Количество новых пользователей. Новые пользователи появляются благодаря конверсии из числа заявок, а заявки — это конверсия из трафика с сайта и других каналов. То есть улучшить этот показатель можно, обеспечив бóльшую конверсию из трафика в заявки. В этом поможет усиленная работа отдела продаж, дополнительные скидки, промокоды и акции.

Количество людей, пришедших по рекомендациям и количество людей, которые вас порекомендовали. Эта метрика показывает, насколько в целом студент удовлетворён продуктом, насколько ему понравилось обучение.Тут важно смотреть не на желание порекомендовать, а на реальные рекомендации — и на каком этапе обучения они возникли.

На количество людей, пришедших по рекомендациям, влияют и брендовые активности: кто-то от кого-то где-то слышал, что Нетология — супер. Также тут хорошо может сработать реферальная программа — когда человек может получить скидку на оплату курса, перейдя по специальной ссылке от нынешнего студента или выпускника школы.

Ключевые правила работы с метриками

При работе с метриками необходимо соблюдать три главных правила:

Собирайте данные регулярно. Ни одна из метрик не даст нужной информации, если проводить исследования от случая к случаю. Важно отслеживать динамику и смотреть, как меняются показатели. Постоянный сбор обратной связи и своевременный мониторинг ситуации во время обучения помогут избежать случаев, когда студенты в финале обучения сообщают, что с курсом что-то не так. К тому моменту менять что-то будет уже поздно.

Учитывайте, что любая метрика должна вести к увеличению прибыли. Или чему-то осязаемому. Рекомендуем в деньгах измерять каждую метрику в связке с потенциальными выгодами. Важна одинаково тщательная работа и со старой, и с новой базой клиентов, в частности, с помощью дополнительной монетизации продукта, реферальной программы, новых бизнес-моделей. Например, можно предложить тем, кто сейчас учится, занятия с менторами, дополнительные домашние задания по какой-то теме или какие-то бонусы за рекомендации.

Используйте данные для решения судьбы программы или курса. Исследование обратной связи и метрик должно помочь с решением о том, убрать курс, оставить его в неизменном виде или поменять его формат, части его компонентов и промежуток между наборами.

Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.