Как измерять качество образования и повышать эффективность EdTech-продуктов: выводы EdCrunch Reload 2022
Мы решили пересмотреть записи с конференции EdCrunch Reload 2022, которые недавно стали доступны на платформе EdCrunch. Наши коллеги — руководитель методической разработки Диана Колесникова и руководитель контента средней и старшей школы Екатерина Суржикова — выступали в двух дискуссиях. Отобрали для вас ключевые тезисы.
Данные и работа с ними в EdTech-компании
Сделать EdTech-продукт еще удобнее и полезнее позволяет анализ пользовательского опыта.
Основой для анализа могут быть данные:
об эффективности образовательной программы и работы преподавателя;
об уровне знаний, прогрессе и познавательной нагрузке учеников;
о поведении пользователя во время использования продукта;
о социально-эмоциональном благополучии пользователя в образовательной среде.
Полезно исследовать, какой формат обучения больше подходит разным ученикам — видео, тексты, комиксы или интерактивные задания.
Чтобы кастомизировать и улучшать EdTech-продукты, международные компании изучают предпочтения пользователей в области контента: какие игры, иллюстрации, стиль им нравятся.
Также важно оценивать уровень знаний учеников перед обучением и в процессе, чтобы предлагать им наиболее подходящий план занятий, отслеживать прогресс и корректировать программу при необходимости.
Существуют трудности, которые препятствуют точному сбору и анализу данных:
бывает сложно определить уровень знаний ученика по гуманитарным предметам: истории, обществознанию, психологии, иностранным языкам — и персонализировать обучение;
в p2t-продуктах, когда ученик занимается один на один с учителем, невозможно автоматически собирать данные о пользовательском опыте;
при работе с большим массивом данных есть риск их неверной интерпретации или попытки выборочного использования для подтверждения той или иной гипотезы.
Важно чтобы данные, полученные от исследователей, доходили до аналитиков в неискаженном виде, и оценивались объективно и непредвзято. Этому способствует дополнительное обучение и повышение квалификации сотрудников, которые работают с данными.
Качество образования: как измерить и возможно ли это в EdTech
Образовательный эффект в школьном self-learning-продукте (каким является платформа Учи.ру) измерить сложно.
Во-первых, если качество измеряется на основе данных от миллионов пользователей, это еще совсем не значит, что продукт будет достаточно качественным для отдельно взятого ребенка.
Во-вторых, важным фактором является мотивация. Если школьник хочет получить знания и улучшить свою успеваемость, то будет максимально использовать возможности курса. Другому ребенку это может быть неинтересно — например, если его посадили заниматься родители или учитель отправил задание. Он будет кликать по вариантам теста наугад, пропускать теоретические справки и, возможно, ничего не запомнит, даже если в курсе дана исчерпывающая информация по теме урока — и об этом вам не скажут стандартные продуктовые метрики.
В-третьих, на образовательный успех школьника влияет множество факторов: как проходят уроки с учителями в школе, насколько родители помогают ребенку, есть ли у него репетиторы и т.д. По сути, EdTech-продукт лишь дополняет общий процесс обучения.
В связи с этим в Учи.ру решили анализировать не качество полученного образования в целом, а качество образовательного опыта, а именно: нравится ли пользователю наша платформа, интересно ли ему с ней взаимодействовать, насколько ему понятно и комфортно заниматься.
Повысить качество образовательного опыта помогает соблюдение госстандартов и анализ пользовательских метрик, поддержка баланса между контентом и геймификацией, использование современных методик обучения.
Очень важным для обучения школьным предметам является соответствие академическим нормам. В Учи.ру для этого проводят предметную экспертизу, следят за обновлениями ФГОС и дополняют курсы, а также помогают повышению квалификации сотрудников, которые занимаются производством контента.
Не менее важно следить за тем, чтобы интерфейс платформы и вид контента был приятным, использование сервисов — интуитивно понятным. Стоит рассматривать все возможные сценарии поведения пользователя в продукте, чтобы точно знать: куда он вероятнее всего нажмет, куда он пойдет после выполнения заданий, что ему может помешать заниматься и так далее.
Здесь же стоит учитывать психофизический фактор — снижение концентрации внимания ученика из-за переизбытка визуальных информационных раздражителей. Поэтому в Учи.ру обращают внимание на соотношение текстовой нагрузки с визуальной и следят за тональностью сообщений, понятностью формулировок, объемами текста.
Также важно изучать тренды EdTech-рынка и сферы образования и использовать те, которые могут быть полезны.
В Учи.ру придерживаются идеи социально-эмоционального благополучия ребенка и стремятся к тому, чтобы во время обучения школьник чувствовал себя комфортно. Анимированные персонажи хвалят ученика за правильные ответы — и отзывы детей доказывают, что им это приятно.
Создавая образовательный продукт для ребенка, каждая компания делает выбор: учить его или помогать ему учиться. То есть стараться не «вложить» в голову ребенка знания, а помочь ему вдохновиться и самостоятельно освоить новую информацию.
Компания дает пользователю возможность выбрать наиболее удобный формат обучения. Это может быть образовательный комикс, тренажер для отработки конкретного навыка или просто курс с интерактивными заданиями для самопроверки.
Чтобы следить за качеством продукта и улучшать наши курсы, в Учи.ру оценивают метрику доходимости (completion rate), анализируют коэффициент удержания (retention) конкретных курсов и платформы в целом.
Конечно же, собирают обратную связь у пользователей и узнают, насколько им понравились отдельные задания и курсы, насколько удобно и легко пользоваться платформой.
Специалисты Учи.ру смотрят и на косвенные метрики. Одна из них — количество обращений в поддержку. Если на платформе возникают технические неполадки или ошибки, их быстро можно выявить по сообщениям клиентов.
Все это в совокупности помогает улучшать образовательный опыт пользователя.
