Как мы сдавали онлайн экзамены в ВУЗах прошли сертификацию, выиграли несколько онлайн олимпиад
В начале года у меня был разговор с моим хорошим другом — студентом одного московского вуза, он рассказал, как в условиях карантина и массовой «удаленки» ему приходится сдавать экзамены. Я узнал новое для себя слово — «прокторинг». Естественно, как человек любопытный, сразу же после беседы полез смотреть, что это за чудо-юдо такое.
Итак, для тех, кому лень гуглить: прокторинг — это наблюдение за экзаменуемым, для предотвращения списывания. К слову следует сказать прокторинг применяется и при обычных экзаменах. Когда у профессора нет желания и возможности тратить время на контроль списывания, и он приглашает на экзамен, либо аспиранта, которому доверяет либо сотрудника кафедры. Оказывается, западных университетах существует такая профессия проктор — это специально обученный человек, который натренирован на то чтобы следить чтобы экзаменуемые не могли воспользоваться каким-либо преимуществом, которое не положено по условию экзамена.
Но в сегодняшних условиях уже несколько месяцев студенты учатся дистанционно, и сессию в большинстве вузов не отменяли экзаменуемый сидит перед веб-камерой, а проктор наблюдает за ним. Одновременно этот человек видит, что у студента на экране компьютера. Если проктору что-то не нравится в поведении экзаменуемого, он выносит ему предупреждение или даже прерывает экзамен.
Если вы думаете, что «поскольку я уже не студент и меня не коснется», не спешите закрывать статью. Прокторинг применяется при сертификации, при прохождении корпоративных курсов. А в связи с переводом их в онлайн формат, даже после снятия эпидемиологических ограничений большинство экзаменов будет переведено в онлайн формат, поскольку это экономически выгодно. Кроме того, системы прокторинга будут применятся в компаниях, которые проводят регулярное обучение сотрудников и тестирование для повышения квалификации или приема на работу.
Дисклеймер: Во всех олимпиадах и сертификациях, в которых мы приняли участие, мы написали организаторам и честно признались, что применяли средства обхода прокторинга и просили исключить нас из списка победителей. Поскольку нашей целью было не выиграть олимпиаду, а обойти прокторинг, а там, где мы удостоверились, что это сделать удалось, мы прекращали сами дальнейшие участие. Мы мне принимали участие во вступительных экзаменах в ВУЗЫ. А сдача сессионных экзаменов лежит на совести студентов, все они были предупреждены что нарушают правила, а мы оказывали только техническую поддержку.
И так в чем заключается онлайн прокторинг? В основе своей это наблюдение за экзаменуемым посредством WEB камеры; контроль звуков в комнате экзаменуемого; и контроль экрана монитора.
Что теоретически может контролироваться с помощью WEB камеры: аномалии в направлении взгляда; закрытие части лица; наличие других лиц в кадре; обнаружение вторичных гаджетов; обнаружение книг и заметок; обнаружение невербальной коммуникации; обнаружение калькулятора (если это не разрешено).
Что теоретически может контролироваться с помощью микрофона: обнаружение человеческого голоса; обнаружение шелеста бумаги.
Контроль экрана монитора обеспечивает — обнаружение переключения монитора; обнаружение широковещательного ПО; обнаружение переключения вкладок в браузере; обнаружение сторонних алгоритмов. При этом часто визуально контролируется панель задач системное время на панели задач, иногда с точностью до секунды, вкладки в браузере, пару раз попросили продемонстрировать диспетчер задач и диспетчер устройств. Но некоторое ПО для прокторинга может мониторить процессы сетевую активность и другие параметры компьютера, но об этом позже.
Прокторинг может проводится непосредственно под контролем присутствием человека это называется синхронный прокторинг. В полуавтоматическом режиме, когда система сама идентифицирует экзаменуемого и фиксирует возможные нарушения, а затем проктор подтверждает или опровергает предположения системы. И автоматический прокторинг, когда контроль и принятие решений обеспечивает система. Еще есть так называемый пост прокторинг, это когда ведётся запись всех активностей во время экзамена и уже затем, просматривается проктором.
Для нас это стало вызовом, сможем ли мы обойти организационные и технические ограничения прокторинга. Первое к чему мы приступили это детальное изучения правил прокторинга. И исходя из правил вырабатывали стратегию поведения. Местами они отличались в основе своей их можно было свести к следующим пунктам.
обеспечить необходимые условия для работы системы прокторинга, в том числе в соответствии с рекомендациями к подготовке рабочего места; Освещенность и чистый рабочий стол.
использовать для идентификации оригинал документа, удостоверяющий личность;
не покидать зону видимости веб-камеры во время выполнения заданий;
при выполнении заданий экзаменуемый по требованию проктора обязуется расположить камеру так, чтобы обеспечить видимость любого места в комнате;
в случае отсутствия технической возможности для реализации вышеуказанного пункта (например, недостаточный угол обзора видеокамеры, встроенной в ноутбук или монитор компьютера) экзаменуемый по требованию проктора обязан показывать лист с решением задания по запросу проктора во время проведения экзамена;
не отключать микрофон и не снижать его уровень чувствительности к звуку во время тестирования;
использовать только одно средство вывода изображения (монитор), одну клавиатуру, одну компьютерную мышь;
участник олимпиады не имеет права предоставлять доступ к компьютеру посторонним лицам во время выполнения заданий заключительного этапа, в том числе посредствам программ для удаленного управления компьютером, вступать в разговоры с третьими лицами, открывать другие вкладки браузера, использовать справочные материалы (книги, записи и т.д.), любые гаджеты (мобильные телефоны, пейджеры, планшеты, умные часы и т.д.), наушники, дополнительные мониторы и компьютерную технику;
не использовать средства виртуализации;
не проговаривать вопросы и задания вслух с уровнем громкости обеспечивающим возможность третьим лицам услышать текст заданий/вопросов;
выполнять инструкции проктора;
немедленно сообщить Проктору о нарушениях правил, произошедших не по вине экзаменатора.
Как видно большинство требований обеспечивается добросовестностью экзаменуемого и трудно проверить их выполнение, поэтому все держится на нашей совести.
Некоторые организации не желали тратить деньги на системы прокторинга и пытались обеспечить контроль посредством систем видео связи Skype или Zoom, некоторые обеспечивали пост прокторинг просили прислать видеофайл с записью экрана и web камеры программой захвата экрана и веб камеры.
Был случай, когда задания были направлены на почтовый ящик экзаменуемого, их под видео в Skype необходимо было скачать решить отсканировать и направить организаторам экзамена. Запись монитора компьютера при этом не велась, но требовалось установить камеру чтобы было видно экзаменуемого, письменный стол, и по возможности экран компьютера. Мы во время экзамена вошли на почтовый ящик экзаменуемого выполнили решения, отсканировали его своим сканером, а потом положили наши сканы в расшаренную папку на компьютер экзаменуемого. Он сделал вид что отсканировал свою работу на своем сканере, а отправил наши уже загруженные сканы. Поскольку контроль почерка не проводился за эту работу мы получили 100 из 100 условных балов. Кода мы связывались с организаторами пытались объяснить, как обошли контроль, было видно, что они нас даже не понимали.
Очень часто прокторинг обеспечивался следующим образом сайт, на котором демонстрируются задания, и браузер просят включить демонстрацию экрана доступ к веб камере и микрофону.
В данном случае нам необходимо было получить задания, которые демонстрировались экзаменуемому. Мы делали скриншоты экрана каждые 10 сек в расшаренную папку, для этого написали простое приложение, которое не видно не в панели задач не в диспетчере задач. Виден процесс, название которого не чем не выделяется. Отследить факт снятия скриншота достаточно сложно, а запретить практически невозможно, тем боле что его можно делать на уровне драйвера. Или воспользоваться картой захвата.
Необходимо было организовать канал обратной связи использовать микронаушник не очень хотелось поскольку мы посчитали «неспортивным». Мы обнаружили что чувствительность нашего микрофона недостаточно хороша чтобы определить некоторые низкочастотные звуки, но при этом проходит все необходимые проверки. Поигравшись чувствительностью микрофона и АЧХ колонки, мы добились того что смогли передать и воспроизвести низкочастотный звук различаемый экзаменуемым, но при этом не фиксируемый микрофоном. Звук при этом так себе, но можно разобрать концепцию решения задачи. Для коммуникации экзаменуемого с помощником использовали обычный беспроводной дверной звонок. Что позволяло коммуницировать в режиме да/нет.
Излишние требования к прокторингу затрудняют работу самих организаторов. Показательным примером была олимпиада по информатике университета одного IT университета. Необходимо было вести запись рабочего экрана и с двух камер с помощью программы OBS. Причем перед началом экзамена необходимо было продемонстрировать подключенное оборудование разрешение монитора и потвердеть то что подключен один монитор, продемонстрировать диспетчер задач. Организаторы потребовали, чтобы время в панели чтобы во время записи панель задач не скрывалась, а системное время показывалось с точностью до секунды, для этого пришлось править реестр. Затем необходимо было этот видео файл размером более 5–6 ГБ загрузить на облачное хранилище и ссылку отправить организаторам. При этом необходимо было подключаться через Zoom, в Zoomе выбрать виртуальную камеру OBS которая передавала видеопоток с двух web камер и захвата экрана. Это вызвало кучу головной боли у организаторов, поскольку настройки программы OBS и правка реестра вызывала огромные проблемы у пользователей несмотря на подробную инструкцию.
Поскольку в ходе олимпиады необходимо было писать код. А человек, который учавствовал не то что не умел программировать он даже печатать нормально не умел. Необходимо было расширить функционал нашего приложения. Суть его заключалась в следующем. Мы, анализируя задания получение со скринов писали код программки в обычный текстовый файл. Затем загружали его в папку на компьютере экзаменуемого. Программка отслеживала нажатия клавиш и в случае комбинации трех заранее выбранных клавиш. Считывала этот файл, а затем по нажатию любой клавиши на клавиатуре выводила на экран нужный символ. От экзаменуемого в данный момент требовалось в лучших традициях голливудских фильмов про хакеров, просто нажимать кнопки на клавиатуре как на пианино. По признанию самого экзаменуемого, самое сложное было в тот момент сдержать улыбку и держать «poker face». В данной олимпиаде мы вошли в топ 5 лучших после чего опять написали организаторам, и все рассказали. На удивление в данном случае нас выслушали с особым вниманием и обещали принять меры.
Стоит сказать, что не всегда удавалось найти понимание. Некоторым очень не нравилось, что их обманули, некоторых случаях нас обвиняли в мошенничестве и обещали пожаловаться в правоохранительные органы.
Далее мы столкнулись с системой examus или «Экзамус» на данный момент — это самая совершенная система прокторинга. Но ее использование вызывает кучу вопросов. Сама система представляет собой расширение, для браузера которое требует доступ к камере микрофону, может вести запись экрана. Анализирует запушённые приложения, подключенное оборудование историю браузера и историю поиска. И требует отключить антивирус на компьютере. По их заявлениям они обладают достаточно серьезными возможностями ИИ для анализа поведения экзаменуемого, анализа его клавиатурного почерка, экзаменуемого и планируют контролировать пульс ЭКГ и другие биометрические параметры. Система требует прав администратора в системе и может залезть куда угодно на компьютере. Она собирает обрабатывает кучу персональных данных.
Следует отметить что examus является закрытой системой нигде не публиковался аудит кода и ее истинные возможности и методы контроля. И даже для ВУЗов не раскрываются ее полный функционал.
Отдельный вопрос вызывает документ о политике приватности программы, в котором содержится абстрактный пункт о возможности »передавать личную информацию при заключении коммерческой сделки»
Студенты ВШЭ выражали претензии, публично заявив о недоверии к ней, и направив ректору просьбу пересмотреть решение об экзаменации через систему «Экзамус». Их недовольство спровоцировали стандарты проведения экзамена и вседозволенность программы. Студентам удалось выйти на связь с директором «Экзамуса». Хотя он и ответил на вопросы, его комментарии почти не внесли ясности. Мониторинг ранее открытых сайтов объяснялся необходимым «для статистики и повышения эффективности работы сайта», а пункт о личных данных оказался якобы обычной практикой IT-компаний, и необходим из-за обязанности передавать данные в правоохранительные органы.
Поскольку в данном случае это были не олимпиады, а сессионные экзамены и за попытку списывания у студента могли бы быть серьезные проблемы. К вопросу подошли максимально серьезно. Мы поставили себя на место прокторов и думали, как и что бы мы контролировали в системе.
Было принято решение не использовать виртуальную машину поскольку программе достаточно легко определить, что она запущенна в виртуальной среде. Так же приняли решение проводить тестирование на чистой только что установленной ОС и после экзамена откатывать ОС к изначальному состоянию.
Поскольку система скорее всего реализует функцию «keylogger», было принято решение отказаться от трюка с клавиатурой. Мы использовали 2 одинаковые радио клавиатуры и мыши, а система видела только радио модуль, а радио модуль реагировал на обе клавиатуры, можно было в соседней комнате набирать текст. Все файлы скриншоты шифровались внутри программки и максимально пережимались и отправлялись на локальный сервер через https со стороны что система общается с роутером. Программка была максимально замаскирована под системное приложение. В этом году мониторинг биоактивности в этом году не проводился. Но мы относимся этим заявлениям максимально серьезно.
В итоге мы успешно сдали все сессионные экзамены в нескольких вузах.
Так же мы без особых проблем прошли прокторинг при Сертификация по Яндекс.Директу., но там система не определяла вообще ни чего и можно было спокойно пользоваться программами удаленного доступа.
Выводы
В интернете очень большое количество маркетинговых статей о том, что прокторинг спасение от списывания, которые ни имеют ничего общего с действительностью если экзаменуемый достаточно заинтересован в успешном результате он сможет обойти практически любую систему.
Для студента данная система добавляет просто огромное количество стресса, помимо самого экзамена заставляет переживать за интернет соединение, работу компьютера, вдруг он посмотрел в окно почесал за ухом, и система приняла это за попытку коммуникации.
Данные системы будут дальше развиваться и применяться поскольку это существенно дешевле чем реальные экзамены.
Я даже боюсь представить каково это сдавать экзамен под детектором лжи.
Планы на будущее
Попробовать применить IP KVM, мы хотели его попробовать сразу, но не успели заказать и оттестировать.
Раздобыть карту захвата, которая не определяется системой и позволяет добавить в видеопоток на монитор собственную информацию попробуем реализовать технологию picture by picture.
Будем разрабатывать собственную клавиатуру, которая бы позволяла обеспечить подключение других систем.
Будем думать, как можно будет подделывать информацию с датчиков ЭКГ и пульса.
Все имена изменены все совпадения случайны.
