Проверка компетенций с помощью тестов – почему и как
В своей статье я рассматривал 7 способов быстрой проверки компетенций IT-специалистов, которые можно применить до проведения большого, объемного и трудоемкого технического собеседования. Тогда я выразил свою симпатию тестам, ограниченным по времени. В этой статье я раскрою тему тестов более подробно.
Тесты, ограниченные по времени — это универсальный инструмент, который хорошо подходит для проверки знаний и практических навыков любых специалистов любых профессий.
Итак, задача — у нас есть поток откликов кандидатов на вакансию, нам нужно быстро и просто получить дополнительную информацию о навыках кандидатов и их соответствии требованиям нашей вакансии. Мы хотим, чтобы такая проверка компетенций кандидатов не отнимала у нас много времени, была достоверной в высокой степени и была удобна кандидатам, чтобы они соглашались проходить нашу проверку.
Хорошим решением для этой задачи являются короткие тесты, ограниченные по времени прохождения. Ограничивается не момент начала прохождения теста, а время, в течение которого кандидат должен ответить на вопросы. Типичный пример такого теста — это экзамен на знания правил дорожного движения, являющийся первым этапом экзамена для получения водительского удостоверения. За 20 минут нужно ответить на 20 вопросов.
Немного теории
В предыдущей статье я рассказал о гибридной модели принятия решений «человеком разумным», предложенной Даниэлем Канеманом и его коллегами. Согласно этой концепции, поведение человека управляется двумя взаимодействующими системами принятия решений. Система 1 — быстрая и автоматическая, обеспечивает безопасность организма и не требует существенных усилий для формирования решения. Эта система обучается на основе опыта, который получает человек в течение жизни. Точность решений этой системы зависит от личного опыта и тренировки, а скорость — зависит от особенностей нервной системы индивидуума. Система 2 — медленная, требует усилий и концентрации внимания. Она обеспечивает нам сложные рассуждения и логический вывод, ее работа раскрывает потенциал интеллекта человека. Однако, при работе этой системы усиленно потребляются ресурсы — энергия и внимание. Поэтому большая часть решений принимается Системой 1 — так поведение человека становится намного эффективнее. Система 1 достаточно долго обучается за счет усилий, совершаемых Системой 2, зато потом дает быстрые автоматические реакции. Система 2 — универсальный решатель задач, но работает медленно и быстро утомляется. «Прокачать» Систему 2 можно, но пределы возможных улучшений очень скромные и это долго и требует тяжелых усилий. Большим спросом в человеческом обществе пользуется «прокачка» Системы 1. Когда мы ищем человека, опытного в чем-либо, это означает, что его Система 1 обучена быстро решать нужные нам задачи.
Наилучшим способом оценки возможностей Системы 1 конкретного человека в определенной области знаний я считаю тесты, ограниченные по времени прохождения. Однажды составленный тест позволяет быстро оценивать и сравнивать между собой большое количество кандидатов. Это инструмент оцифровки контроля знаний и навыков.
Как сделать хороший тест?
Задача хорошо составленного теста заключается в определении степени натренированности Системы 1 кандидата на нужные вам знания и навыки. Чтобы составить такой тест, нужно для начала определиться с темами и необходимыми навыками, а затем составить вопросы и варианты ответов.
Итак, вот мои критерии подготовки теста, точно и качественно оценивающего знания и навыки кандидата:
- Вопросы и варианты ответов должны быть простыми. Либо ты знаешь правильный ответ, либо не знаешь. Не стоит закладывать в тест необходимость сложных рассуждений и вычислений.
- Выполнение теста должно быть ограниченно по времени. Можно даже ограничить время обдумывания каждого ответа. Если кандидат не может определиться с ответом в течение, скажем, 30 секунд, то вряд ли ему помогут долгие раздумья. Нагуглить правильный ответ за 30 секунд тоже должно быть трудно.
- Вопросы должны быть о практиках, которые реально нужны в работе — не абстрактные и теоретические, а сугубо практические.
- Желательно, чтобы по каждой маленькой теме было несколько вопросов. Эти вопросы могут меняться для разных кандидатов (это аналогично разным вариантам контрольных работ в школе) или же все присутствовать в более долгом варианте теста.
- Количество вопросов и время на прохождение теста должны быть жестко связаны. Замерьте сколько времени занимает прочтение вопросов и вариантов ответов. Добавьте к этому времени по 10–20 секунд на каждый вопрос — это время на обдумывание и выбор ответа.
- Желательно опробовать тест на ваших сотрудниках и засечь их время прохождения, чтобы определиться с достаточным временем на прохождение теста кандидатами.
- Объем теста зависит от целей его применения. Для первичной оценки компетенций, по моему мнению, достаточно 10–30 вопросов с ограничением времени прохождения — 5–15 минут. Для более подробной диагностики навыков подходят тесты на 30–45 минут, содержащие 50–100 вопросов.
Для примера — вот тест, который я разработал и использовал недавно при отборе кандидатов на позицию IT-рекрутера. На прохождение теста отводилось 6 минут, время контролировалось вручную и под честное слово. Все из протестированных кандидатов укладывались в это время. На составление теста у меня ушло 30 минут. docs.google.com/forms/d/e/1FAIpQLSfL2pUZob2Xq-1taJPwaB2rUifbdKWK4Mk0VREKp5yUZhTQXA/viewform
Вы можете пройти тест и по окончании вы сможете посмотреть, где допустили ошибку. Когда этот тест проходили кандидаты, им ошибки не показывались, ошибки мы разбирали потом на собеседованиях с кандидатами, которые допустили не более 3-х ошибок.
Инструменты
Сейчас я создаю тесты и опросы с помощью Google Forms — это простой, удобный, универсальный и бесплатный инструмент. Однако, мне не хватает некоторого функционала для того, чтобы назвать Google Forms хорошим инструментом для создания тестов. Основные мои претензии к Google Forms:
- Отсутствует учет и контроль времени, затраченного как на весь тест, так и на каждый вопрос. Это дает больше информации о поведении кандидата во время прохождения теста.
- Так как Google Forms не заточен под тесты по умолчанию, многие важные для тестов опции (например, «ответ на вопрос обязателен» и «перемешивать ответы») приходится «прокликивать» для каждого вопроса — что требует времени и внимания. Чтобы каждый вопрос задавался на отдельном экране, нужно создать отдельные секции для каждого вопроса, а это тоже приводит к большому числу дополнительных кликов.
- Если нужно сделать новый тест как комбинацию фрагментов из нескольких уже существующих тестов (например, тест для fullstack разработчика собрать из части вопросов для frontend и backеnd на определенном языке), то приходится дублировать вопросы руками. Нет возможности выделить и скопировать несколько секций или вопросов в другую форму.
Коллеги, если вы знаете лучшие решения для создания тестов, пожалуйста, напишите о них в комментариях.
