[Перевод] Планка найма для инженеров: что это за зверь?14.09.2020 07:03

Последние пять лет Рекурсивный Кактус трудился фулстек-разработчиком в топовой технологической компании, но сейчас решил сменить работу.

За последние полгода Рекурсивный Кактус (так он представился при регистрации на нашем сайте) готовился к будущим собеседованиям, выделяя каждую неделю минимум 20–30 часов на упражнения LeetCode, учебники по алгоритмам и, конечно, практику интервью на нашей платформе для оценки своего прогресса.

Но чрезмерные усилия по подготовке к интервью эмоционально сказалась на нём, на его друзьях и семье. Учёба до такой степени съела всё личное время, что у него практически не осталось никакой жизни, кроме работы и подготовки к интервью.

Одна мысль не даёт уснуть: «Что, если я не пройду собеседование? Что, если всё это время было потрачено напрасно?»

Все мы когда-то искали работу, и многие переживали такое состояние. Но почему Рекурсивный Кактус тратит столько времени на подготовку и в чём причина этого разочарования?

Он чувствует, что не соответствует высокой планке для инженеров, тому общепринятому минимальному уровню компетентности, который должен демонстрировать каждый инженер, чтобы получить работу.

Чтобы соответствовать планке, он выбрал конкретную тактику: соответствовать общепринятым ожиданиям для инженера, а не просто быть тем профессионалом, которым является в реальности.

Кажется глупым намеренно притворяться кем-то, кем ты не являешься. Но если мы хотим понять поведение Рекурсивного Кактуса, желательно разобраться, что же это за планка такая. И если немного подумать на эту тему, то кажется, что у неё нет такого чёткого определения.

Давайте посмотрим, как компании FAANG (Facebook, Amazon, Apple, Netflix, Google) определяют «планку». В конце концов, именно к этим компаниям приковано наибольшее внимание практически всех, включая соискателей.

Лишь немногие из них раскрывают конкретные детали о процессе найма. Apple публично не делится никакой информацией. Facebook описывает этапы собеседования, но не критерии оценки. Netflix и Amazon говорят, что нанимают кандидатов, которые соответствуют их культуре работы и принципам лидерства. Ни Netflix, ни Amazon не описывают точно, как они оценивают соответствующие принципы. Однако Amazon действительно рассказывает, как проводятся интервью, а также называет темы, которые могут обсуждаться на собеседованиях для разработчиков.

Самая прозрачный из крупных компаний Google публично раскрывает свой процесс интервью в малейших подробностях, а книга Ласло Бока «Работа рулит!» добавляет инсайдерских деталей.

Говоря о технологических гигантах в исторической перспективе, Алина (наш основатель) в прошлом посте упомянула книгу 2003 года «Как сдвинуть гору Фудзи?», которая рассказывает о процессе собеседований в Microsoft в то время, когда эта компания была выдающимся технологическим гигантом.

Чтобы собрать дополнительную информацию, как компании оценивают кандидатов, я также изучил «Взлом собеседований по программированию» Гейла Лакманна Макдауэлла, это фактически Библия по интервью для потенциальных кандидатов, а также «Партизанское руководство по интервьюированию 3.0» Джоэла Спольски, написанное влиятельной и хорошо известной фигурой в технических кругах.

Определения «планки»

Неудивительно, что программирование и технические знания входят в число критериев для найма разработчика в любой компании. В конце концов, это и есть работа.

Но кроме этого, многие упоминают критерий общего интеллекта. Хотя они используют разные слова и определяют термины немного по-разному, все указывают на некоторое понятие того, что психологи называют «когнитивными способностями».

Все эти определения напоминают теорию психолога начала XIX века Чарльза Спирмена, самую общепринятую теорию интеллекта. Проведя серию когнитивных тестов на школьниках, Спирмен обнаружил, что те, кто хорошо справлялся с одним типом теста, как правило, также хорошо справлялись и с другими тестами. Это понимание привело Спирмена к теории, что существует единый базовый общий фактор способностей («g» или «g-фактор»), влияющий на все показатели, независимо от конкретных, специфичных для данной задачи способностей («s»).

Если вы верите в существование «g» (многие верят, некоторые нет… есть разные теории интеллекта), то поиск кандидатов с высокими показателями «g» чётко согласуется с критериями интеллекта в компаниях.

В то время как компании учитывают и другие критерии, такие как лидерство и культура, планка обычно не определяется в этих терминах. Планка определяется как владение техническими навыками, а также (и, возможно, в большей степени) наличие общего интеллекта. В конце концов, кандидаты обычно не тренируют своё лидерство и культуру.

Тогда возникает вопрос, как это измерить. Измерение технических навыков кажется трудным, но выполнимым, но как измерить «g»?

В книге Бока упоминается статья Фрэнка Шмидта и Джона Хантера 1998 года «Обоснованность и полезность методов отбора в психологии персонала». Она пытается ответить на этот вопрос, анализируя широкий спектр из 19 критериев отбора кандидатов. Задача в том, чтобы определить, какие из них лучше всего предсказывают будущие результаты работы. Авторы пришли к выводу, что общие умственные способности (тест GMA) лучше всего предсказывают производительность труда («прогностическая валидность»).

В этом исследовании тест GMA считается тестом IQ. Но Microsoft примерно в 2003 году использовала для оценки IQ головоломки вроде «Сколько в мире настройщиков пианино?». Их объяснение:

«В Microsoft, а теперь и во многих других компаниях полагают, что есть связь между логикой и рассуждениями, используемыми при решении головоломок, и мыслительными процессами, необходимыми для реальной инновационной работы в условиях быстро меняющегося рынка. И кандидат, решающий головоломки, и профессионал, ищущий новое техническое решение, должны уметь выделить наиболее существенные элементы в запутанной и неопределённой ситуации»

— «Как сдвинуть гору Фудзи?», стр. 20

Перенесёмся в сегодняшний день. Google осуждает эту практику, заключая, что «производительность по такого рода вопросам в лучшем случае является дискретным навыком, который может быть улучшен с помощью тренировки, так что он не приносит никакой пользы при оценке кандидатов».

Итак, у нас есть две компании, которые проверяют общий интеллект, но которые принципиально не согласны с тем, как его измерять.

Но может быть, как утверждали Спольски и Макдауэлл, традиционные алгоритмические и компьютерные вопросы на интервью сами по себе являются эффективными тестами на общий интеллект. Исследование Хантера и Шмидта содержат некоторые подтверждения этой теории. Среди всех однокритериальных инструментов оценки наибольшей прогностической валидностью обладали тесты с образцами работы. Кроме того, при изучении самого высокого результата регрессии валидности двухкритериального инструмента оценки (тест GMA плюс тест с образцом работы) стандартизированный размер эффекта на оценку рабочей выборки оказался больше, чем у рейтинга GMA, что свидетельствует о более сильной связи с будущей производительностью кандидата.

Исследование предполагает, что традиционные интервью по алгоритмам предсказывают будущую производительность, возможно, даже больше, чем тест GMA/IQ.

Рекурсивный Кактус не верит, что такая связь есть:

«Есть небольшое совпадение между знаниями, полученными на работе, и решением алгоритмических задач. Большинство инженеров редко имеют дело с графами или динамическим программированием. В прикладном программировании наиболее распространёнными структурами данных являются списки и словарные объекты. Однако вопросы интервью, связанные с ними, часто рассматриваются как тривиальные, поэтому основное внимание уделяется другим категориям проблем»

По его мнению, вопросы алгоритмов похожи на вопросы-головоломки от Microsoft: вы изучаете задачки с собеседований, которые никогда не встретите в реальной повседневной работе. Если так, то это на самом деле не соответствует исследованию Хантера и Шмидта.

Несмотря на личные убеждения Рекурсивного Кактуса, интервьюеры вроде Спольски по-прежнему считают, что эти навыки чрезвычайно важны для продуктивного программиста.

«Многие программисты в наши дни склонны считать рекурсию, указатели и даже структуры данных глупыми деталями реализации, которые абстрагированы в современных языках программирования: «Когда ты последний раз писал алгоритм сортировки?» — хихикают они.

Впрочем, мне всё равно. Я хочу, чтобы мой врач скорой помощи разбирался в анатомии, даже если он должен всего лишь поставить компьютеризированные дефибрилляторы на моей груди и нажать большую красную кнопку. И я хочу, чтобы программисты знали программирование вплоть до уровня процессора, даже если Ruby on Rails действительно читает ваши мысли и в три щелчка мыши создаёт готовый сервис Веб 2.0».

— Джоэл Спольски

Спольски допускает, что традиционные технические вопросы на интервью не могут имитировать реальные рабочие проблемы. Скорее они проверяют общие способности к информатике, которые общие в некотором смысле, но специфические в других отношениях. Можно сказать, что это общий интеллект в определённой области.

Таким образом, если вы не верите, что компьютерный интеллект — это и есть общий интеллект, то Макдауэлл предлагает следующее:

«Есть ещё одна причина, почему обсуждаются знания структур данных и алгоритмов: потому что трудно найти вопросы для решения проблем, которые не связаны с ними. Оказывается, что подавляющее большинство вопросов, связанных с решением проблем, включает в себя некоторые из этих основ»

— Гейл Лакманн Макдауэлл

Это может быть правдой, если смотреть на мир через призму компьютерных наук. Тем не менее, будет несправедливо полагать, что у непрограммистов возникает больше трудностей в решении проблем.

На данный момент мы не говорим об измерении общего интеллекта, как его первоначально определил Спирмен. Скорее, мы говорим о специфическом интеллекте, определяемом или распространяемом теми, кто вырос или участвует в традиционном компьютерном образовании, в объединении с общим интеллектом (Спольски, Макдауэлл, Билл Гейтс из Microsoft и четыре из пяти основателей FAANG изучали компьютерные науки либо в каком-то университете Лиги плюща, либо в Стэнфорде).

Возможно, говоря о планке, мы в действительности имеем в виду нечто субъективное, зависящее от того, кто делает измерение, и это определение различается от человека к человеку.

Эту гипотезу подтверждают оценки, которые кандидаты получают от интервьюеров на нашей платформе.

На нашей платформе interviewing.io люди тренируются в прохождении технических интервью онлайн, с интервьюерами из ведущих компаний, и анонимно. Вопросы для интервью аналогичны тем, какие вы можете услышать во время телефонного скрининга на позицию разработчика бэкенда, а интервьюеры обычно приходят из таких компаний, как Google, Facebook, Dropbox, Airbnb и др. Вот примеры таких собеседований. После каждого собеседования интервьюеры оценивают кандидатов по нескольким параметрам: технические навыки, коммуникативные навыки и навыки решения проблем по шкале от 1 до 4, где 1 — «плохо», а 4 — «восхитительно!». Так выглядит форма обратной связи:

Если вы уверенно себя чувствуете, то можете пропустить тренировки и подать заявку на настоящее интервью непосредственно с нашими компаниями-партнёрами (подробнее об этом чуть позже).

Наблюдая за самыми активными интервьюерами, мы заметили разницу в проценте кандидатов, которых бы нанял этот человек («коэффициент прохождения»). Этот коэффициент колеблется от 30% до 60%. Некоторые интервьюеры кажутся гораздо жёстче, чем другие.

Поскольку интервьюируемые и интервьюеры анонимны и подбираются случайным образом[1], мы не ожидаем, что качество кандидатов сильно различается между интервьюерами. Поэтому качество интервьюируемых не должно быть причиной этого феномена. Однако даже с учётом таких атрибутов кандидата, как опыт, всё равно сохраняется разница в коэффициенте прохождения у разных интервьюеров[2].

Может быть, некоторые интервьюеры намеренно строги, потому что их планка выше. Хотя кандидаты, которые попали на более строгих интервьюеров, получают более низкие оценки, но обычно они лучше проявляет себя на следующем интервью.

Этот результат можно интерпретировать несколькими способами:

• Более строгие интервьюеры систематически недооценивают кандидатов
  
• Кандидаты настолько измучены строгими интервьюерами, что склонны совершенствоваться между собеседованиями, стремясь соответствовать более высокой планке первоначального интервьюера

Если последнее правда, то кандидаты, которые тренировались с более строгими интервьюерами, должны лучше проявить себя в реальных интервью. Однако мы не обнаружили корреляции между строгостью интервьюера и скоростью прохождения будущих реальных интервью на нашей платформе[3].

Интервьюеры на нашей платформе представляют те типы людей, с которыми кандидат столкнулся бы в реальном интервью, поскольку те же самые люди проводят телефонный скрининг и личные интервью в реальных технологических компаниях. И поскольку мы не диктуем методику собеседований, то эти графики также показывают распределение мнений о результатах вашего интервью, как только вы повесите трубку или покинете офис.

Это говорит о том, что независимо от ваших реальных ответов, шансы получить работу реально зависят от того, с кем конкретно вы проходите собеседование. Другими словами, планка субъективна.

Это различие между интервьюерами заставило нас пересмотреть собственное определение планки, которое фильтрует кандидатов при допуске к интервью с нашими компаниями-партнёрами. Наше определение сильно напоминало бинарные критерии Спольски («будь умным»), переоценивая мнение интервьюера и недооценивая остальные три критерия, что привело к бимодальному, верблюжьему распределению, которое показано на диаграмме ниже.

Хотя существующая система подсчёта баллов достаточно хорошо коррелирует с результатами будущих интервью, мы выяснили, что оценка интервьюера не так сильно коррелирует с будущими результатами, как другие наши критерии. Мы уменьшили её вес, что в итоге повысило точность прогнозирования[4]. Как в фильме «Рики Бобби: Король дороги» Рики Бобби узнал, что кроме первого и последнего есть и другие места в гонке, так же и мы узнали, что полезно выйти за пределы бинарной конструкции «нанять − не нанять», или, если хотите, «умный − не умный».

Конечно, мы не смогли полностью избавиться от субъективности, поскольку другие критерии тоже определяются интервьюером. И именно это затрудняет оценку: оценка интервьюера сама по себе является мерой способностей кандидата.

В такой ситуации точность каждого конкретного измерения становится менее определённой. Это похоже на то, как если бы интервьюеры использовали для измерения палочки разной длины, но все считали, что длина их собственной палочки известна, скажем, один метр.

Когда мы поговорили с нашими интервьюерами по поводу оценки кандидатов, то теория о палочках разной длины подтвердилась. Вот несколько примеров того, как интервьюеры оценивают кандидатов:

• Задать два вопроса. Если ответит на оба, то тест пройден
  
• Задавать вопросы разной сложности (лёгкие, средние, трудные). Если ответит на средний, то тест пройден
  
• Большое значение имеет скорость ответа. Тест пройден, если ответы быстрые (понятие «быстрые» чётко не определено)
  
• Скорость не имеет большого значения. Тест пройден, если есть рабочее решение
  
• Кандидаты начинают с максимальной оценки. За каждую ошибку снимаются баллы

Разные критерии оценки — не обязательно плохо (и на самом деле совершенно нормально). Просто они вносят большой разброс в наши измерения, то есть оценки кандидатов получаются не совсем точными.

Проблема в том, что, когда кто-то говорит о планке, он обычно игнорирует неопределённость в измерениях.

Часто советуют нанимать только кандидатов высочайшего уровня.

«Хорошее эмпирическое правило — нанимать только тех, кто лучше вас. Без компромиссов. Всегда»

— Ласло Бок

«Не снижайте своих стандартов, как бы трудно ни было найти этих замечательных кандидатов»

— Джоэл Спольски

«В подразделении Macintosh у нас была поговорка: «Игрок А нанимает игроков А; игроки B нанимают игроков C» — это означает, что отличные сотрудники тоже нанимают отличных»

— Гай Кавасаки

«Каждый нанятый сотрудник должен быть лучше, чем 50% тех, кто в настоящее время выполняет аналогичные роли — это поднимает планку»

— сообщение в блоге программы Bar Raiser в Amazon

Всё это хорошие советы. Однако они предполагают, что «качество» можно надёжно измерить. Но мы уже видели, что это не всегда так.

Даже когда упоминается неопределённость, дисперсия приписывается способностям кандидата, а не процессу измерения или интервьюеру.

«В середине находится большое количество «потенциально полезных» сотрудников, которые вроде бы могут вносить свой вклад в общее дело. Главное — отличить суперзвёзд от этих «потенциально полезных», поскольку вы не хотите нанять ни одного «потенциально полезного». Никогда.
…
Если вам трудно определиться, есть очень простое решение. НЕ НАНИМАТЬ НИКОГО. Просто не нанимайте тех, в ком не уверены»

— Джоэл Спольски

Оценка кандидатов не является полностью детерминированным процессом, но многие считают её таковой.
Фраза «компромисс по качеству» на самом деле означает не компромисс, а принятие решений в условиях неопределённости. И как видно из цитат выше, обычная стратегия заключается в том, чтобы нанимать только тогда, когда есть абсолютная уверенность.

Независимо от того, какая у вас измерительная палочка, это приводит к поднятию планки действительно высоко. Быть полностью уверенным в кандидате означает свести к минимуму возможность неудачного найма («ложные срабатывания»). И компании делают всё возможное, чтобы избежать его.

«Плохой кандидат обходится очень дорого, учитывая время, потраченное на исправление всех его ошибок. Увольнение ошибочно нанятого сотрудника может занять месяцы и стать настоящим кошмаром, особенно если он решит судиться по этому поводу»

— Джоэл Спольски

Хантер и Шмидт подсчитали цену плохого найма: «Стандартное отклонение… составляет минимум 40% от средней годовой зарплаты», что в сегодняшних условиях соответствует $40 000, если предположить, что средняя зарплата инженера составляет $100 000.

Но если установить планку слишком высоко, есть вероятность, что вы пропустите несколько хороших кандидатов (ложноотрицательные срабатывания). Макдауэлл объясняет, почему компании на самом деле не против большого количества ложнотрицательных срабатываний:

«С точки зрения компании, действительно приемлемо отвергать некоторое количество хороших кандидатов… они готовы смириться с этим. Конечно, они предпочли бы этого не делать, поскольку это повышает расходы на HR. Но это приемлемый компромисс при условии, что к ним по-прежнему поступает достаточное количество хороших кандидатов».

Другими словами, стоит подождать лучшего кандидата, если разница в ожидаемом результате велика по сравнению с затратами на рекрутинг от продолжения поиска. Кроме того, затраты на кадровые и юридические вопросы от потенциально проблемных сотрудников также подталкивают к максимальному повышению планки.

Выглядит как весьма рациональный расчёт затрат и прибыли. Но кто-нибудь в реальности делал такой расчёт в цифрах? Если так, мы будем рады вас услышать. Но он кажется очень трудным на практике.

Поскольку все расчёты делаются на глаз, мы можем сделать то же самое и привести аргументы в пользу того, что планку не следует устанавливать так высоко.

Как упоминалось ранее, распределение способностей кандидатов не бинарное, поэтому кошмарный сценарий от Спольски произойдёт не со всеми якобы «плохими» наймами, то есть ожидаемая разница в производительности между «хорошими» и «плохими» сотрудниками может быть меньше, чем предполагалось.

С другой стороны, затраты на рекрутинг могут оказаться выше, чем предполагалось, потому что кандидатов становится всё труднее подбирать по мере роста их квалификации. По определению, чем выше планка — тем меньше таких людей. Расчёт ущерба от «плохого найма» Шмидта и Хантера сравнивает кандидатов только в пределах пула. Исследование не учитывает относительную стоимость привлечения высококачественных кандидатов в пул, а это серьёзная проблема для многих технических рекрутинговых команд в наше время. А если другие IT-компании используют ту же стратегию найма, то конкуренция увеличивает среднюю вероятность, что кандидат отклонит предложение. Это увеличивает время на заполнение вакансии.

Подводя итог, если ожидаемый результат между «хорошими» и «плохими» кандидатами меньше, чем ожидался, а затраты на рекрутинг выше, чем ожидались, то логично понизить планку.

Даже если компания наняла неэффективного сотрудника, она может использовать инструменты обучения и управления персоналом, чтобы смягчить негативные последствия. В конце концов, продуктивность человека действительно растёт со временем, он приобретает новые навыки и знания.

Однако при найме редко думают о развитии сотрудников (Ласло Бок местами упоминает об этом, но в основном эти темы обсуждаются отдельно друг от друга). Но если всё-таки учесть его, то между наймом и развитием сотрудников можно установить связь. Можно рассуждать о разных методах повышения эффективности труда: или оплата обучения существующих сотрудников, или найм новых.

Вы даже можете считать это компромиссом. Вместо того, чтобы развивать сотрудников внутри компании, почему бы не передать это развитие на аутсорсинг? Пусть другие выясняют, как развивать необработанные таланты, а вы позже заплатите рекрутерам, чтобы они нашли уже готовых профессионалов. Зачем закупаться в продуктовом отделе Whole Foods и готовить дома, когда вы можете заплатить за доставку готовых блюд? Зачем тратить время на управление и обучение, если вы можете заняться реальной работой (т. е. инженерными задачами)?

Возможно, планка установлена так высоко, потому что компании не умеют эффективно развивать сотрудников.

Так что компании снижают риски, переложив бремя карьерного роста на самих кандидатов. В свою очередь, у кандидатов, таких как Рекурсивный Кактус, не остаётся выбора, кроме как тренироваться в прохождении интервью.

Сначала я думал, что Рекурсивный Кактус — исключение из правил. Но оказалось, что он не одинок.

В прошлом году мы опросили кандидатов, сколько часов они потратили на подготовку к интервью. Почти половина респондентов сказали, что потратили на подготовку 100 и более часов[5].

Нам стало интересно, насколько рекрутеры понимают ситуацию. Алина задала аналогичный вопрос в твиттере — и результаты показали, что менеджеры по персоналу сильно недооценивают усилия кандидатов по подготовке к интервью.

Видимо, это несоответствие только подтверждает скрытое и негласное правило найма: если ты не один из самых умных (что бы это ни значило), это не наша проблема.
Так вот что такое «планка». Это высокий стандарт, установленный компаниями, чтобы избежать ложных срабатываний. При этом неизвестно, действительно ли компании провели надлежащий анализ затрат и выгод. Возможно, высокую планку можно объяснить нежеланием инвестировать в развитие сотрудников.

«Планка» в значительной степени измеряет ваш общий интеллект, но фактические инструменты измерения не обязательно соответствуют научной литературе. Даже саму научную литературу на эту тему можно назвать сомнительной[6]. В действительности «планка» измеряет конкретный интеллект в области компьютерных наук, но это измерение варьируется в зависимости от того, кто проводит ваше собеседование.

Несмотря на различия во многих аспектах найма, мы говорим о планке, словно у неё есть чёткое значение. Она позволяет менеджерам по найму сделать чёткий бинарный выбор, но не позволяет им критически задуматься, можно ли улучшить определение «планки» для своей компании.

И это помогает понять, почему Рекурсивный Кактус тратит так много времени на тренировку. Частично это объясняется тем, что его нынешняя компания не развивает его навыки. Он готовится к мириаду возможных вопросов и интервьюеров, с которыми он может столкнуться, потому что критерии найма сильно различаются. Он изучает темы, которые не обязательно будут использоваться в его повседневной работе — всё для того, чтобы сойти за тех, кого считают «умными».

Такова нынешняя система, которая оказала значительное влияние на его личную жизнь.

«Моя жена не раз говорила, что скучает по мне. У меня насыщенная счастливая жизнь, но я чувствую необходимость на несколько месяцев уйти с головой в подготовку, чтобы быть конкурентоспособным на интервью. Ни одна мать-одиночка не сможет так готовиться»

— Рекурсивный Кактус

Это влияет на его нынешнюю работу и на его коллег.

«Процесс отнимает немало сил, так что я больше не могу работать на 100%. Я хотел бы справляться лучше, но не могу одновременно и заботиться о своём будущем, практикуя алгоритмы четыре часа в день, и хорошо выполнять свою работу.

Это не очень приятное ощущение. Мне нравятся коллеги. Я чувствую ответственность. Я знаю, что меня не уволят, но понимаю, что на них ложится дополнительная нагрузка»

— Рекурсивный Кактус

Полезно помнить, что все эти микрорешения о ложных срабатываниях, структуре интервью, головоломках, критериях найма и развития сотрудников складываются в систему, которая в конечном итоге влияет на личную жизнь людей. Не только самих соискателей, но и всех людей, которые их окружают.

Подбор сотрудников — далеко не решённая проблема. Даже если мы каким-то образом решим её, неясно, сможем ли мы когда-нибудь устранить всю эту неопределённость. В конце концов, довольно трудно спрогнозировать будущий результат работы человека, проведя с ним час или два в искусственной рабочей обстановке. Хотя мы определённо должны минимизировать неопределённость, но полезно принять её как естественную часть процесса.

Систему можно усовершенствовать. Для этого нужно не только придумать новые идеи, но и пересмотреть идеи и предположения, сделанные десятилетия назад. Нужно учесть предыдущую работу и двигаться дальше, а не привязываться к ней.

Мы уверены, что все в IT-индустрии могут внести свой вклад — и улучшить систему найма IT. Мы знаем, что вы можете это сделать, хотя бы потому, что вы умны.

[1] Существует некоторый потенциал для предвзятости, особенно в связи с временем, которое кандидаты выбирают для тренировки. Поверхностный анализ показывает, что связь не такая уж значительная, но мы изучаем этот вопрос (возможно, в будущем напишем на эту тему в блоге). Также на сайте можно выбрать между традиционным алгоритмическим интервью и интервью по проектированию систем, но подавляющее большинство выбирает традиционное. Показанные коэффициенты прохождения соответствуют традиционным интервью. [вернуться]
[2] Вы можете задаться вопросом об относительном уровне кандидатов на interviewing.io. Хотя истинный уровень трудно определить (что является основной темой данной статьи), наши интервьюеры-практики говорят, что в среднем уровень кандидатов на interviewing.io соответствует уровню, с которым они сталкиваются в процессе собеседований в собственных компаниях, особенно в процессе телефонного скрининга. [вернуться]
[3] Сюда входят только кандидаты, которые соответствуют нашей внутренней планке найма и приходили на собеседование в наш офис. График не отражает всю совокупность кандидатов, которые проходили интервью. [вернуться]
[4] Возможно, вы помните, что раньше у нас был алгоритм, который корректировал статистику с учётом строгости интервьюеров. При дальнейшем рассмотрении мы обнаружили, что этот алгоритм неожиданным образом вносит дисперсию в баллы кандидатов. Поэтому теперь мы не так сильно полагаемся на него. [вернуться]
[5] Всплески на 100 и 200 часов произошли из-за ошибки в формулировке и максимальных значениях опроса. Были заданы следующие три вопроса: 1) Во время вашего последнего поиска работы, сколько часов вы потратили на подготовку к собеседованию? 2) Сколько часов вы потратили на подготовку к интервью перед регистрацией на interviewing.io? 3) Сколько часов вы потратили на подготовку к собеседованию после регистрации на interviewing.io (не включая время на сайте)? Ответы на каждый вопрос были ограничены максимальным значением 100 часов, но у многих респондентов сумма ответов 2 и 3 превышала 100. Медиана ответов на вопрос 1 составила 94, что почти идентично медиане суммы ответов 2 и 3, поэтому мы использовали эту сумму для распределения, превышающего 100 часов. Ключевые уроки: устанавливайте максимальное значение больше, чем ожидаете, и дважды проверяйте свой опрос. [вернуться]
[6] Я немного затрудняюсь оценить это исследование, потому что я не психолог и методы вроде метаанализа мне немного чужды, хотя в основе лежат знакомые статистические инструменты. Вопрос не в том, верны ли эти инструменты, а в том, что трудно рассуждать об исходных данных исследования. Подобно спагетти-коду, валидация базовых наборов данных распределена по десятилетиям предшествующих научных работ, что затрудняет анализ. Вероятно, такова природа психологии, где труднее получить полезные данные, если сравнить с естественными науками. Кроме того, к методологии возникают и другие вопросы, которые более подробно обсуждаются в этой статье. [вернуться]

© Habrahabr.ru