Третий год борюсь с инфоцыганами. Теперь за мной следит наблюдательный совет

Никто доподлинно не знает, что происходит на рынке IT-образования.

Бизнес по торговле людьми явно более честный, прозрачный и социально ориентированный, чем то, что происходит в EdTech.
Во всяком случае, чем дольше провожу исследование IT-курсов, тем сильнее у меня именно такие ощущения.

5 признаков проблем с честностью, прозрачностью и социальной ориентацией в EdTch

Потому что там меньше обмана и вранья.

Многие курсы заявляют про «трудоустройство свыше 75% студентов».
Но на самом деле имеют статистику трудоустройства в разы, если не на порядки, меньше.

Сайты отзывов позволяют абитуриенту быстро подобрать курс на основе числа звезд и отзывов обучавшихся студентов.
Но эти же сайты предоставляют курсам прайс, сколько стоит размещение положительных отзывов.

По запросу «лучшие курсы по …» вылезают сотни материалов.
Но ни в одной из статей нет объяснения критерия «лучшести», а половина из них содержат партнерские ссылки.

В телеграм-группах студенты обмениваются опытом обучения на тех или иных курсах.
Но эти группы наводнены «засланными казачками» от самих курсов, рассказывающими о замечательном обучении и быстром начале IT-карьеры.

Реально отучившиеся студенты пытаются объективно оценить качество обучения на своем курсе.
Но им не с чем сравнивать, так как большинство учится только на одном курсе.

В результате многие из выбирающих обучение или ориентируются на вышеуказанные вводящие заблуждения вещи, или просто смотрят на размеры скидок. И в результате теряют деньги на некачественное обучение. Что с одной стороны, в чем-то даже хорошо — ведь без критического мышления в тестировании делать нечего. С другой стороны — даже у вдумчивых студентов нет адекватных инструментов выбора.

Ага! Я так и знал! IT-образование не работает!

С радостью кто-то воскликнет и будет неправ. Ведь исследование показало, что статистика трудоустройства после разных курсов на самом деле находится в диапазоне 5%-65%. То есть разрыв в 10 раз!

И чем больше таких ощущений, тем сложнее оставаться эмоционально выключенным и непредвзятым.

Получив первые результаты исследования, я опубликовал список худших курсов и считал задачу выполненной. Но продолжавшие поступать обращения «какие курсы худшие, понятно, но все-таки какой курс мне выбрать?» оставляли ощущение недосказанности и отсутствия финальной точки. 

Тогда я решил сделать то, что в общем, является нормой для цивилизованных стран, но на СНГшном пространстве до сих пор в диковинку.
А именно, создать что-то вроде ассоциации, проводящей независимый аудит качества IT-образования.
Так появился манифест профессионального IT-образования Manifestus.Pro.

Отличная идея!

Но только сразу же возникла одна небольшая проблема — я консультирую многие курсы.
И теперь сам же собираюсь их проверять в режиме аудитора.

Конфликтище интересов

Уже двадцать лет я занимаюсь информационными бизнесами.
Не, не инфобизнесами, как вы подумали.

Хотя по сути, да — я профессионально зарабатываю тем, что покупаю и продаю информацию. И это сплошной конфликт интересов.

Меня всегда привлекала работа с информацией. Начиная с написания очередного софта, работающего с базами данных (любимый язык — SQL) и чтения научных материалов, до изучения конкретных сегментов экономики и поиска скрываемой кем-то информации. В общем интересна вся информация, в которой раскрывается вид Homo Sapiens. 

Увы, в наше время специалисты широкого профиля не нужны. Журналистика последние три десятилетия и чувствует себя, и оплачивается намного хуже, чем это было в доинформационную эпоху. Но, к счастью, есть еще сферы, где общая эрудиция и умение закопаться глубоко хорошо оплачиваются.

Исходя из такой мотивации, в нулевых годах, еще будучи разработчиком и благодаря сторонним IT-доходам, стал владельцем одного из старейших в России узкотематических онлайн-сми. А в десятых годах на его базе создал консалтинговую компанию, работающую с крупным промышленным бизнесом. 

В журналистике текст из десятка страниц не может стоить десять тысяч долларов — только если только это не джинса (скрытая реклама).
А в консалтинге — может. Выяснилось, что в интернете на самом деле очень мало информации (если мы говорим про данные для принятия бизнес-решений) и что первый миллион долларов заработать намного проще, чем первый миллиард, и что консалтинг здесь зачастую выступает в режиме тренера для будущего олимпийского чемпиона — без него можно, но с ним — намного быстрее. Впрочем, это тема для большого отдельного цикла статей.

И журналистика, и консалтинг, да и вообще любая деятельность, где есть получение и передача информации — всегда про постоянный конфликт интересов. Вот сейчас в разговоре с тобой кто-то вскользь упоминает некоторую, казалось бы, проходную информацию, а ты понимаешь, что эта информация — крайне ценна для знакомого тебе бизнесмена. С одной стороны — нужно не нарушить этический кодекс и не потерять доверие, с другой — иметь возможность хоть что-то делать. Явный конфликт интересов.

Во время проведения исследования про трудоустройство после разных курсов конфликт интересов практически отсутствовал. Несмотря на то, что почти с начала исследования начал помогать разным курсам работать эффективнее, рентабельней и причинять больше пользы студентам.

Да, я консультировал и консультирую близких мне людей, далеких от меня людей, но платящих деньги, и тех, чьи курсы мне просто показались интересными и перспективными.
В ряде случаев я даже предоставляю некоторые мои юридические лица для финансовых потоков. Например, если курс собирается выходить на международный рынок, зачем ему тратить ресурсы на организацию российского юрлица и подключение кредитной линии для студентов?

Конфликт интересов исключался тем, что консультируемые мной курсы между собой практически не пересекались и в исследовании не появлялись. И даже когда мне в личку стучался сто первый студент с вопросом «про лучший курс», я никогда не рекомендовал курсы, которые консультировал. Максимум комментировал сильные или слабые стороны курса, если студент сам говорил его название.

Но когда я решил создать Manifestus.Pro для проведения аудитов, то вопрос конфликта интересов стал уже более чем актуален. Ведь если исследование по сути выявляло худшие курсы, то в аудиты Manifestus.Pro должны были попадать лучшие курсы. Среди которых были и те, которые я консультировал (возможно, это и есть одна из причин, почему они стали лучшими?). 

Проверять результаты собственной работы — это так себе идея.
Ведь я перестал быть и независимым, и непредвзятым по отношению к курсам.
Я познакомился с основателями многих курсов.
Какие-то курсы я консультирую.
Какие-то курсы мне нравятся.
Методы работы каких-то курсов мне, наоборот, не нравятся совершенно. И я категорически против, чтобы курсы с такими подходами вообще существовали на рынке.
Как я могу подписывать, визировать аудиты Manifestus.Pro, если я могу быть заинтересован в возвышении одних курсов и принижении других? Для одного курса я явно закрою глаза на какие-то негативные моменты, а к другому — наоборот, буду слишком критичен.

Поэтому когда продакт одного из крупнейших российских QA-курсов обратила мое внимание на то, что для повышения уровня доверия к аудиту нужны независимые наблюдатели, я понял — это действительно отличная мысль. 

Нужен наблюдательный совет! Который будет независимо проверять аудит, будет его визировать и именно подписи его уважаемых членов будут стоять на его официальных результатах!

Наблюдательный совет

В наблюдательный совет вошли менеджеры IT-компаний из разных стран, в большинстве случаев работающие в IT больше десятка лет:

1f6ae2b20723316862b7914b745e53b4.png

  • Garegin Kazaryan — Delivery Director at First Line Software (Montenegro)

  • Vadim Nuzhdin — Delivery Director at Формат кода (Russia) завкафедрой Прикладного программирования в РТУ МИРЭА

  • Aleksei Sakhnenko — Head of Product at Yandex (Serbia)

  • Aleksandr Permyakov — Cofounder at SAAS Grove (Russia)

  • Sergey Bondarenko — Head of B2B Development at NDA (USA)

  • Veronika Vagner — Head of manual QA at Samokat (Russia)

  • Irina Borodina — Senior QA Manager at Envista Holdings Corporation (USA)

Это те специалисты, у которых есть своя собственная репутация, и они не будут рисковать ей, визируя результаты аудита «не глядя». Или тем более позволяя какие-то махинации и подтасовки аудитору.

А еще это действительно замечательные люди. Которые в своем более чем загруженном графике нашли время на эту гуманитарную активность.

Меня спрашивают, почему в наблюдательном совете нет линейных технических специалистов, которые могут разобраться в нюансах тех или иных учебных программ. Ответ прост — техлиду нет никакого дела до рынка IT-образования. Если ему не подходит конкретный кандидат, он просто берет другого. И только когда он дорастает до уровня Head«а, он начинает ощущать глобальную нехватку качественных специалистов на рынке.

Прежде чем говорить про то, как члены наблюдательного совета проверяют и визируют результаты аудита, имеет смысл немного детализировать, а как, собственно, он проходит.

Как проходит основной аудит (статистика трудоустройств)

Самый главный параметр, который нас интересует в аудите — это сколько от числа изначально поступивших студентов в результате трудоустраивается.

Важное! Здесь и далее данные трудоустройства приводятся именно от числа изначально зачисленных на курс, а не только от числа доучившихся до конца. Курсы предпочитают говорить про более выгодный для них «процент трудоустроившихся выпускников». Ведь на многих курсах до выпуска доходит менее 50% поступивших.

Режим проведения аудита и его скорость сильно зависит от того, может ли курс предоставить аудитору списки учебных групп. Нам для аудита достаточно частично обезличенных списков. По сути нужен хоть какой-нибудь контакт, чтобы иметь возможность установить связь со студентом и опросить его. 
Но даже такие списки большинство курсов предоставить не могут — если только возможность аудита не прописана в договоре на обучение и соглашении о конфиденциальности персональных данных.

Как идет аудит, если частично обезличенные списки групп НЕ могут быть предоставлены

В этом случае аудит занимает для небольшого курса минимум несколько месяцев, а статистика  трудоустройств формируется на основе первичных и вторичных данных. 

Источниками первичных данных о трудоустройстве являются непосредственно те, кто планируют обучение на курсе, обучаются сейчас и те, кто уже закончил обучение. Напрямую отслеживается судьба каждого из этих респондентов, и именно эта информация и является первичными данными по статистике трудоустройства.

Для установления контакта со всеми этими людьми используются уже отработанные в ходе исследования методы поиска нужных респондентов и проведения с ними глубинных интервью.

Источниками вторичных данных могут быть как сами обучающиеся на курсе, закончившие обучение, так и низовые наставники-инсайдеры курса. Здесь нас интересует уже не судьба самих респондентов, а та информация, которую они могут сообщить о происходящем со своими одногруппниками.
Большинство студентов так или иначе общаются с другими студентами курса и знают, как обстоят дела с трудоустройством хотя бы у ближайших знакомых.
Студенты учебных групп часто создают закрытые, недоступные создателям курса телеграм-группы. В которых студенты обмениваются информацией об отчислениях и трудоустройствах и где периодически устраивают голосования о числе трудоустроившихся.
Целиком на эти данные из-за больших погрешностей полагаться нельзя, но при нескольких подобных источников общая картина формируется корректная. 

Еще есть низовые наставники-инсайдеры курса. Эти специалисты обычно не особо оплачиваемы, не имеют отношения к маркетингу-менеджменту и у них нет мотивации что-то приукрашивать или рекламировать. Частенько они сообщают реальную статистику трудоустройств — которую курсы собирают, но не раскрывают.

В режиме «списков учебных групп нет» аудит решает три главных задачи:

  1. Сформировать список респондентов (планирующих обучение, чья судьба будет отслеживаться дальше, обучающихся сейчас, уже выпустившихся, наставников-инсайдеров).

  2. Подтвердить, что респонденты являются теми, за кого себя выдают.

  3. Собрать первичные и вторичные данные для определения статистики трудоустройства.

Вообще при аудите без списков самое сложное — это отличить реальных студентов курса от засланных курсом казачков. Это одна из причин, почему при проведении аудита мы не предлагаем заполнять опросники и не привлекаем к диалогам искусственный интеллект. Только живое общение с респондентами позволяет получить максимум информации и при помощи уточняющих вопросов оценить ее достоверность. В ходе проведения исследования мы с ассистентом выявили ряд паттернов, которые позволяют выявить «рекламных людей». По понятным причинам я не буду вдаваться в детали этих паттернов.

К сожалению, при таком аудите невозможно получить точный процент числа трудоустраивающихся студентов. Особенно если речь идет про крупные курсы. Но этих данных достаточно, чтобы по результатам аудита поместить курс в одну из групп:

Группа A — трудоустраивается от 35% поступивших

Группа B — трудоустраивается от 10 до 35% поступивших

Группа С — трудоустраивается меньше 10%

Как идет аудит, если частично обезличенные списки групп МОГУТ быть предоставлены

В этом режиме аудит для небольшого курса часто укладывается в один месяц.

Что такое частично обезличенные списки учебных групп? Для проведения аудита нам не нужны паспортные данные студентов, номера их телефонов, адреса регистрации и прочая чувствительная информация. Вполне достаточно номера учебной группы, имени, первой буквы фамилии, ника в мессенджере и статуса трудоустройства.

В режиме «со списками» аудит решает три главных задачи:

  1. Подтвердить, что число студентов на старте обучения группы соответствует заявленному, а не было занижено.

  2. Подтвердить, что списки групп соответствуют реальности и в них нет «засланных казачков».

  3. Подтвердить, что трудоустроенные выпускники действительно были трудоустроены.

Здесь источниками выступают все студенты группы, которые соглашаются на коммуникацию. Таких обычно большинство.

Путем перекрестных опросов и сверки информации из множества разных источников информация подтверждается или опровергается. 

Как проходит дополнительный аудит (7 требований к курсу)

При проведении каждого конкретного аудита трудоустройства используются десятки, а иногда и сотни разных источников. Но ни одному из этих источников мы не можем доверять на все 100%.
Поэтому неплохо бы подтвердить результирующую статистику трудоустройств данными в другом разрезе.

Эмпирически в ходе исследования было выяснено, что курс со статистикой трудоустройств «выше 10% поступивших трудоустраиваются» обычно соответствует также следующим требованиям:

  1. Руководитель курса с IT-опытом не менее 5 лет

  2. Преподаватели с IT-опытом не менее 3 лет

  3. Кураторы/наставники с IT-опытом не менее 1 года

  4. Материалы курса постоянно дорабатываются

  5. Школа создана более двух лет назад

  6. Нельзя получить сертификат автоматом

  7. Честные отношения со студентами 

Опыт руководителя курса — это значимый показатель для выявления инфоцыганского подхода, когда курс управляется человеком, имеющим об IT очень смутное представление.

Опыт кураторов и наставников курса — это один из наиболее влияющих на трудоустройство параметров. На слишком многих курсах домашние задания проверяют вчерашние выпускники этого же курса, имеющие нулевой IT-опыт. Противоположный по качеству вариант — когда ДЗ проверяют сами же преподаватели.

Сюда же можно отнести и параметр «нельзя получить сертификат автоматом». Курсы, на которых можно не делать (или списывать) домашние задания, но при этом получить такой же сертификат, как и у всех, демонстрируют низкую статистику трудоустройств.

«Под честными отношениями со студентами» подразумевается возврат денег отчислившимся в первый месяц обучения в сумме не менее 50% и в срок не более календарных 30 дней — 1 балл. Он не является определяющим, но отражает общее отношение школы к студентам и так или иначе коррелирует со статистикой трудоустройств.

Каждый из семи пунктов проверки дополнительного аудита дает курсу один балл. Чтобы успешно пройти аудит, курс должен набрать минимум пять баллов.

Проверяются эти сведения путем задавания дополнительных вопросов респондентам основного аудита.

Важное — как проверяется факт трудоустройства?

И для основного аудита, и для дополнительного нам необходимо проверить факт трудоустройства. В отличие от исследований онлайн-образования, проводимых ВШЭ, мы не верим выпускникам на слово, что они трудоустроены. Мы это проверяем.

Для основного аудита мы проверяем трудоустройство выпускников.

Трудоустройство выпускников подтверждается самыми разными способами

Трудоустройство выпускников подтверждается самыми разными способами. 

Кто-то указывает место работы в LinkedIn, и тогда можно списаться с другими сотрудниками и подтвердить эту информацию. Кстати, LinkedIn это единственная соцсеть, которая позволяет хоть в какой-то степени ориентироваться на указание места работы. Ведь если человек указывает, что он работает в определенной компании, то он начинает отображаться в списке сотрудников и «самозвано трудоустроившегося» с высокой степенью вероятности вычислят.

Кто-то готов прислать письмо со служебной почты вида name@company.

Кто-то присылает фотографии не попадающих под NDA корпоративных артефактов или фото с корпоративных мероприятий.

Кто-то подтверждает трудоустройство через сослуживцев и руководителей. 

Удивительно, но даже у работающих в банках проблем с подтверждением обычно не возникает.

Под трудоустройством понимается только оплачиваемая работа по самой специальности или по смежным с ней, но требующим не меньшую квалификацию. Например, работа аналитиком после курса по тестированию идет в зачет, но работа в техподдержке — нет. Неоплачиваемые стажировки в зачет не идут.

А для дополнительного аудита нам необходимо убедиться, что опыт сотрудников курса — руководителя, преподавателей и кураторов/наставников, составляет не меньше определенного числа лет.

IT-опыт преподавателей подтверждается несколько иначе

Проверка опыта сотрудников курса в чем-то проще, в чем-то сложнее. Ведь здесь мы проверяем не сам факт работы в IT, а то что человек работает в IT не меньше определенного числа лет.

Что мы используем:

  • Явное подтверждение от коллеги в компании, где сотрудник курса работал не менее n лет назад

  • LinkedIn: Навыки одобрены (endorsed by) не менее чем тремя коллегами в той компании, где работал не менее n лет назад.

  • Конференции: Запись выступления по теме специальности не менее n лет назад. 

  • Конференции: Членство в комитете топовой конференции.

  • Компании: Публикации в корпоративных изданиях/блогах, где работал не менее n лет назад.

  • И так далее

Как агрегируются данные аудита

Итак, данные аудита собраны. Теперь их нужно агрегировать так, чтобы с ними было удобно работать. Они разбиты на три уровня:

Данные нижнего уровня: Сырые данные

По каждому респонденту в результате аудита у нас накапливается большое количество информации. Основной ее источник — переписка в мессенджерах. Мессенджеры интегрированы с CRM и вся переписка по каждому респонденту сохраняется в CRM.

При завершении глубинного интервью у каждого респондента явным образом запрашивается разрешение:

Прошу разрешения на хранение и обработку Ваших ответов и возможный доступ к ним членов наблюдательного совета (https://manifestus.pro/#board) при визировании ими результатов аудита. Больше ни для каких целей ответы не используются, нигде не публикуются и третьим лицам не передаются.

Если респондент дал разрешение, то члены наблюдательного совета получают доступ к переписке.

Данные среднего уровня: Агрегированные данные

Переписка с респондентом может длиться месяцами. Каждый раз искать нужные данные по всей переписке — не самое эффективное занятие.

Поэтому все данные, полученные от респондентов по основному аудиту трудоустройств и по дополнительному аудиту (7 требований к курсу) для удобства помещаются аудитором в сводную таблицу «a1. Students». Это большая таблица — по каждому респонденту конкретного курса — более 45 ячеек информации.

Данные высокого уровня: Аудиторский отчет

На листе отчета «Audit Report» представлены результаты аудита.
Он является выжимкой данных среднего уровня. 

В строках отчета — проверяемые параметры:

Основной аудит:
a1. Какой % поступивших на курс трудоустраивается

Дополнительный аудит
b1. Руководитель с IT-опытом не менее 5 лет.
b2. Преподаватели с IT-опытом не менее 3 лет.
b3. Кураторы/наставники с IT-опытом не менее 1 года.
b4. Материалы курса постоянно дорабатываются.
b5. Школа создана не вчера.
b6. Нельзя получить сертификат автоматом.
b7. Честные отношения со студентами.

В столбцах по каждому параметру указано:
— «как аудируется»: алгоритмы и принципы сбора данных по данному параметру
— «источник данных»: ссылки на данные среднего и нижнего уровня
— «соответствие требованиям манифеста на основании данных аудита»: решение аудитора о соответствии данного параметра требованиям манифеста профессионального IT-образования

Как наблюдательный совет визирует результаты аудита

В конце аудита мы имеем сотни диалогов переписки и другой информации на нижнем уровне данных, агрегированные данные в виде таблицы с размером 45*[число респондентов] на среднем уровне и аудиторский отчет на высоком уровне.

Члены наблюдательного совета визируют аудиторский отчет, используя эту информацию. Очевидно, что члены наблюдательного совета не проверяют абсолютно все собранные данные, на которых построен аудиторский отчет. Ведь на их полную проверку может уйти столько же времени, сколько ушло и на изначальный сбор данных. Для визирования члены наблюдательного совета делают выборочную проверку. Случайным образом выбирают те или иные данные в том, объеме, который внушает им доверие. 

В каком объеме происходит выборочная проверка, самостоятельно решает каждый член наблюдательного совета. Ведь в конце концов на сертификате аудита появляется именно его подпись и именно он отвечает своей личной репутацией.

Как визирование происходит по шагам (памятка для членов наблюдательного совета)

Данные высокого уровня. В результате аудита члены наблюдательного совета получают аудиторский отчет на листе «Audit Report». На нем перечислены все параметры аудита и по каждому из них в столбце «соответствие требованиям манифеста на основании данных аудита» указано решение аудитора. Задача членов наблюдательного совета — визировать решение аудитора.

Данные среднего уровня. Очевидно, чтобы визировать аудиторский отчет, необходимо выборочно проверить данные, на которых он построен. Для каждого параметра отчета место хранения исходных данных указано в столбце «источник данных». Как правило, это агрегированные данные среднего уровня.
Например, агрегированные данные по трудоустройству студентов (параметр «a1. Трудоустраиваются более 10%») находятся в сводной таблице «a1. Students».
А агрегированные данные по IT-опыту преподавателей (параметр «b2. Преподаватели с IT-опытом не менее 3 лет.») находятся  в сводной таблице «b2. Educators».

Данные нижнего уровня. Изучив агрегированные данные среднего уровня, член наблюдательного совета выборочно проверяет их. Ведь агрегированные данные — это просто «непонятно откуда скопированная информация» без контекста. Для их проверки он спускается на нижний уровень, посмотреть на сырые данные.

Например, агрегированная таблица «a1. Students» построена на основе переписки с респондентами, сохраненной в CRM.
А сводная таблица «b2. Educators» — на основе резюме и скриншотов подтверждения трудоустройства, сохраненной в папке Google Drive.

В результате члены наблюдательного совета визируют результаты аудита, оставляя комментарий на листе «Title» напротив своей фамилии. На основе этой информации затем генерируется сертификат аудита. 

На сертификате стоит подпись каждого визировавшего члена наблюдательного совета. А если у аудитора или членов наблюдательного совета есть конфликт интересов, это обязательно указывается на сайте Manifestus.Pro (QR-код и ссылка на него ведут с сертификата).

1b2151e794830646eb13a09847dcad72.png

Как видим, процедура как аудита, так и его проверки наблюдательным советом непростая и достаточно объемная. Ради кого это все делается и что они получают?

Что получают абитуриенты IT-курсов

Те, ради кого это всё делалось, получают главное — возможность выбирать обучение, пользуясь максимально объективными и проверенными данными. 

Не на основании рекламы, скидок или проплаченных отзывов.

А на основании самого главного — своих шансах начать карьеру в IT, обучаясь на конкретном курсе.

Что получают члены наблюдательного совета

Мотивация членов наблюдательного совета — тратя буквально несколько часов в квартал (проведение каждого аудита занимает время и завершаются они не так часто) вносить значительный положительный вклад в перспективы IT-отрасли.
С отличным соотношением время/карма.

Кроме этого, компании членов наблюдательного совета имеют возможность приглашать на стажировки и работу лучших выпускников лучших курсов.

Что получают курсы

Сам факт участия курса в аудите — это уже мощный положительный сигнал для выбирающих обучение. Статистика переходов с Manifestus.Pro на сайты еще только проверяемых курсов это демонстрирует. Ведь если курс решился на аудит, значит он озабочен качеством обучения и работает над ним.

Как ни странно, аудит для курса — также возможность для самого курса узнать, а как, собственно, у них обстоят дела с качеством.
Да, почти каждый курс имеет опросники, которые предлагается заполнить всем студентам. Но эти формальные опросники имеют большую статистическую погрешность, ведь заполняют их далеко не все студенты, так и еще «полярные» — или «в благодарность» или явно неудовлетворенные. Многие находящиеся посередине не участвуют в опросах.
Еще один минус опросников — это обилие закрытых вопросов. На открытые же вопросы развернуто отвечают немногие. 
Только сплошные глубинные интервью со сторонним по отношению к курсу интервьюером позволяют получить действительно объемную и детальную картину.

Более важный момент — оценка качества курса относительно рынка. Каждый курс имеет возможность опросить студентов не только своего курса, но не других курсов. Как интерпретировать результаты опроса, если его можно сравнить только со собственным же опросом?

Что получает автор

Автор получает замечательное хобби с окупаемыми затратами по времени. Манифестус — некоммерческий проект, но аудит — это длительный процесс, результаты которого дают курсу известность. Поэтому справедливо, что размещение результатов аудита на сайте Manifestus.Pro и весь трафик — бесплатные, но курс оплачивает себестоимость проведения аудита (но не его положительный или отрицательный результат).
Впрочем, интересные автору российские или зарубежные курсы берутся в аудит бесплатно.

Но, главное, автор получает огромное моральное удовлетворение от того, что те, кто накопил в себе силы раскрыть «нового себя», сделают это быстрее и без ошибок.

Ведь если раньше считалось, что выучиться надо лишь раз в жизни, то теперь постоянное обучение и переучивание грозит всем нам каждое десятилетие. Автор как самоучка собственными усилиями постиг разработку, затем журналистику, консалтинг и менеджмент всего этого. Но даже он понимает, что все более быстрое изменение информационной среды нашего вида требует все более быстрых и эффективных инструментов для саморазвития.

Так давайте следить за тем, чтобы помогающий нам развиваться инструментарий был исправен.

Что дальше

На текущий момент наблюдательный совет визировал аудит двух курсов.
В процессе аудита четыре курса.

Что меня приятно удивило с одной стороны и расстроило с другой — в аудит активнее стучатся русскоязычные прибалтийские или эмиратские (!) курсы, чем российские.
Возможно, там авторам курсов проще планировать что-либо на год-два вперед и интереснее инвестировать в качество и будущее. А может, там более требовательная русскоязычная аудитория, которая не верит «на слово» рекламным заявлениям.

В любом случае, скоро выйдут новые аудиты.
Информация о них появится на 
сайте манифеста Manifestus.Pro
А анонсы — в 
телеграм-канале QAsmokeQA.

© Habrahabr.ru