Мое Знакомство с УИИ или Путешествие в Параллельную Реальность
Эта статья представляет собой рассказ о том, как я узнала о существовании параллельной реальности под названием Университет Искусственного Интеллекта (УИИ), плавно переходящий в мини-расследование того, что же на самом деле скрывает за собой это название. В основном рассказ cкомпонован из серии постов в моем телеграм-канале, которые я написала в конце прошлого года под впечатлениями от данного интеллектуального путешествия, с небольшими дополнениями на основании новой полученной с тех пор информации.
Я надеюсь, что рассказ будет полезен новичкам в изучении искусственного интеллекта, чтобы они не потратили сотни тысяч рублей зря, а тем людям, которые занимаются темой давно, доставит удивление и… просто доставит.
Для начала скажу пару слов о себе.
Я работаю в области машинного обучения уже несколько лет, успев потрудиться за это время в нескольких компаниях на разных ролях, связанных с исследованиями и разработкой. Сейчас я работаю в R’n'D команде, где занимаюсь исследованиями в области NLP (Natural Language Processing) и подготовкой публикаций на конференции А*. Думаю, этой информации достаточно в качестве контекста, который поможет читателям лучше прочувствовать глубину моего культурного шока от контакта с феноменом под названием УИИ.
УИИ: Начало
Итак, однажды, в один прекрасный вечер пятницы, придя домой уставшей после работы, я решила отдохнуть путем просмотра анимации от Netflix. Однако, показ анимации внезапно прервало объявление:
Киберпанковость объявления превысила киберпанковость мультсериала более, чем в 9000 раз, поэтому я незамедлительно перешла на сайт:
https://neural-university.ru/lp
Так началось мое знакомство с удивительным миром УИИ.
Зайдя на сайт, я увидела множество красивых картинок про то, как «AI сажает ракеты», «AI считывает мыслительные команды», «AI выращивает урожай» и другие. Руки, конечно же, сами потянулись к регистрации на вебинар. Благо никакой проверки номера телефона там не было, и можно было вбить просто 999–99–99.
После регистрации мне тут же показали ссылку на бота @NeuralUniversity_bot, в котором в будущем должна была появиться ссылка на вебинар. А бот от своих щедрот ещё подарок преподнес — ссылку на бонусное видео:
https://www.youtube.com/watch? v=Prln-cOIf6E&ab_channel=УниверситетИскусственногоинтеллекта
Видоролик этот произвел на меня противоречивое впечатление. Высказанные в нем идеи были вроде бы разумными, но как только автор углублялся в детали, возникало недоумение.
Так, лектор высказал мысль о необходимости различать задачи, в которых ML нужен, от задач, в которых он не нужен, и мысль-то сама по себе хорошая, но вот конкретные примеры для иллюстрации этой мысли выбраны не всегда верные. Например, задачи на физическое моделирование, о которых говорится в начале третьей минуты видео, вполне можно решать без машинного обучения, и это уже успешно делалось десятки лет.
Еще один пример: с 4:25 по 7:55 лектор своими словами обрисовывает идею о том, как разные нейроны нейросети идентифицируют разные признаки на изображении (или в других данных), что идейно имеет место быть, но не в таком виде, как он это описывает. Так, лектор говорит о том, что нейроны на первом слое нейросети, на которую подается пиксельное представление картинки, могут обнаружить глаз, клык, кончик уха собаки, называя эти признаки «простыми», но это не так. Это высокоуровневые признаки, для их обнаружения нужна большая обобщающая способность, которая не может быть достигнута на первом слое. Кроме того, далеко не все нейроны вообще обнаруживают легко интерпретируемые признаки.
В общем, впечатление было такое, как будто человек где-то что-то слышал, но в деталях до конца не разобрался.
Основатель Университета Искусственного Интеллекта
Конечно же, досмотрев видео, я решила побольше узнать про лектора и разыскала его страницу на LinkedIn: https://www.linkedin.com/in/дмитрий-романов-2077b7192/
Но страница эта ввела меня в недоумение еще более глубокое.
Если человек разрабатывал искусственный интеллект с 2003 года, то почему это никак не отображено в графе «опыт работы»? Почему там указан опыт работы только в одном месте («Университет Искусственного Интеллекта»), и только 4 года? Может быть, он работал в какой-то закрытой области? Но обычно это не мешает написать хотя бы тип должности.
В разделе «Courses» у Дмитрия написано «Более 200 тренингов и курсов», но названий этих курсов не написано. Почему он так тщательно подсчитал количество пройденных им курсов, но не упомянул названия ни одного из них? Так много вопросов и так мало ответов…
В поисках хоть какой-то информации я вернулась обратно на сайт УИИ, в раздел «Ведущий интенсива»:
Тут указано, что Дмитрий не только разрабатывал искусственный интеллект с 2003, но и руководил IT-проектами с 2011. Это делает пустоту страницы на LinkedIn еще более странной. Обычно у IT-руководителей очень развитые LinkedIn страницы и много контактов. Где же мне узнать про IT-проекты Дмитрия, если не здесь? Может быть, посмотреть еще на сайте Университета Искусственного Интеллекта?
И действительно, на другой странице сайта — https://neural-university.ru/introduction_to_ai — мы находим новую информацию о молодом человеке:
Тут выясняется, что у него 8 лет опыта разработки искусственного интеллекта, а не 19, как невнимательный читатель мог бы подумать по результатам просмотра предыдущей страницы. И новые загадочные сведения: первый в России нейро-компьютерный интерфейс, 10 проектов в области искусственного интеллекта, инновационные форумы, всё безо всяких ссылок и конкретики, и — публикации на ведущей конференции по нейронным сетям «Нейроинформатика». Я на тот момент не знала о существовании такой конференции, но быстро нашла её сайт:
https://neuroinfo.ru/index.php/ru/
Пишут, что конференция рецензируемая и индексируется в РИНЦ. Это неплохо, но явно недостаточно для того, чтобы назвать её «ведущей». Навскидку она выглядит как обычная конференция для студентов уровня «Ломоносова» или «Конференции МФТИ». Подобные конференции могут быть полезны молодым людям, которые делают первые шаги в науке, но под «ведущими» конференциями обычно понимают те, что находятся в списке CORE с рейтингами A*, А, или, в крайнем случае, B.
Впрочем, найти информацию о статьях или выступлениях Дмитрия на ней мне в любом случае не удалось.
Зато удалось найти страницу молодого человека Вконтакте, на которой написано, что он родился в 1985 году. В свете этого играет новыми красками предпоследняя строчка из все того же раздела «ведущий интенсива». Ведь в ней (еще с 2022 года) написано, что Дмитрий имеет опыт преподавания 23 года, а это значит, что он начал преподавать с 14–15 лет и делает это без перерыва (если перерывы были, значит, начал еще раньше), виртуозно совмещая преподавательскую деятельность сначала с учебой в университете, потом с 8 годами разработки Искусственного Интеллекта (параллельно с учебой и преподаванием), а потом и 7 годами управления образовательными компаниями.
Неудивительно, что такой продуктивный преподаватель, разработчик и руководитель способен писать по три нейросети в день и научить этому нас с вами!
Отзывы благодарных учеников
После первого знакомства с образовательными материалами, дающимися Университетом и послужного списка его основателя, я решила обратить внимание на отзывы учеников (не те, которые написаны на их сайте, а настоящие).
Быстро нашлась группа учащихся, которые пытаются вернуть деньги за курсы: https://vk.com/neuraluniversityreport
Тут же можно узнать про финансовые и юридические аспекты деятельности этой уважаемой организации: огромные долги по налогам, судебные иски от учащихся;, а когда проблемы накапливаются, организация меняет юридическое лицо с одного на другое.
Много отзывов с оценкой »1 балл» можно увидеть на «Отзовике», например:
https://otzovik.com/review_12279564.html
Есть даже статья на cnews:
https://www.cnews.ru/news/top/2022–06–17_desyatki_obmanutyh_studentov
Теперь несложно понять локацию, в которой обнаруживают возгорания выпускники этого Университета после оплаты курсов за сотни тысяч рублей (https://neural-university.ru/pay).
После знакомства с прискорбными историями учеников, я решила все-таки отыскать AI / IT-проекты Дмитрия, о которых было написано на скриншотах выше.
AI hunter
https://ai-hunter.ru/ — это первый IT-проект Основателя, на который упал мой глаз.
По совместительству, это также был самый депрессивный сайт для поиска работы из всех, что я видела за свою жизнь, ведь на сайте ищут работу исключительно выпускники УИИ.
Несчастные (https://ai-hunter.ru/search/candidates) ждут, что крутые компании зайдут сюда и обязательно их найдут. Но как они это сделают, если даже фильтры поиска не работают?…
Слева снизу на картинке — кусочек страницы кандидата, которому её, несомненно, помог сделать профессиональный HR (из этических соображений не привожу страницу полностью). Справа снизу — кусочек описания вакансии.
Всё это напомнило мне детскую игру в куклы, только вместо Барби и Кена — кандидат и работодатель:
— Здравствуйте! Я умею запускать нейронные сети на графическом процессоре!
— Отлично! Мы можем предложить вам уникальную возможность ходить в офис!
Не жизнь, но имитация жизни…
У многих кандидатов перечисление «навыков» занимает несколько экранов, а под ними часто идет ссылка на ужасно сверстанное резюме в Word, от которого вытекают глаза. У некоторых же наоборот — лишь описание в пару строк, из которого невозможно понять, что же умеет человек. УИИ утверждает, что каждому выпускнику составить резюме помогает профессиональный HR. Что же за профессионал помогает создавать подобные шедевры?
Что же касается «вакансий» (https://ai-hunter.ru/search/vacancies), я не нашла контактов, чтобы связаться хоть с одним работодателем, поэтому даже не уверена, знают ли в принципе данные компании, что «ищут» кандидатов на этом сайте.
Terra AI
Другой проект Дмитрия, с которым я ознакомилась — «AI-платформа» для разработки и деплоя нейросетей Terra AI:
https://terra-ai.ru/
Заявляется, что она позволяет создавать нейросети в визуальном редакторе, в котором слои (полносвязные, сверточные и т.п.) выглядят как прямоугольные блоки, связи между которыми задаются стрелками. В этом же редакторе нейросеть можно обучить, а потом задеплоить демонстрацию в галерею https://demo.neural-university.ru/ . Казалось бы, неплохая идея для песочницы — аналога Scratch (https://scratch.mit.edu/) для ML-щиков. В чем же подвох?
А подвох — в разделе «цены»:
Полгода пользования платформой стоят 120.000 рублей. Это, а также то, что на главной странице предлагают с её помощью «Демонстрировать AI проект заказчику», наводит на мысли, что она позиционируется не как песочница, а как некий бизнес-инструмент или, как минимум, платформа для демонстрации портфолио кандидатом (уж не тем ли, что ждет работодателя мечты на ai-hunter?).
Впрочем, я решила не рубить с плеча и ещё немного поразбираться: может быть, несмотря на столь непривычную форму, по своему содержанию это и правда серьезный инструмент для бизнеса, который стоит своих денег? Чтобы понять, так ли это, я решила поискать информацию о том, как устроены проекты внутри этой платформы, но вот незадача: единственным источником, который я смогла найти, оказалась запись вебинара… кого бы вы думали? Ну конечно же, Дмитрия Романова. Колесо Сансары дало оборот, и я перешла к просмотру записи:
https://www.youtube.com/watch? v=k5-VLMPhNg4&ab_channel=Ramanuja
Если бы я только знала, какой вывих мозга заработаю при просмотре…
Первую половину вебинара занимает рассказ про то, что такое нейросети, в духе видеоролика, который я уже разобрала выше, только длиннее и скучнее, поэтому я её промотала. А вот начиная с 1:31:50 уже демонстрируется интерфейс разработчика на Terra AI и рассказывается о платформе.
Далее идут вопросы и ответы, которые я большей частью тоже промотала, а вот на 1:59:00 мы узнаем ещё одно применение платформы Terra AI: УИИ устраивает на ней хакатоны. Буквально через минуту выясняется, что участие в хакатоне… стоит 1900 рублей с каждого участника. Я-то раньше думала, что на хакатонах нужно выигрывать деньги, а не платить их. Видимо, мои взгляды слегка устарели.
После этого зрители вебинара предлагают темы для создания мини-проекта в Terra AI, который Дмитрий обещает сделать прямо у нас на глазах. Победило предложение сделать нейросеть, которая будет различать по картинке времена года (точнее, отличать осень от весны). Но как же сделать это без датасета? Никак, поэтому преподаватель приступил к его созданию.
С этой целью на моменте 2:11:07 он открывает поиск Яндекса по картинкам по запросу «осень». В моей голове зароились предположения, как же именно он соберет датасет — будет ли скрапить изображения из результатов с помощью заготовленного скрипта или воспользуется для этой же цели плагином для браузера? Но всё оказалось намного проще: Дмитрий (и его компаньон за кадром) просто в течении нескольких минут перебрали и сохранили 40 картинок вручную. Я, признаюсь, засомневалась: какая же сеть сможет с нуля (без предобучения) натренироваться на таком микроскопическом множестве примеров?
Сначала Дмитрий попытался использовать совсем маленький двуслойный перцептрон, но он не дал результата.
Впрочем, он быстро поправил себя и уже на 2:27:38 показал более достойный ответ, увеличив количество параметров (свертки Дмитрий использовать не смог, потому что, по его словам, backend Terra AI сделан на Tensorflow, и из-за только что вышедшего обновления этой библиотеки, сверточные слои внезапно перестали работать). А вот то, что произошло дальше, просто выкинуло мой мозг в форточку: нам показали графики, со слов Дмитрия, «точности классификации», согласно которым через 40 эпох обучения этот перцептрон достиг почти 90% на тестовой подвыборке.
Я очень долго смотрела на эти графики, пытаясь осознать, что же только что произошло.
Первым объяснением паранормального явления, которое пришло мне в голову, было, что на самом деле никакая нейросеть не обучалась, а графики сгенерировали с потолка. Но затем я повнимательнее всмотрелась в название метрики: над графиками написано не «Accuracy», как я автоматически подумала, услышав о «точности классификации», а «Balanced Recall».
Recall — это метрика, равная количеству примеров, для которых правильно предсказана метка 1 (True Positive), разделенных на количество примеров, имеющих истинную метку 1 (True Positive + False Negative).
Recall равен 1, если модель присваивает всем примерам метку 1. Отсюда появилась еще одна гипотеза:
Возможно, выход нейросети Дмитрия неправильно отнормирован, и в процессе «обучения» (если это можно так назвать) сеть учится выдавать числа, близкие к 1, для обоих классов, а затем для каждого класса в отдельности считается Recall, также равный 1 или чуть меньше. На графиках слева мы, возможно, видим взвешенное среднее арифметическое от обоих Recallов, поэтому он и зовется Balanced.
После этого лектор делает нейронку «мощнее», параллельно подключая три слоя с активациями Relu, Sigmoid и Hard Sigmoid:
И снова возникают вопросы: зачем же подключать так полносвязные слои, тем более, с выходами разного масштаба (Relu выдает числа от 0 до условной бесконечности, Sigmoid и Hard Sigmoid — от 0 до 1)? Может быть, это просто демонстрация гибкости Terra AI, и лектор понимает, что архитектура не имеет смысла? Но нет.
На 2:33:12 он, отвечая на вопрос зрителя, не является ли подобный подбор архитектуры гаданием на кофейной гуще, сравнивает свои изобретения с изобретениями Эдисона и братьев Райт и уверяет, что эта архитектура — результат «сложного интеллектуального перебора», за которым «стоит куча лет опыта».
На этом я окончила просмотр.
Что в итоге?
А в итоге — курсы за сотни тысяч рублей от лектора с загадочными компетенциями, после которых придется искать работу на сайте-симулякре, а также платформа, не известная никому из профессионального сообщества из нашей реальности, за которую также нужно платить сотни тысяч рублей.
Посмотрев на все это и написав об этом, как уже было сказано, ряд очерков в своем канале, я подумала, что долго подобная аномалия существовать не может, и вскоре УИИ со всей своей техноересью сам сгинет в пучине времен… но, к сожалению, этого не произошло.
Спустя несколько месяцев с первого знакомства с УИИ, то есть, буквально на днях, моему удивленному взору вновь предстали рекламные объявления данной организации — сначала на каком-то случайном сайте, потом — вконтакте.
Как видно, ничего с тех пор не изменилось: все так же 9 нейросетей за три дня, все та же зарплата 150к, только теперь еще добавили звонкое словцо «ChatGPT». В общем:
