Как заставить ИИ понимать человека: проверка сочинений вместо ядерного апокалипсиса

Компьютерные системы осваивают все новые задачи, которые раньше казались типично человеческими: разбивают чемпионов в настольные и компьютерные игры, распознают тексты и изображения, водят машины. Но заветная мечта человечества — создать универсальный искусственный интеллект, который сможет взяться за любую задачу.

Юрий Чехович, исполнительный директор компании Антиплагиат, не верит, что компьютер сможет начать мыслить. Он рассказал, почему скепсис по отношению к т.н. «мыслительным возможностям» вычислительных систем не помешал его компании принять участие в конкурсе Up Great ПРО//ЧТЕНИЕ, в котором победившая система должна понимать и оценивать текст сочинения ЕГЭ не хуже специалиста в данной области.

Конкурс Up Great ПРО//чтение: проверить за 60 секунд

С чего начать создание универсального искусственного интеллекта? С общения, конечно! Если он все умеет, то в первую очередь должен понять нашу естественную речь и ответить не в виде ноликов и единиц, а в понятной нам форме. Организаторы конкурса Up Great ПРО//чтение формализовали эту задачу — победитель должен создать программу, умеющую выявлять фактические и смысловые ошибки в академических эссе за 30 секунд не хуже, чем специалист. Конкурс продлится до 2022 года, а наградами станут по 100 млн рублей (!) за создание вышеуказанных систем для работы с текстами на русском и английском языках.

Организовавшая конкурс Российская венчурная компания (РВК) признает, что столь заметная сумма вызвана сложностью задачи — на данный момент в мире не известно ни одного решения, и фактически участникам приходится проводить научное исследование. Для поощрения участников могут быть выданы менее значительные денежные призы за решение промежуточных задач.

От теста Тьюринга к прочтению текстов

Юрий Чехович рассказал, что основным мотивом участия в конкурсе были вовсе не деньги. «Мы хотели показать возможности технологий, применяемых в системе «Антиплагиат». Часто ее воспринимают как карательную, но на самом деле в нее заложен исследовательский потенциал, который позволит создавать автоматических помощников для написания текста человеком».

Что касается, конкурсного задания, то Чехович сравнивает его с современным тестом Тьюринга: «Задача участников конкурса — сделать алгоритм, который наилучшим образом будет моделировать деятельность преподавателя. Фактически мы проходим специфический тест Тьюринга — в идеальном случае сторонний наблюдатель не отличит результат работы машины от результата учителя».

Тест Тьюринга был придуман в 1950-х годах, ученый считал его стандартом на «понимание» человека компьютером. Фактически он сводится к «чату» судей с испытуемыми и машинами. При этом члены жюри не знают, кто с ними общается, если в 30% случаев они принимают машину за человека, тест считается пройденным. В своем классическом виде он был пройден в 2014 году, программу создали выходцы из России.

Но наше восприятие меняется. В 50-е годы и игра компьютера в шахматы на уровне чемпиона мира считалась невозможной. В конце 20 века эта задача была решена, а в начале 21 века началось бурное развитие искусственного интеллекта во многих других направлениях. Вычислительные мощности настолько подешевели, что стало возможным создавать многослойные нейросети и применять к ним глубокое обучение. В результате компьютерные системы смогли превзойти человека в распознавании изображения, настольных и компьютерных играх.

Упростилось и обучение ИИ — в систему загружались примеры, а она училась на их базе создавать что-то новое. Например, на базе алгоритмов обработки естественных языков GPT-3 удалось научить компьютеры писать сочинения, сравнимые с творением школьника. В таких условиях сделать чат, в котором машина ведет себя похоже на человека, стало уже решаемой задачей. Тем более что разработчики шли на всякие хитрости: машина пускалась шутить или возмущалась, когда алгоритмы не могли дать четкого ответа.

Настала пора взойти на новую ступень — не просто проанализировать текст, но и дать понятные замечания по обнаруженным ошибкам. Чего удалось достичь и почему учителям все еще приходиться проверять школьные сочинения?

Как ЕГЭ помог искусственному интеллекту

«Школа — естественное расширение нашего формата», — считает Чехович. Он добавляет, что там пока нет большой необходимости в системе «Антиплагиат», зато нужна обработка текстов. И для нее подходят уже применяемые в компании алгоритмы. Разумная работа с естественными языками — давняя мечта человечества, исполнение которой приблизилось с внедрением глубокого обучения. Для обучения в программу загружаются эссе, в которых ошибки уже отмечены специалистами. Сейчас организаторами размечено около 2400 эссе на русском и английском языках.

Обучившись даже на такой скромной обучающей выборке, ИИ показывает неплохой результат. Юрий показывает пример эссе по «Войне и миру» — большая часть замечаний как будто написана учителем. И только парочка невразумительных комментариев выдают программу. Например, фразу «Вернувшись обновленным в Лысые горы … князь Андрей теряет жену» искусственный интеллект помечает как ошибку. И даже уточняет, что Андрей приехал туда вместе с женой. Однако здесь есть доля вины разработчиков, которые не учли тот факт, что однотипных событий вида «князь Андрей приезжает в Лысые горы» может быть несколько и алгоритму стоило бы продолжить проверку фактуры по тексту.

Пример анализа текста ИИ. Зеленым выделены удачные фрагменты, красным — ошибки. Наведя курсор на выделенный фрагмент, можно получить пояснения по ошибке. В нашем случае сочетание
Пример анализа текста ИИ. Зеленым выделены удачные фрагменты, красным — ошибки. Наведя курсор на выделенный фрагмент, можно получить пояснения по ошибке. В нашем случае сочетание «свое собственное» несет лишнее слово, достаточно было бы любого из них

©  Популярная Механика