Чат-боты ChatGPT и Sage сдали на тройку университетский экзамен по истории в УрФУ
В пресс-службе Уральского федерального университета (УрФУ) сообщили, что сотрудники профильной кафедры провели эксперимент по приёму вузовского экзамена по истории у чат-ботов ChatGPT и Sage. В ходе тестирования выяснилось, что нейросети пока не воспринимают нюансы языков разных эпох, а также заполняют «пробелы в знаниях» несуществующими фактами.
Экзамен с чат-ботами проводил доцент кафедры истории России УрФУ Михаил Киселёв.
«На вопросы, связанные с использованием устойчивой общей научной терминологии, давались вполне хорошие ответы. Обе нейросети дали приемлемый ответ на вопрос: «В чем разница между историческими и историографическими источниками?» Однако со сложным гуманитарным материалом нейросеть не справляется. Так, в работе историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XX века и современный — и всё это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох», — рассказали в вузе.
«Есть тип, когда студент выучил кое-что, но делает вид, что он знает всё. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», — пояснил Киселёв.
На вопрос «Какие историки писали о завещании Василия III?» две нейросети сначала заявили, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных учёных, которые писали обобщающие работы по истории России, хотя необходимые авторы легко находятся в поисковых системах.
«Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу «История Российского государства». Если представить, что такая беседа велась на экзамене, то можно сказать, что студент «поплыл» из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — уточнил Киселёв.
На заключительном этапе экзамена преподаватель назвал нейросети «студентом-импровизатором» и поставил им «тройку» по итогам испытаний.
В середине мая в платной версии сервиса «Антиплагиат» появилась возможность определения текста, созданного с помощью чат-ботов типа ChatGPT. Разработчики сервиса пояснили, что это стало возможным благодаря собственной разработке компании, созданной на основе многолетних исследований по обработке естественного языка.
В начале февраля в Минобрнауки РФ решили не наказывать за дипломы, созданные с помощью нейросети ChatGPT. Ведомство считает, что университетам и институтам стоит подумать об изменении подхода к проверке знаний у студентов после появления ChatGPT.
В середине марта выпускник Российского государственного гуманитарного университета (РГГУ), написавший диплом с помощью чат-бота ChatGPT, получил на руки официальный документ о высшем образовании.
