ChatGPT и Sage не смогли сдать университетский экзамен по истории на «отлично»
Но крепкий «трояк» им, всё же, поставили.
В Уральском федеральном университете (УрФУ) прошёл эксперимент, который позволил выявить слабые стороны нейросетей ChatGPT и Sage. Информацию об этом опубликовали ведущие российские новостные издания. Учёные университета заявили, что нейросети пока не могут сдать вузовский экзамен по истории «на отлично», поскольку не в состоянии в тонкостях оценить нюансы языков разных эпох, а недостающие факты заменяют выдуманными вещами.
Сам «экзамен» проводил доцент кафедры истории России УрФУ Михаил Киселев. Преподаватель назвал нейросети «студентом-импровизатором» и поставил «тройку» по итогам испытаний.
«Есть тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», — подытожил Киселёв.
Например, на вопрос «Какие историки писали о завещании Василия III?» обе упомянутые нейросети сначала заявили, что об этом «писали многие историки», но затем назвали наиболее известных дореволюционных учёных, которые писали обобщающие работы по истории России. При этом необходимых авторов легко можно «нагуглить» прямо сейчас.
«Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу «История Российского государства». Если представить, что такая беседа велась на экзамене, то можно сказать, что студент «поплыл» из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — заключил Киселёв.
