ChatGPT сдал медицинский экзамен USMLE на право работать врачом в США
СМИ сообщили, что ChatGPT сдал медицинский экзамен United States Medical Licensing Examination (USMLE) на право работать врачом в США. Чат-бот успешно ответил на 88,9% вопросов и заданий теста из 350 медицинских задач при проходном пороге в 60%. В рамках научного исследования два практикующих доктора оценивали ответы ChatGPT, а расхождения в результат теста рассматривались отдельно третьим экспертом.
USMLE — это экзамен, который необходимо сдать, чтобы иметь право работать лечащим врачом в США и ряде других стран (Израиль, Новая Зеландия, Катар). Этот тест считается одним из самых сложных медицинских экзаменов в мире, а его сдача подтверждает высокий уровень знаний и компетенций начинающего врача, например, для студентов высших курсов педиатрического направления или специалистов общей практики из других стран.
Во время проверки ChatGPT выяснилось, что нейросеть предоставила «по крайней мере одно важное открытие» при установке диагноза, которое было «новым, неочевидным и клинически достоверным» в рамках своих правильных ответов.
«Достижение проходного балла за этот общеизвестно сложный экспертный экзамен без какой-либо помощи со стороны человека знаменует собой заметную веху в развитии медицинского ИИ», — пояснили СМИ исследователи из технологической компании AnsibleHealth, проводившие экзамен с ChatGPT.
Специалисты AnsibleHealth считают, что полученные ими результаты позволяют предположить, что ChatGPT может стать ценным инструментом для получения медицинского образования. Они рассказали, что чат-бот обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть недоступны для учащихся в первом понимании.
Одновременно с ChatGPT экзамен USMLE сдавала нейросеть PubMedGPT, обученная исключительно на медицинской литературе и профильных базах данных. Она дала лишь 50,8% правильных ответов.
В начале февраля чат-бот ChatGPT прошёл собеседование в Google на должность младшего инженера-программиста грейда L3 с зарплатой около $180 тыс. в год. В рамках тестового собеседования внутри компании ChatGPT обошёл по основным показателям языковую модель LaMDA от Google, ответив на все технические вопросы.
Разработчики из Open AI создали ChatGPT на суперкомпьютере Azure AI на основе языковой модели GPT-3,5. Чат-бот стремились сделать простым в использовании, корректным и «человечным». Его обучали с помощью большого количества текстов из Интернета и системы Reinforcement Learning from Human Feedback. ChatGPT может сдать экзамен MBA, решить тестовое задание, создавать простые полиморфные вирусы.
