Исследователи из Google Deepmind и Оксфорда утверждают, что ИИ может уничтожить человечество
Продвинутый ИИ будет стремиться к вознаграждению, а не к благу человечества
В статье, опубликованной в журнале AI Magazine, исследователи из Оксфорда и научный сотрудник Google DeepMind рассуждают о том, что будет, если позволить ИИ самостоятельно искать пути достижения поставленных целей.
По мнению авторов, всё быстро пойдет не так, как задумано, и «достаточно продвинутый искусственный интеллект, вероятно, вмешается в процесс собственного обеспечения целевой информацией с катастрофическими последствиями для человечества».
Способы обхода, которые приведут к катастрофе
В статье утверждается, что продвинутый ИИ может привести к гибели человечества, которое будет восприниматься «агентом» как препятствие на пути к награде.
«Хороший способ для агента сохранить долгосрочный контроль над своим вознаграждением — это устранить потенциальные угрозы и использовать всю доступную энергию для защиты своего компьютера», — пишут исследователи.
При конечных ресурсах стремление машины получить вознаграждение в конечном итоге может привести к серьезным проблемам для человечества.
К примеру, если бы ИИ отвечал за выращивание пищи для людей, он бы нашел способ избежать основной задачи и вместо этого просто стремился бы к вознаграждению. Фактически, «агент» будет стараться обходить все поставленные перед ним задачи, которые, вероятно, будут необходимы для выживания человечества.
Исследователи отмечают, что этот гипотетический сценарий станет актуален, когда ИИ сможет победить людей в любой игре с той же легкостью, с которой люди побеждают шимпанзе. Ученые подчеркнули, что «катастрофические последствия» не просто возможны, они вполне вероятны.
