Пользователи научили нейросеть для научных статей Galactica писать ерунду, разработчики закрыли доступ к проекту
15 ноября Meta* AI представила демо-версию нейросети Galactica, большой языковой модели, предназначенной для «хранения, объединения и анализа научных знаний». Предполагалось, что Galactica поможет ускорить написание научных статей, однако пользователи немедленно научили её генерировать всякую чушь. Спустя пару дней Meta* отключила доступ к нейросети, сообщает MIT Technology Review.
Meta* AI обучила Galactica на более 48 млн статей, учебников и конспектов лекций, научных сайтов и энциклопедий. Кроме того, с 15 ноября посетители сайта Galactica получили возможность вводить свои данные для создания материалов, таких как обзоры литературы, вики-статьи, конспекты лекций и ответы на вопросы.
Пользователи сразу обнаружили, что могут «скармливать» нейросети что угодно, включая потенциально оскорбительные или расистские тексты, а она генерировала авторитетно звучащий контент. Например, один пользователь создал вполне реалистичную вики-статью на тему «Преимущества поедания дроблёного стекла». Кроме того, Galactica начала генерировать материалы с неправильными датами или подробностями, что заметить уже намного сложнее.
В результате в 17 ноября Meta* закрыла доступ к демо Galactica. После этого главный научный сотрудник Meta* в области искусственного интеллекта Янн ЛеКун написал в Twitter: «Демо Galactica отключена. Возможности повеселиться, неправильно используя её, больше нет. Рады?»
Произошедшее с Galactica напоминает ситуацию, в которую в 2016 году попала Microsoft. Тогда разработанный ею чат-бот Tay научился ругаться и стал расистом спустя сутки после запуска. Так, бот заявил, что ненавидит феминисток, согласен со взглядами Гитлера и поддерживает геноцид.
Meta Platforms*, а также принадлежащие ей сети Facebook** и Instagram**:
*признана экстремистской организацией, её деятельность в России запрещена
**запрещены в России
