ИИ-систему DeepCom от Microsoft раскритиковали за возможность использования в распространении дезинформации
Исследователи из Принстонского университета и Google Brain Research раскритиковали алгоритм, который разработан Microsoft Research Asia и Бэйханским университетом в Китае. Алгоритм обучен генерировать комментарии к новостям. Как считают некоторые эксперты, технология опасна тем, что её можно использовать в ходе кампаний по дезинформации.
«В статье пекинских исследователей представлена новая техника машинного обучения, основными применениями которой, по-видимому, являются троллинг и дезинформация», — написал в своем посте в твиттере Арвин Нараянан, специалист по вычислительной технике из Центра политики в области информационных технологий Принстонского университета.
Его поддержал Дэвид Ха, ученый из Google Brain Research. Ха с сарказмом спросил, выпустят ли исследователи алгоритм под названием DeepTroll или DeepWumao (Wumao — это название для китайских интернет-комментаторов, проплаченных Коммунистической партией Китая).
Алгоритм DeepCom может эффективно читать и комментировать новостные статьи, написанные на английском и китайском языках. Генерация комментариев под статьями может заинтересовать реальных читателей, утверждалось в статье. Авторы проекта также считают, что «открытый диалог позволяет людям обсуждать свое мнение и делиться новой информацией. Это, по их мнению, хорошо и для издателей, поскольку комментарии также повышают внимание читателей к написанной информации и стимулируют просмотр страниц», приводит слова авторов DeepCom газета The Register.
«Такие системы могут обеспечить возможность комментирования для новостного веб-сайта с нуля, расширить возможности чтения менее комментируемых новостных статей и обогатить списки навыков других приложений искусственного интеллекта, таких как чат-боты», — заявляют разработчики.
Как указано в статье на Ieee Spectrum, в документе, посвящённом алгоритму, который был загружен на arXiv 26 сентября, не упоминались этические проблемы, которые может вызвать использование технологии. Это упущение вызвало дискуссии в исследовательском сообществе. В итоге на arXiv загрузили обновленную статью, посвященную этим проблемам. В обновленной версии, например, было удалено заявление о том, что «автоматическое создание комментариев может быть полезно для реальных приложений».
«Мы знаем о потенциальных этических проблемах которые может вызвать применение этих методов для создания новостных комментариев, которые воспринимаются как человеческие, — написали исследователи в заключении обновленной статьи. — Мы надеемся стимулировать обсуждение лучших практик и средств контроля за этими методами для более ответственного использования технологии».
Документ исследователи планируют представить на конференции EMNLP, посвящённой обработке естественного языка (направление искусственного интеллекта и математической лингвистики, которое изучает проблемы компьютерного анализа и синтеза естественных языков), которая состоится в Гонконге 7 ноября. Арвин Нараянан призвал участников конференции задать вопросы авторам технологии.
