OpenAI научилась определять сгенерированный в ChatGPT текст
Компания OpenAI разработала инструмент, который позволяет добавить водяной знак в текст, сгенерированный в ее чат-боте ChatGPT. Благодаря этому можно определить, что тот или иной материал был создан с помощью этой нейросети. Об этом сообщается в блоге разработчиков.
Водяной знак представляет собой определенные шаблоны, которые с наибольшей вероятностью будет использовать нейросеть при генерации текста. Специальная программа позволяет определить, как построены отдельные фрагменты фраз или целые предложения, и выяснить, использовал ли автор материала ChatGPT. Как отметили в OpenAI, их метод создания водяных знаков очень точным и эффективным, в том числе против перефразирования. Это значит, что если самостоятельно поменять некоторые слова на синонимы, все равно будет понятно, что текст создан при помощи ChatGPT. Однако существуют способы обхода такой защиты. Например, можно попросить перефразировать текст с помощью другой нейросети.
В OpenAI отмечают и другую проблему. Водяные знаки могут негативно сказаться на людях, которые используют ChatGPT для общения на английском в качестве иностранного языка. Нейросети стали популярным инструментом для этих целей. Метод защиты текста может «стигматизировать использование ИИ» в этой сфере. Но и это не все. Как пишет The Wall Street Journal, согласно опросу OpenAI, почти 30% пользователей ChatGPT отказались бы от сервиса, если бы в нем внедрили водяные знаки.
Пока что разработчики не собираются добавлять такой метод защиты в свой сервис. По мнению части сотрудников, изменения бы сильно сказались на прибыли компании. Сейчас в OpenAI разрабатывают альтернативные методы. Например, среди них оказалось использование метаданных. Предполагается, что информация о происхождении текста будет защищена с помощью криптографии. «Мы все еще находимся на ранних стадиях исследования, поэтому еще слишком рано оценивать, насколько эффективным будет подход», — добавили разработчики.
В конце июля OpenAI представила новый ИИ-поисковик SearchGPT. Пока что сервис существует в виде прототипа. Однако новинку уже называют «убийцей Google».
