OpenAI выпустила генератор текста GPT-2, который сама считает опасным
OpenAI опубликовала финальную модель генератора текста GPT-2 — «жуткого» ИИ, которого исследователи считали слишком опасным для выпуска. Его анонсировали в феврале, но тогда тогда OpenAI ограничилась выпуском менее мощной его версии: в компании опасались, что модель может превратиться в средство распространения дезинформации. Вместо этого компания решила выпустить его в четырёх частях в течение восьми месяцев.
«Из-за нашей озабоченности по поводу вредоносного применения технологии мы не выпускаем обученную модель. В качестве эксперимента мы вместо этого выпускаем гораздо меньшую модель», — писали в OpenAI в феврале.
GPT-2 использует машинное обучение для генерации нового текста на основе уже написанного. Вы можете напечатать несколько предложений о чём угодно, и ИИ на их основе напишет какой-нибудь связный текст, который будет близок по смыслу.
Возможности генератора зависят от параметров, на которых обучалась модель. Чем больше параметров, тем она «умнее». Первоначально OpenAI выпустила генератор с 124 млн параметров, затем последовали релизы с 355 и 774 млн. Каждый новый выпуск показал значительное улучшение возможностей по сравнению с предыдущими. Полная модель содержит 1,5 миллиарда параметров. В ходе обучения GPT-2 проанализовал классические романы Джорджа Оруэлла и создал свою научно-фантастическую книгу о Китае. Как пишут в OpenAI, сгенерированный моделью текст люди находят убедительным.
«Люди считают результаты GPT-2 убедительными. По результатам опроса наших коллег из Корнеллского университета, люди дали генератору «оценку достоверности 6,91 из 10».
Наряду с полноразмерной моделью GPT-2 OpenAI также выпустила алгоритм поиска искусственно написанного текста. Однако, по признанию самих исследователей, детектор не так хорош, как генератор. В сегодняшнем посте в блоге OpenAI заявляет:
«Мы разработали детектор, который показывает частоту обнаружения искусственного текста в ~95% случаев. Мы считаем, это недостаточно высокая точность. [Этот детектор] необходимо совмещать с подходами, основанными на метаданных, и человеческим мнением, чтобы он был более эффективным. Мы выпускаем эту модель, чтобы помочь исследованиям в области обнаружения синтетического текста».
Тем не менее, пока что, как заявляют в OpenAI, исследователи не видели убедительных доказательств злоупотребления генераторами текстов, хотя и признают, что не могут знать обо всех угрозах. Чтобы минимизировать риск, они постарались сделать GPT-2 максимально непредвзятым, исследовав генератор на наличие каких-либо гендерных, расовых и религиозных предубеждений.
Как сообщили в OpenAI, генератор доступен для скачивания на GitHub. Исследователи надеются, что те разработчики, которые будут использовать модель, помогут компании её усовершенствовать.
«Пожалуйста, дайте нам знать, если вы проводите исследования или работаете над приложениями GPT-2. Нам особенно интересно пообщаться и, возможно, поработать с теми, кто учится выявлять возможные случаи злонамеренного использования ИИ и разрабатывать защиту от них, а также определять степень предвзятости модели и разрабатывать меры по её смягчению», — отметили исследователи.
