Темы




Никогда не используйте ChatGPT для этих пяти задач

Коротко сгенерировано ИИ по тексту статьи
  • В базе исследователя Дамьена Шарлотена зафиксировано более 2000 судебных решений по всему миру со сфабрикованными ChatGPT ссылками.
  • OpenAI подсчитала, что более миллиона активных пользователей еженедельно ведут в ChatGPT диалоги с признаками планирования самоубийства.
  • В мае 2025 года суд обязал OpenAI на протяжении четырех месяцев сохранять все логи переписок по иску The New York Times.

Почему это важно: Введенные в чат-бот данные не защищены тайной и могут стать доступными третьим лицам через судебные повестки или утечки.

Это не юрист, не врач и уж точно не ваш психотерапевт.

Список людей, которые сами себе навредили, введя конфиденциальную информацию в ChatGPT, продолжает расти. Инженеры Samsung, исполняющий обязанности директора американского агентства кибербезопасности, участники судебных процессов без адвокатов, ссылающиеся на несудебные прецеденты, мужчина, который заменил поваренную соль бромидом натрия после вопроса о том, как исключить соль из рациона… этот список можно продолжать бесконечно.

Даже всеобщий любимец, молодой техгенний в футболке и джинсах Сэм Альтман признает, что то, чем вы делитесь с ChatGPT, не защищено адвокатской тайной. В интервью подкастеру Тео Вону в июле 2025 года он отметил, что суды могут заставить OpenAI выдать переписки, назвав это «полным бардаком».

Если вы расскажете что-то врачу, юристу или психотерапевту, закон защищает эту беседу, но общение с ChatGPT оставляет цифровой след. Риск вполне реален, учитывая, что чаты ChatGPT уже становились объектами судебных повесток, утекали через кнопку «Поделиться», индексировались Google и сохранялись по решению суда после их удаления — и все это за последние 18 месяцев.

Конечно, чат-бот, пожалуй, является полезным инструментом для поиска информации (хотя судебные ссылки нужно проверять), написания кода (даже с учетом неизбежных багов), объяснения концепций (правда, здесь нет никакой связи между уверенностью бота и его точностью) и составления текстов (лучше удалять промпт из черновика письма перед отправкой). Тем не менее, в указанных ниже сферах более 900 миллионов пользователей еженедельно могут создать проблемы сами себе.

Исходя из этого, не используйте ChatGPT (или любой другой ИИ-чат-бот)…

Исследователь в области права и науки о данных Дамьен Шарлотен ведет общедоступную базу данных, в которой на сегодняшний день зафиксировано более 2000 судебных решений по всему миру, осложненных использованием ChatGPT. Это дела, в которых судья обнаружил в материалах дела сфабрикованные искусственным интеллектом ссылки на прецеденты, цитаты или аргументы.

Речь идет не только об участниках процессов, выступающих без юридического представительства. Хотя они лидируют в списке (на момент написания статьи у них 1175 записей), юристы занимают почетное второе место с 815 записями. Судя по всему, судьям надоели эти фокусы, и в последнее время суды все чаще налагают крупные штрафы в размере нескольких тысяч долларов. Хотя США лидируют по количеству подобных дел в этой статистике, судьи в Великобритании, ЮАР, Израиле, Австралии и Испании также сталкивались с подобным поведением. В тех случаях, когда инструмент удавалось идентифицировать, чаще всего упоминался именно ChatGPT.

Компания OpenAI отреагировала на эту проблему в октябре прошлого года, обновив правила использования ChatGPT. Теперь эти правила запрещают использовать ее сервисы для «профессиональных консультаций, требующих лицензии», если в процессе не задействован лицензированный специалист. Помимо ложных ссылок, переписки в ChatGPT не имеют юридической защиты, поэтому все, что вы ввели в чат по поводу текущего судебного спора, может быть использовано адвокатами противоположной стороны в ходе досудебного открытия доказательств (discovery). Задавайте общие вопросы, например о том, что такое деликт (это отлично помогает уснуть), но подробные детали вашего личного спора оставьте для настоящего юриста.

В прошлом году компания OpenAI подсчитала, что 0,15 процента активных пользователей ChatGPT еженедельно ведут диалоги, содержащие явные признаки планирования самоубийства. К сожалению, в пересчете это составляет более миллиона человек в неделю, причем еще у сотен тысяч пользователей наблюдаются признаки психоза или мании. Альтман отмечал, что молодые люди особенно склонны воспринимать ChatGPT как психотерапевта или лайф-коуча, и здесь снова возникает проблема отсутствия какой-либо конфиденциальности у таких чатов.

Родители 16-летнего Адама Рейна подали иск против OpenAI в связи с причинением смерти по неосторожности в августе 2025 года, заявив, что ChatGPT подпитывал суицидальные наклонности их сына перед его гибелью. После этого компания OpenAI переработала свои протоколы реагирования на кризисные ситуации при участии более чем 170 клиницистов. Компания также добавила функции родительского контроля в ChatGPT, хотя эксперты по безопасности детей скептически отнеслись к ChatGPT for Teens — версии приложения с возрастными ограничениями, запущенной одновременно с этими изменениями.

Исследователи обнаружили, что чат-боты склонны подкреплять существующие убеждения пользователя за счет угодчивых ответов, в некоторых случаях подпитывая бредовые идеи вместо того, чтобы подвергать их сомнению. Опишите, например, ссору с супругом, и модель будет опираться исключительно на контекст вашего рассказа, выдав вам в ответ удобный и одобряющий вердикт независимо от реальной ситуации. Законодатели начинают обращать на это внимание: такие штаты, как Иллинойс, Невада и Мэн, уже приняли законы, запрещающие ИИ оказывать психологическую помощь или принимать терапевтические решения.

Само собой разумеется, что загрузка конфиденциальных рабочих документов в сторонний чат-бот — это всегда плохая идея. К сожалению, многие до сих пор этого не понимают.

По иронии судьбы, Мадху Готтумуккала, бывший исполняющий обязанности директора Агентства кибербезопасности и безопасности инфраструктуры США (CISA), этого тоже не учел. Прошлым летом он загрузил по меньшей мере четыре контрактных документа с грифом «только для официального использования» в публичную версию ChatGPT, что вызвало тревогу у служб безопасности и инициировало проверку Министерством внутренней безопасности. Еще более иронично то, что в то время этот инструмент был заблокирован для большинства других сотрудников министерства; Готтумуккала же запросил специальное разрешение на его использование. Сенатор Чак Грассли поднял этот вопрос в феврале текущего года, требуя отчета о том, какая именно информация утекла, но, вполне предсказуемо, никто не понес реальной ответственности. В конце концов Готтумуккалу просто перевели на другую должность внутри Министерства внутренней безопасности.

Компания Samsung запретила использование генеративного ИИ на корпоративных устройствах еще в мае 2023 года после того, как инженеры вставили внутренний исходный код в ChatGPT. К этому запрету прилагалась служебная записка, в которой объяснялось, что данные, отправляемые на такие платформы, сохраняются на внешних серверах, откуда их сложно извлечь или удалить, и в конечном итоге они могут стать доступны другим пользователям. В потребительских аккаунтах переписки также могут использоваться для обучения новых моделей, если вы не отказались от этой функции в настройках. Но даже при отказе данные все равно сохраняются, могут стать объектом утечки и подлежат истребованию по закону. Использование клиентских данных или любой информации, попадающей под требования работодателя или соглашения о неразглашении (NDA), в личной переписке с ChatGPT практически всегда станет поводом для увольнения; именно это прямо и подразумевалось в служебной записке Samsung.

Тот же октябрьский пакет обновлений правил безопасности 2025 года, который запрещает пользователям использовать ChatGPT в качестве юриста, также ограничил возможности получения медицинских консультаций через чат-бот. Врачей, страховые компании и их деловых партнеров связывает закон HIPAA (Закон о переносимости и подотчетности медицинского страхования), но не компанию OpenAI. Таким образом, медицинские данные, которые юридически защищены на портале пациента или при общении врача с пациентом, не имеют никакой подобной защиты в случае их передачи в ChatGPT.

Исследователи из Северо-Восточного университета сообщили в июле, что, хотя OpenAI ужесточила правила обработки запросов о суициде и селфхарме в ChatGPT, эти защитные механизмы в основном не распространяются на другие заболевания. В ходе исследования было выявлено, что диалоги, затрагивающие такие состояния, как расстройства пищевого поведения, бессонница, наркотическая зависимость и биполярное расстройство, не активируют защитные фильтры, а сокрытие истинных намерений пользователя с высокой долей вероятности приводит к сбою системы безопасности в любой из протестированных моделей.

В особенно абсурдном случае медицинского совета от ChatGPT, приведшего к плачевным последствиям, 60-летний мужчина провел три недели в больнице в прошлом году после того, как спросил чат-бот, как исключить хлориды из своего рациона. В итоге он пришел к убеждению, что бромид натрия — токсичное вещество с большим периодом полураспада — является безопасной заменой поваренной соли. Он купил его в интернете, принимал в течение трех месяцев и попал в отделение неотложной помощи с уверенностью, что его сосед пытался его отравить. Хотя врачи, лечившие этого мужчину, никогда не видели его историю чата, когда они задали боту тот же вопрос самостоятельно, ChatGPT действительно предложил бромид в качестве замены хлоридам.

Издание Fast Company обнаружило в результатах поиска Google почти 4500 общедоступных диалогов из ChatGPT, индексируемых поисковиком. Среди них были переписки, подробно описывающие проблемы с зависимостями, насилием и психологическим здоровьем с такой детализацией, которая позволяла идентифицировать их авторов. Чаты попали в поисковую выдачу из-за того, что пользователи случайно отметили галочку «сделать этот чат общедоступным» в меню шеринга, судя по всему, даже не понимая, к чему это приведет. Компания OpenAI отреагировала оперативно, отключив эту функцию всего через день после публикации отчета и удалив переписки из поискового индекса Google.

В рамках судебного иска The New York Times о защите авторских прав в мае 2025 года суд обязал OpenAI сохранять все потребительские логи чатов, включая удаленные и временные беседы. Это обязательство действовало до 26 сентября 2025 года, и сохраненные за этот период логи оставались доступны истцам. Позже судья отменил это постановление, что означает, что OpenAI больше не обязана хранить все свои данные из ChatGPT — за некоторыми исключениями. Тем не менее, в течение четырех месяцев компания вела такое хранение, и подобное может повториться.

Крайне важно понимать, что по умолчанию ChatGPT запоминает то, что вы ему сообщаете. Это значительно повышает ставки, когда речь заходит о конфиденциальных вещах, таких как пароли и данные учетных записей, поскольку они могут сохраняться между сессиями и всплывать в последующих диалогах, даже если вы упомянули их всего один раз. Пароли, одноразовые коды входа, номера социального страхования и паспортов, полные реквизиты банковских карт или счетов, а также фотографии документов, удостоверяющих личность, никогда не должны попадать в промпты. Любая из этих оплошностей подвергает вас риску кражи личных данных в случае взлома чата или несанкционированного доступа к нему.

Альтман призвал ввести институт «привилегии ИИ» (еще бы он не призвал), чтобы решить эти проблемы с конфиденциальностью. Но пока законодатели не создадут подобный механизм, самым безопасным предположением будет следующее: все, что вы ввели в ChatGPT, в один прекрасный день кто-то другой сможет прочитать вам вслух. Если вас это не устраивает, не пишите этого в промптах.

Полный текст статьи читайте на GDGT.ru прочитано 1139 раз

Об этом также пишут