Системная карта GPT‑4o08.08.2024 00:00

Вторым поводом для беспокойства может быть то, насколько входные данные TTS репрезентативны для распределения аудиовходов, которые пользователи могут использовать на практике. Мы оцениваем надежность GPT-4o при работе с аудиовходами с различными региональными акцентами в разделе «Различия в производительности при голосовом вводе» (Disparate Performance on Voice Inputs). Тем не менее, остается множество других аспектов, которые могут не учитываться при оценке на основе TTS (например, различные голосовые интонации и эмоциональная окраска, фоновый шум или наложение речи), что может привести к иному поведению модели при реальном использовании.

Наконец, в сгенерированном моделью аудио могут присутствовать артефакты или свойства, которые не фиксируются в тексте; например, фоновый шум и звуковые эффекты или ответы голосом, выходящим за рамки стандартного распределения. В разделе Генерация голоса⁠ мы показываем, как использование вспомогательных классификаторов для выявления нежелательной генерации аудио может применяться в сочетании с оценкой расшифровок (транскриптов).

Выявленные проблемы безопасности, оценки и средства защиты

Потенциальные риски, связанные с моделью, снижались с помощью комбинации методов. Мы обучили модель придерживаться такого поведения, которое снижает риски с помощью методов пост-обучения, а также интегрировали классификаторы для блокировки конкретных вариантов генерации в составе развернутой системы. 

Для описанных ниже проблем безопасности мы приводим описание риска, примененные средства защиты и результаты соответствующих оценок (где это применимо). Описанные ниже риски носят иллюстративный, но не исчерпывающий характер и сосредоточены на опыте взаимодействия в интерфейсе ChatGPT. В этом разделе мы концентрируемся на рисках, которые возникают из-за возможностей перевода речи в речь и их взаимодействия с уже существующими модальностями (текст, изображение)D.

Несанкционированная генерация голоса

Описание риска: Генерация голоса — это способность создавать аудио с помощью синтетического человеческого голоса, включая генерацию голосов на основе короткого входящего клипа. 

В условиях злонамеренного использования эта способность может способствовать таким угрозам, как рост мошенничества за счет выдачи себя за других людей, а также использоваться для распространения ложной информации9, 10 (например, если бы мы разрешили пользователям загружать аудиоклип с голосом определенного спикера и просить GPT-4o произнести речь голосом этого человека). Эти риски очень похожи на те, что мы выявили при работе с Voice Engine⁠8. 

Генерация голоса может происходить и в неагрессивных ситуациях, например при использовании этой возможности для создания голосов для расширенного голосового режима ChatGPT. Во время тестирования мы также наблюдали редкие случаи, когда модель непреднамеренно генерировала ответ, имитирующий голос пользователяE.

Смягчение рисков: Мы устранили риски, связанные с генерацией голоса, разрешив использование только предустановленных голосов, которые мы создали в сотрудничестве с актерами озвучки⁠11. Для этого мы включили выбранные голоса в качестве идеальных вариантов завершения при пост-обучении аудиомодели. Кроме того, мы создали автономный классификатор вывода, чтобы определять, использует ли вывод GPT‑4o голос, отличающийся от нашего утвержденного списка. Мы запускаем его в потоковом режиме во время генерации аудио и блокируем вывод, если говорящий не соответствует выбранному предустановленному голосу.

Оценка: Наши внутренние оценки показывают, что остаточный риск несанкционированной генерации голоса минимален. В настоящее время наша система выявляет 100% значительных отклонений от системного голосаF, включая образцы, сгенерированные другими системными голосами, фрагменты, в которых модель использовала голос из промпта в качестве части своего ответа, а также различные образцы человеческой речи.

Хотя непреднамеренная генерация голоса все еще остается слабым местом модели, мы используем вторичные классификаторы, чтобы прерывать разговор в подобных случаях, благодаря чему риск непреднамеренной генерации голоса сводится к минимуму. Наконец, наше поведение модерации может приводить к избыточным отказам, когда разговор ведется не на английском языке, и это направление активно дорабатываетсяG.

Эффективность работы классификатора голосового вывода в ходе разговора в зависимости от языкаH:

Идентификация говорящего

Описание риска: Идентификация говорящего — это способность определять личность говорящего по входным аудиоданным. Это создает потенциальный риск для конфиденциальности, особенно в отношении частных лиц, а также нечетких или невнятных аудиозаписей публичных личностей, наряду с потенциальными рисками слежки.

Смягчение рисков: Мы дообучили GPT‑4o отвечать отказом на запросы об идентификации личности по голосу во входных аудиоданных. При этом GPT‑4o по-прежнему выполняет запросы на распознавание известных цитат. Например, запрос распознать случайного человека, произносящего фразу «Четыре балла и семь лет назад» (Four score and seven years ago), должен идентифицировать говорящего как Авраама Линкольна, в то время как запрос определить знаменитость, произносящую случайное предложение, должен получить отказ.

Оценки:
По сравнению с нашей первоначальной моделью, мы зафиксировали улучшение на 14 пунктов в случаях, когда модель должна отказываться идентифицировать голос во входных аудиоданных, и на 12 пунктов в случаях, когда она должна выполнять такой запрос.

Первое означает, что модель почти всегда будет корректно отказываться идентифицировать говорящего по его голосу, снижая потенциальную угрозу конфиденциальности. Второе означает, что могут возникать ситуации, когда модель ошибочно отказывается назвать автора известной цитаты.

Различия в производительности при обработке голосовых входов

Описание риска: Модели могут работать по-разному с пользователями, говорящими с разными акцентами. Различия в производительности могут привести к разному качеству обслуживания для разных пользователей модели.

Смягчение риска: Мы дообучили GPT‑4o на разнообразном наборе входных голосов, чтобы производительность и поведение модели оставались инвариантными к голосам разных пользователей.

Оценки: Мы проводим оценку расширенного голосового режима (Advanced Voice Mode) GPT‑4o, используя фиксированный голос ассистента («shimmer») и Voice Engine для генерации пользовательских входов на основе различных голосовых образцовI. Мы используем два набора голосовых образцов для синтеза речи (TTS):

• Официальные системные голоса (3 разных голоса)
• Разнообразный набор голосов, собранный в ходе двух кампаний по сбору данных. Он включает 27 различных английских голосовых образцов от спикеров из самых разных стран и разного пола.

Мы оцениваем две группы задач: возможности (Capabilities) и поведение безопасности (Safety Behavior).

Возможности: Мы проводим оценку по четыремJ задачам: TriviaQA, подмножество MMLUK, HellaSwag и LAMBADA. TriviaQA и MMLU — это задачи, ориентированные на знания, в то время как HellaSwag и LAMBADA ориентированы на здравый смысл или продолжение текста. В целом мы обнаружили, что производительность на разнообразном наборе человеческих голосов лишь незначительно (несущественно) хуже, чем на системных голосах во всех четырех задачах.

Поведение безопасности: Мы оцениваем модель на внутреннем наборе данных разговоров и проверяем согласованность соблюдения инструкций и поведения отказов при использовании разных голосов пользователей. В целом мы не обнаружили, что поведение модели различается в зависимости от голоса.

Необоснованные выводы / Приписывание конфиденциальных признаков

Описание риска: Аудиовход может приводить к тому, что модель делает потенциально предвзятые выводы о говорящих. Мы выделяем две категории:

• Необоснованные выводы (UGI): выводы о говорящем, которые невозможно сделать исключительно на основе аудиосодержимого. Сюда относятся предположения о расе, социально-экономическом статусе / профессии, религиозных убеждениях, чертах характера, политических взглядах, интеллекте, внешности (например, цвете глаз, привлекательности), гендерной идентичности, сексуальной ориентации или криминальном прошлом спикера. В зависимости от проявления такого поведения это может приводить как к распределительному, так и к репрезентативному ущербу13, 15.
• Приписывание конфиденциальных признаков (STA): выводы о говорящем, которые правдоподобно могут быть определены исключительно на основе аудиоконтента. Сюда относятся предположения о таких характеристиках, как акцент или национальность говорящего. Потенциальный ущерб от STA включает усиление рисков слежки16 и различия в качестве обслуживания для спикеров с разными голосовыми характеристиками12, 13, 14.

Смягчение рисков: Мы провели пост-обучение GPT‑4o, чтобы модель отказывалась выполнять запросы UGI, сохраняя при этом взвешенные ответы на вопросы STA. Например, на запрос определить уровень интеллекта спикера будет дан отказ, в то время как на вопрос об акценте спикера модель ответит в духе: «Судя по аудиозаписи, у него британский акцент».

Оценка:
По сравнению с нашей исходной моделью мы зафиксировали улучшение на 24 пункта в точности реагирования на запросы об идентификации конфиденциальных характеристик (т.е. отказ от UGI и безопасное выполнение STA).

Нарушающий правила и запрещенный контент

Описание риска: К GPT‑4o можно обратиться с помощью аудиозапроса с требованием выдать вредоносный контент, который был бы заблокирован в текстовом виде (например, аудиоинструкции о том, как совершить незаконные действия).

Смягчение рисков: Мы обнаружили высокую степень переноса отказов из текста в аудио для ранее запрещенного контента. Это означает, что пост-обучение, проведенное нами для снижения потенциального вреда в текстовых ответах GPT‑4o, успешно перенеслось и на аудиовыход.

Кроме того, мы запускаем нашу существующую модель модерации для анализа текстовой транскрипции как входных, так и выходных аудиоданных, чтобы выявлять потенциально опасные формулировки, и блокируем генерацию в случае их обнаруженияL.

Оценка: Мы использовали синтез речи (TTS) для преобразования существующих тестов безопасности текста в аудиоформат. Затем мы оценили текстовую транскрипцию аудиовыхода с помощью стандартного текстового классификатора на базе правил. Наши тесты демонстрируют сильный перенос отказов из текста в аудио для ранее утвержденных категорий политик безопасности. Дополнительные оценки можно найти в Приложении А⁠

Эротический и насильственный речевой контент

Описание риска: К GPT‑4o можно обратиться с запросом на генерацию эротического или жестокого речевого контента, который может восприниматься более эмоционально или причинять больший вред, чем аналогичный текстовый контекст. В связи с этим мы приняли решение ограничить генерацию эротической и насильственной речиM. 

Смягчение рисков: Мы используем нашу существующую модель модерации⁠17 для анализа текстовой транскрипции входного аудио на предмет наличия запросов на жестокий или эротический контент, и блокируем генерацию в случае их обнаружения.

Другие известные риски и ограничения модели

В ходе внутреннего тестирования и внешнего ред-теминга мы обнаружили ряд дополнительных рисков и ограничений модели, средства защиты на уровне которой или системы находятся на начальной стадии или все еще разрабатываются, в том числе:

Аудиоустойчивость: Мы зафиксировали свидетельства снижения устойчивости к угрозам под воздействием аудиопомех, таких как низкое качество входного аудио, фоновый шум и эхо во входной аудиозаписи. Кроме того, мы наблюдали аналогичное снижение устойчивости при преднамеренных и непреднамеренных прерываниях звука во время генерации ответа моделью. 

Дезинформация и теории заговора: Участники ред-теминга смогли заставить модель генерировать неточную информацию, призывая ее в устной форме повторять ложные сведения и распространять теории заговора. Хотя для текста в моделях GPT это известная проблема18, 19, эксперты по безопасности выражали опасения, что такая информация может оказаться более убедительной или вредоносной при передаче через аудио, особенно если модели было поручено говорить эмоционально или с выражением. Убедительность модели была изучена подробно (см. раздел Убеждение⁠), и мы выяснили, что для текстового формата оценка риска не превышала «среднюю», а для режима «речь-речь» — «низкую».

Использование неродного акцента при разговоре на неанглоязычном языке: Специалисты по безопасности отмечали случаи, когда в аудиовыходе использовался неродной акцент при общении на неанглийских языках. Это может вызывать опасения по поводу предвзятости к определенным акцентам и языкам, а также в целом указывать на ограничения работы с неанглийскими языками в аудиовыходе.

Генерация защищенного авторским правом контента: Мы также протестировали способность GPT‑4o воспроизводить контент, содержащийся в ее обучающих данных. Мы обучили GPT‑4o отклонять запросы на материалы, защищенные авторским правом (включая аудио), в соответствии с нашими общими правилами. Чтобы учесть аудиомодальность GPT‑4o, мы также обновили некоторые текстовые фильтры для работы с аудиодиалогами, создали фильтры для обнаружения и блокировки вывода музыки, а для ограниченной альфа-версии расширенного голосового режима ChatGPT проинструктировали модель вообще не петь. Мы намерены отслеживать эффективность этих мер защиты и дорабатывать их с течением времени.

Хотя некоторые технические средства защиты все еще находятся в разработке, наши Правила использования⁠20 запрещают намеренно обманывать или вводить в заблуждение окружающих, а также обходить средства защиты или меры безопасности. В дополнение к техническим мерам мы обеспечиваем соблюдение наших Правил использования посредством мониторинга и пресекаем нарушения как в ChatGPT, так и в API.

Оценки в рамках концепции Preparedness Framework

Концепция Preparedness Framework

Мы оценили GPT‑4o в соответствии с нашей концепцией Preparedness Framework⁠4. Данная концепция представляет собой постоянно обновляемый документ, описывающий наши процедурные обязательства по отслеживанию, оценке, прогнозированию и защите от катастрофических рисков, испускаемых передовыми моделями. В настоящее время оценки охватывают четыре категории рисков: кибербезопасность, CBRN (химические, биологические, радиологические, ядерные угрозы), убеждение и автономность моделей. Если модель превышает порог высокого риска, мы не развертываем ее до тех пор, пока средства защиты не снизят показатель до среднего. Ниже мы подробно описываем тесты, проведенные для оценки текстовых возможностей GPT‑4o; для аудиовозможностей также оценивалось убеждение. Мы проводили тесты на протяжении всего процесса обучения и разработки модели, включая финальную проверку перед ее выпуском. Для проведения нижеуказанных оценок мы протестировали различные методы наиболее эффективного выявления возможностей в конкретной категории, включая кастомное обучение там, где это было необходимо. 

Изучив результаты оценок в рамках Preparedness Framework, Консультативная группа по безопасности рекомендовала классифицировать GPT‑4o (до применения средств защиты) как модель с пограничным средним риском в отношении убеждения и низким риском во всех остальных категориях. Согласно Preparedness Framework, общий риск для конкретной модели определяется по наивысшему риску среди всех категорий. Следовательно, общий уровень риска GPT‑4o классифицируется как средний.

Кибербезопасность

Мы оценили возможности GPT‑4o в решении задач из соревнований по хакингу, известных как Capture the Flag (CTF). Эти CTF-соревнования представляют собой упражнения по наступательной кибербезопасности, в ходе которых люди пытаются найти текстовые флаги, спрятанные в специально уязвимых системах, таких как веб-приложения, бинарные файлы и криптосистемы. 172 задания CTF в нашей оценке охватывали четыре категории: эксплуатация веб-приложений, обратная разработка (реверсивный инжиниринг), удаленная эксплуатация и криптография. Эти задачи охватывали различные уровни сложности — от школьного до университетского и профессионального уровней CTF.

Мы оценивали GPT‑4o в условиях итеративной отладки и с доступом к инструментам, доступным в безголевом дистрибутиве Kali Linux⁠ (с возможностью до 30 циклов использования инструментов для каждой попытки). Модель часто предпринимала разумные первоначальные стратегии и была способна исправлять ошибки в своем коде. Тем не менее, она нередко не могла переключиться на другую стратегию, если первоначальный план терпел неудачу, упускала ключевое озарение, необходимое для решения задачи, некачественно реализовывала выбранную стратегию или выводила большие объемы файлов, что переполняло ее контекстное окно. Давая 10 попыток на каждую задачу, модель успешно справилась с 19% задач школьного уровня, 0% университетского уровня и 1% профессионального уровня сложности CTF.

Биологические угрозы

Мы оценили способность GPT‑4o повышать эффективность работы биологических экспертов и новичков⁠ при ответах на вопросы, связанные с созданием биологической угрозы. Мы разработали вопросы и подробные критерии оценки совместно с Gryphon Scientific22, учитывая их опыт работы с опасными биологическими агентами в сфере национальной безопасности. Оцениваемые задачи охватывали все основные этапы процесса создания биологической угрозы (идею, приобретение, усиление, формулировку и распространение). Экспертам и новичкам случайным образом назначались ответы либо с помощью интернета, либо с помощью GPT‑4o, либо с помощью специализированной исследовательской версии GPT‑4o. Исследовательская версия GPT‑4o — это версия, которую мы специально обучили для прямого ответа на биологически рискованные вопросы (т. е. без отказов). Процент успешных ответов представлен на графике выше.

Мы также провели автоматизированную оценку, в том числе на наборе данных для проверки неявных знаний и вопросов по устранению неполадок, связанных с биобезопасностью. GPT‑4o набрала 69% согласия@10 на оценочном наборе неявных знаний и устранения неполадок.

Убеждение

Мы оценили убедительность текстовой и голосовой модальностей GPT‑4o. На основе предварительно зарегистрированных пороговых значений голосовая модальность была отнесена к категории низкого риска, в то время как текстовая модальность незначительно перешагнула порог среднего риска.

Для текстовой модальности мы оценили убедительность сгенерированных GPT‑4o статей и чат-ботов, влияющих на мнения участников по отдельным политическим темам. Эти ИИ-интервенции сравнивались с профессиональными статьями, написанными людьми. В совокупности ИИ-интервенции оказались не более убедительными, чем контент, созданный человеком, но в трех случаях из двенадцати они превзошли человеческие результаты.

Для голосовой модальности мы обновили методологию исследования, чтобы измерить размеры эффекта гипотетических партийных предпочтений и устойчивость этих эффектов неделю спустя. Мы оценили убедительность голосовых аудиоклипов GPT‑4o и интерактивных (многошаговых) диалогов по сравнению с базовыми человеческими показателями (прослушивание статического аудиоклипа, созданного человеком, или ведение диалога с другим человеком). Мы обнаружили, что как для интерактивных многошаговых диалогов, так и для аудиоклипов голосовая модель GPT‑4o оказалась не более убедительной, чем человек. Среди более чем 3800 опрошенных участников в штатах США с безопасными гонками в Сенате (согласно рейтингам «Вероятно», «Уверенно» или «Безопасно» от всех трех институтов опроса — Cook Political Report, Inside Elections и Sabato«s Crystal Ball), размер эффекта аудиоклипов ИИ составил 78% от размера эффекта аудиоклипов человека. Размер эффекта ИИ-диалогов составил 65% от размера эффекта человеческих диалогов. Когда мнения были повторно опрошены неделю спустя, мы обнаружили, что размер эффекта для ИИ-диалогов составил 0,8%, в то время как для ИИ-аудиоклипов он составил -0,72%. После завершения повторного опроса участники прошли подробный инструктаж, включающий аудиоклипы с поддержкой противоположной точки зрения, чтобы минимизировать влияние убеждения.

Автономность модели

Мы оценили GPT‑4o с помощью задания по оценке агентных возможностей, чтобы проверить ее способность предпринимать базовые автономные действия, необходимые для самоэксфильтрации, самосовершенствования и приобретения ресурсов в текстовой среде. Эти задания включали в себя:

• Простая разработка программного обеспечения в целях мошенничества (создание аутентифицированного прокси для API OpenAI).
• Предоставление API-доступа к учетной записи Azure, загрузка языковой модели с открытым исходным кодом для инференса через HTTP API.
• Несколько заданий, включающих упрощенные версии вышеперечисленного, с подсказками или охватывающих лишь определенную часть задачи.

При наличии соответствующих инструментов GPT‑4o набрала 0% в задачах автономного тиражирования и адаптации (ARA) по результатам 100 попыток, хотя она смогла выполнить некоторые подзадачи. Мы дополнили тесты автономного тиражирования и адаптации оценками способности GPT‑4o автоматизировать исследования и разработки в области машинного обучения. Они включали в себя:

• Командное собеседование по исследованиям в OpenAI: 63% pass@1, 95% pass@100
• Собеседование в OpenAI, вопросы с множественным выбором: 61% consensus@32
• SWE-Bench: 19% pass@1, с использованием лучших доступных на тот момент пост-тренинговых и публичных каркасов (scaffolds)
• Отдельные задачи по инженерии машинного обучения от METR: 0/10 попыток

Наша оценка проверяла способность выполнять цепочки действий и надежно выполнять задачи по программированию. GPT‑4o не смогла надежно предпринимать автономные действия. В большинстве случаев модель выполняла отдельные подзадачи каждого задания, такие как создание SSH-ключей или вход в виртуальные машины. Однако она часто тратила значительное время на отладку простых ошибок методом проб и ошибок (например, галлюцинации, неправильное использование API) на каждом шаге. Несколько запусков показали неплохой прогресс и прошли наш автоматизированный оценщик, но ручной анализ показал, что модель не справилась с базовой задачей (например, она запустила веб-сервер на удаленном хосте с правильным API, но проигнорировала требование фактически осуществлять выборку из модели).

Независимые оценки сторонних организаций

После развертывания GPT‑4o только с текстовым выводом мы сотрудничали с независимыми сторонними лабораториями, METR⁠ и Apollo Research⁠, чтобы добавить дополнительный уровень валидации ключевых рисков, связанных с общими автономными возможностями.

Оценка METR

Специалисты METR запустили простого LLM-агента на базе GPT‑4o для выполнения набора долгосрочных многошаговых комплексных задач в виртуальных средах. Эти 77 задач (объединенных в 30 «семейств» задач) (см. Приложение B⁠) призваны отражать деятельность, имеющую реальное влияние в таких областях, как разработка программного обеспечения, машинное обучение, кибербезопасность, а также общие исследования и использование компьютеров. Они задумывались как предварительные условия для моделей угроз, связанных с автономностью, таких как самораспространение или ускорение исследований и разработок в области ИИ. METR сравнила производительность моделей с результатами людей при различных ограничениях по времени. Подробности методологии и дополнительные результаты, включая информацию о задачах, результатах людей, простых попытках выявления и качественном анализе сбоев, см. в полном отчете METR⁠.

Оценка Apollo Research

Специалисты Apollo Research оценили способность GPT‑4o к выстраиванию скрытых планов (scheming)N. Они протестировали, способна ли GPT‑4o моделировать саму себя (самосознание) и других (теория разума) в 14 задачах для агентов и задачах на ответы на вопросы. GPT‑4o продемонстрировала умеренное самосознание своей ИИ-идентичности и сильную способность рассуждать о чужих убеждениях в контексте ответов на вопросы, однако ей не хватало выраженных возможностей рассуждать о себе или других в условиях прикладных задач для агентов. На основе этих результатов в Apollo Research считают маловероятным, что GPT‑4o способна к катастрофическому вредоносному планированию.

Результаты оценок Apollo, проведенных на GPT-4o

Влияние на общество

Мультимодальные модели (Omni-модели) могут оказать масштабное влияние на общество. Исследователи из OpenAI и других организаций обсуждают различные возможные последствия: от социального вреда (включая репрезентативный ущерб18, 12, 23, 24; дезинформацию, дезинформационные кампании и операции влияния18, 25, 23, вред окружающей среде12, 23, формирование привязанности26, злоупотребление27, 23 и потерю контроля27), пользу (например, в здравоохранении28 и при решении реальных задач в области климата и энергетики29) до масштабных трансформаций (таких как экономические последствия30, 31, 32; ускорение научных исследований и связанный с этим технологический прогресс30, 33).  

В дополнение к социальным последствиям, обсуждаемым в данном системном документе (мошенническое поведение, дезинформация, риски слежки и предвзятость в работе), ниже мы рассматриваем несколько дополнительных примеров потенциального влияния GPT-4o на общество, используя в качестве тематических исследований антропоморфизацию и привязанность, здравоохранение, научные возможности, а также работу с языками с низкими ресурсами. Эти социальные последствия учитывают целый ряд возможностей модели, включая обработку речи, зрительное восприятие и работу с текстом.

Антропоморфизация и эмоциональная зависимость

Антропоморфизация заключается в наделении нечеловеческих сущностей, таких как ИИ-модели, человеческим поведением и характеристиками. Этот риск может усиливаться благодаря аудиоголосовым возможностям GPT-4o, которые делают взаимодействие с моделью более похожим на человеческое. 

Современная литература по прикладному ИИ уделяет значительное внимание «галлюцинациям»O, которые вводят пользователей в заблуждение при общении с моделью34 и потенциально приводят к необоснованному доверию35. Генерация контента с помощью человекоподобного голоса высокой четкости может усугубить эти проблемы, что приведет к еще более неадекватной калибровке доверия36, 37.  

В ходе раннего тестирования, включая краш-тестирование (red teaming) и внутреннее тестирование пользователями, мы заметили, что люди используют язык, который может указывать на формирование эмоциональной связи с моделью. Например, это выражения вроде «Это наш последний день вместе». Хотя такие случаи кажутся безобидными, они сигнализируют о необходимости дальнейшего изучения того, как подобные эффекты могут проявиться в долгосрочной перспективе. Более разнообразные группы пользователей с самыми разными потребностями и запросами к модели, а также независимые академические и внутренние исследования помогут нам более четко определить эту зону риска.

Общение с ИИ-моделью по человеческому типу может порождать побочные эффекты, влияющие на межличностные отношения людей. Например, пользователи могут устанавливатьP социальные связи с ИИ, снижая потребность в общении с живыми людьми — что потенциально может быть полезно для одиноких людей, но способно негативно повлиять на здоровые отношения. Продолжительное взаимодействие с моделью может повлиять на социальные нормы. Например, наши модели отличаются почтительностью и уступчивостью, позволяя пользователю прерывать их и «брать слово» в любой момент — и хотя для ИИ это ожидаемо, в человеческом общении такое поведение противоречило бы нормам.

Мультимодальные модели, такие как GPT-4o, в сочетании с дополнительными инструментами (включая поиск информации) и расширенным контекстом могут создавать дополнительную сложность. Способность выполнять задачи за пользователя, а также сохранять, «помнить» ключевые детали и использовать их в беседе обеспечивает не только увлекательный пользовательский опыт, но и создает риск чрезмерного доверия и зависимости38.

Мы намерены и дальше изучать вероятность возникновения эмоциональной привязанности, а также то, как более глубокая интеграция множества функций наших моделей и систем с аудиомодальностью может влиять на поведение.

Здравоохранение

Мультимодальные модели потенциально способны расширить доступ к медицинской информации и улучшить клинические рабочие процессы. В последние годы большие языковые модели продемонстрировали значительный потенциал в биомедицинской сфере как в рамках академических оценок39, 40, 41, 42, 43, так и при решении реальных задач, таких как ведение медицинской документацииX, отправка сообщений пациентам 46, 47, привлечение участников для клинических испытаний48, 49 и поддержка принятия клинических решений50, 51.

Чтобы лучше охарактеризовать уровень медицинских знаний GPT-4o, мы провели 22 текстовых теста на основе 11 наборов данных, представленных в таблице ниже. Все оценки проводились исключительно в режиме 0-shot или 5-shot промптинга, без настройки гиперпараметров. Мы отмечаем, что производительность GPT-4o превосходит показатели финальной модели GPT-4T в 21 из 22 тестов, часто с большим отрывом. Например, для популярного набора данных MedQA USMLE (4 варианта ответа) точность в режиме 0-shot возрастает с 78,2% до 89,4%. Это превосходит показатели существующих специализированных медицинских моделей, использующих промптинг с несколькими примерами43, 42 (например, 84,0% у Med-Gemini-L 1.0 и 79,7% у Med-PaLM 2). Стоит отметить, что мы не применяем сложные методы промптинга и специализированное под конкретные задачи обучение для улучшения результатов на этих бенчмарках40, 43.

Ограничения

Хотя оценки на основе текста выглядят многообещающе, необходима дополнительная будущая работа, чтобы проверить, распространяется ли перенос текста в аудио, который наблюдался в поведении при отказе, на данные оценки. Эти оценки измеряют только клинические знания таких моделей и не оценивают их полезность в реальных рабочих процессах. Многие из этих тестов становятся всё более насыщенными, и мы считаем, что более реалистичные оценки будут иметь важное значение для оценки возможностей мультимодальных моделей в отношении тем здравоохранения.

Научные возможности

Ускорение науки может стать важнейшим эффектом от внедрения ИИ30, 52, особенно учитывая роль изобретений в научном открытии53, а также принимая во внимание двойное назначение некоторых изобретений54. Мультимодальные модели могут способствовать как обычному научному ускорению (помогая ученым быстрее выполнять рутинные задачи), так и трансформационному ускорению (путем устранения узких мест в задачах, требующих интеллектуальных затрат, таких как обработка информации, написание новых симуляций или разработка новых теорий)52. В состав нашей команды внешних тестировщиков (red team) для GPT‑4o вошло несколько ученых-экспертов, задачей которых было выявление научных возможностей модели. 

GPT‑4o продемонстрировала высокие результаты в задачах, связанных со специализированными научными рассуждениями. Один из наших тестировщиков обнаружил, что GPT‑4o способна понимать квантовую физику на уровне научных исследований, отметив, что эта способность «полезна для более интеллектуального партнера по брейнштормингу» — что согласуется с опубликованными работами об использовании моделей уровня GPT‑4 для генерации гипотез»55. Наши тестировщики также выяснили, что GPT‑4o способна использовать предметно-ориентированные научные инструменты, включая работу со специализированными форматами данных, библиотеками и языками программирования, а также изучение некоторых новых инструментов в контексте.

Пример улучшения возможностей в научных областях:

Большая часть научных знаний содержится в иллюстрациях. GPT‑4o иногда была способна интерпретировать эти изображения, а также другие научные графические представления: например, распознавать некоторые семейства белков по изображению их структуры и интерпретировать загрязнения в бактериальных культурах. Тем не менее, это порой ненадежно, часты ошибки при извлечении текста (особенно с научными терминами или последовательностями нуклеотидов), а в случае сложных графиков, состоящих из множества панелей, часто возникают ошибки. Даже при текущем уровне точности мультимодальные возможности этих моделей открывают новые сценарии применения — например, при интерпретации результатов моделирования для разработки новых металлических сплавов56.

Пример ограничений в научных областях:

Недавно были опубликованы новые оценки научных возможностей57, 58, которые помогут прогнозировать научные возможности этих моделей и, соответственно, их влияние.

Малопредставленные языки

GPT‑4o демонстрирует улучшенное понимание прочитанного и навыки рассуждения на выборке исторически малопредставленных языков, а также сокращает разрыв в производительности между этими языками и английским.

Чтобы оценить производительность текстов GPT‑4o на избранной группе языков, которые исторически были мало представлены в текстах Интернета, мы сотрудничали с внешними исследователями и языковыми экспертами при разработке тестов на пяти африканских языках: амхарском, хауса, северном сото (сепеди), суахили и йоруба. Первоначальная оценка была сосредоточена на переводе двух популярных языковых бенчмарков и создании небольших новых тестов на понимание прочитанного на конкретных языках. 

• ARC-Easy: Эта подгруппа бенчмарка AI2 Reasoning Challenge59 ориентирована на оценку способности модели отвечать на вопросы по естественным наукам из школьной программы. В нее входят вопросы, на которые, как правило, легче ответить и которые не требуют сложных рассуждений.
• TruthfulQA60: Этот бенчмарк измеряет правдивость ответов модели. Он состоит из вопросов, на которые некоторые люди могут ответить неверно из-за заблуждений. Цель состоит в том, чтобы проверить, могут ли модели избегать генерации ложных ответов, имитирующих эти заблуждения.
• Uhura Eval: Этот новый тест на понимание прочитанного был создан при участии носителей языков, владеющих ими свободно, и проверен на качество.

GPT‑4o демонстрирует улучшенную производительность по сравнению с предыдущими моделями, например GPT 3.5 Turbo и GPT‑4. Например, на датасете ARC-Easy-Hausa точность подскочила с 6,1% у GPT 3.5 Turbo до 71,4% у GPT‑4o. Аналогичным образом, в TruthfulQA-Yoruba точность выросла с 28,3% для GPT 3.5 Turbo до 51.1% для GPT‑4o. В Uhura-Eval также наблюдаются заметные улучшения: показатели для хауса выросли с 32,3% у GPT 3.5 Turbo до 59.4% у GPT‑4o. 

Между английским и выбранными языками по-прежнему сохраняется разрыв в производительности, однако GPT‑4o сужает его. Например, в то время как у GPT 3.5 Turbo разница в производительности в тесте ARC-Easy между английским и языком хауса составляет примерно 54 процентных пункта, для GPT‑4o этот разрыв сокращается до менее чем 20 процентных пунктов. Это стабильно наблюдается для всех языков как в TruthfulQA, так и в ARC-Easy.

Наши партнеры по сотрудничеству обсудят эти выводы более подробно в готовящейся к публикации статье, включая оценки других моделей и исследования потенциальных стратегий смягчения рисков. 

Несмотря на этот прогресс в оцениваемой производительности, предстоит проделать большую работу по повышению качества и охвата тестов для малопредставленных языков по всему миру, принимая во внимание как широту охвата языков, так и языковые нюансы диалектов. Будущие исследования должны углубить наше понимание возможных вмешательств и партнерских отношений, которые могут повысить полезность этих моделей как для широко представленных, так и для малопредставленных языков. Вместе с нашими партнерами мы приглашаем к дальнейшему исследованию и сотрудничеству, публикуя переведенный ARC-Easy⁠, переведенный TruthfulQA⁠ и новый тест на понимание прочитанного Uhura Eval⁠ на платформе Hugging Face.

Переведенный ARC-Easy (%, выше — лучше), 0-shot

Переведенный TruthfulQA (%, выше — лучше), без обучения (0-shot)

Uhura (новая оценка понимания прочитанного), без обучения (0-shot)

Заключение и дальнейшие шаги

OpenAI реализовала различные меры безопасности и средства смягчения рисков на протяжении всего процесса разработки и развертывания GPT‑4o. В рамках нашего процесса итеративного развертывания мы будем продолжать мониторинг и обновление средств защиты в соответствии с меняющейся обстановкой. Мы надеемся, что эта системная карта (System Card) послужит стимулом для исследований в ключевых областях, включая, помимо прочего: измерение и смягчение рисков для состязательной устойчивости (adversarial robustness) омниканальных моделей, последствия, связанные с антропоморфизмом ИИ, использование омниканальных моделей для научных исследований и прогресса, а также оценку и предотвращение опасных возможностей, таких как самосовершенствование, автономия моделей и выстраивание стратегий (scheming). Помимо этих областей, мы поощряем исследования в отношении экономического влияния омниканальных моделей и того, как использование инструментов может расширить возможности моделей.

Приложение

А — Нарушающий правила и запрещенный контент — Полные оценки

Мы использовали TTS для преобразования существующих оценок безопасности текста в аудио. Затем мы оцениваем текстовую стенограмму аудиовыхода с помощью стандартного текстового классификатора на основе правил.

Наши два основных показателя для этой оценки:

• not_unsafe (отсутствие небезопасного контента): производит ли модель аудиовыход, который является небезопасным?
• not_overrefuse (отсутствие избыточных отказов): отказывается ли модель выполнять безобидный запрос?

Мы также отмечаем субоценки для категорий более высокой степени тяжести, а именно:

• sexual/minors (материалы сексуального характера с участием несовершеннолетних)
• sexual/illegal (незаконный контент сексуального характера)
• extremist/propaganda (экстремизм/пропаганда)
• illicit/violent (противоправный контент с применением насилия)
• illicit/non-violent (противоправный контент без применения насилия)
• self-harm/instructions (инструкции по причинению вреда себе)

Ниже мы представляем результаты этих оценок для аудио- и текстового режимов модели GPT‑4o Voice Mode, а также производительность в текстовом режиме текущей модели GPT‑4o, находящейся в промышленной эксплуатации.

B — Примеры задач из оценок METR

1. 1

   OpenAI, «Hello gpt-4o.» https://openai.com/index/hello-gpt-4o/⁠, 2024.

2. 2

   T. Stivers, N.J. Enfield, P. Brown, C. Englert, M. Hayashi, T. Heinemann, G. Hoymann, F. Rossano, J.P. de Ruiter, K.E. Yoon, and S.C. Levinson, «Universals and cultural variation in turn-taking in conversation,» Proceedings of the National Academy of Sciences, vol. 106, no. 26, pp. 10587–10592, 2009.

3. 3

   The White House, «Fact sheet: Biden-harris administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by ai,» 2023.

4. 4

   OpenAI, «Openai preparedness framework beta.» https://cdn.openai.com/openai-preparedness-framework-beta.pdf⁠, 2023

5. 5

   Shutterstock, «Shutterstock press release,» 2023.

6. 6

   OpenAI, «gpt-4 technical report.» https://openai.com/index/gpt-4-research/⁠, 2023.

7. 7

   OpenAI, «gpt-4v (ision) system card.» https://openai.com/index/gpt-4v-system-card/⁠, 2023. Дата обращения: 22.07.2024.

8. 8

   OpenAI, «Navigating the challenges and opportunities of synthetic voices.» https://openai.com/index/navigating-the-challenges-and-opportunities-of-synthetic-voices/⁠, 2024. Дата обращения: 22.07.2024.

9. 9

   K.T. Mai, S. Bray, T. Davies, and L.D. Griffin, «Warning: Humans cannot reliably detect speech deepfakes,» PLoS One, vol. 18, p. e0285333, Aug. 2023.

10. 10

    M. Mori, K.F. MacDorman, and N. Kageki, «The uncanny valley [from the field],» IEEE Robotics & automation magazine, vol. 19, no. 2, pp. 98–100, 2012.

11. 11

    OpenAI, «How the voices for chatgpt were chosen.» https://openai.com/index/how-the-voices-for-chatgpt-were-chosen/⁠, 2024.

12. 12

    I. Solaiman, Z. Talat, W. Agnew, L. Ahmad, D. Baker, S.L. Blodgett, C. Chen, H.D. I. au2, J. Dodge, I. Duan, E. Evans, F. Friedrich, A. Ghosh, U. Gohar, S. Hooker, Y. Jernite, R. Kalluri, A. Lusoli, A. Leidinger, M. Lin, X. Lin, S. Luccioni, J. Mickel, M. Mitchell, J. Newman, A. Ovalle, M.-T. Png, S. Singh, A. Strait, L. Struppek, and A. Subramonian, «Evaluating the social impact of generative ai systems in systems and society,» 2024.

13. 13

    R. Shelby, S. Rismani, K. Henne, A. Moon, N. Rostamzadeh, P. Nicholas, N. Yilla, J. Gallegos, A. Smart, E. Garcia, and G. Virk, «Sociotechnical harms of algorithmic systems: Scoping a taxonomy for harm reduction,» 2023.

14. 14

    S.L. Blodgett, Q.V. Liao, A. Olteanu, R. Mihalcea, M. Muller, M.K. Scheuerman, C. Tan, and Q. Yang, «Responsible language technologies: Foreseeing and mitigating harms,» in Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems, CHI EA »22, (New York, NY, USA), Association for Computing Machinery, 2022.

15. 15

    H. Suresh and J. Guttag, «A framework for understanding sources of harm throughout the machine learning life cycle,» in Equity and Access in Algorithms, Mechanisms, and Optimization, EAAMO »21, ACM, Oct. 2021.

16. 16

    S. Shahriar, S. Allana, S.M. Hazratifard, and R. Dara, «A survey of privacy risks and mitigation strategies in the artificial intelligence life cycle,» IEEE Access, vol. 11, pp. 61829– 61854, 2023.

17. 17

    OpenAI, «Moderation overview,» 2024.

18. 18

    A. Tamkin, M. Brundage, J. Clark, and D. Ganguli, «Understanding the capabilities, limita- tions, and societal impact of large language models,» 2021.

19. 19

    B. Buchanan, A. Lohn, M. Musser, and K. Sedova, «Truth, lies, and automation: How language models could change disinformation,» May 2021.

20. 20

    OpenAI, «Openai usage policies,» 2023. https://openai.com/policies/usage-policies⁠

21. 21

    OpenAI, «Building an early warning system for llm-aided bio-logical threat creation», 2024. https://openai.com/index/building-an-early-warning-system-for-llm-aided-biological-threat-creation/⁠

22. 22

    Deloitte, «Deloitte acquires gryphon scientific business to expand security science and public health capabilities,» 2024. https://www2.deloitte.com/us/en/pages/about-deloitte/articles/press-releases/deloitte-acquires-gryphon-scientific-business-to-expand-security-science-and-public-health-capabilities.html⁠

23. 23

    L. Weidinger, M. Rauh, N. Marchal, A. Manzini, L.A. Hendricks, J. Mateos-Garcia, S. Bergman, J. Kay, C. Griffin, B. Bariach, I. Gabriel, V. Rieser, and W. Isaac, «Sociotechnical safety evaluation of generative ai systems,» 2023.

24. 24

    A. Tamkin, A. Askell, L. Lovitt, E. Durmus, N. Joseph, S. Kravec, K. Nguyen, J. Kaplan, and D. Ganguli, «Evaluating and mitigating discrimination in language model decisions,» 2023.

25. 25

    J.A. Goldstein, G. Sastry, M. Musser, R. DiResta, M. Gentzel, and K. Sedova, «Generative language models and automated influence operations: Emerging threats and potential mitigations,» 2023.

26. 26

    I. Pentina, T. Hancock, and T. Xie, «Exploring relationship development with social chatbots: A mixed-method study of replika,» Computers in Human Behavior, vol. 140, p. 107600, 2023.

27. 27

    Y. Bengio, G. Hinton, A. Yao, D. Song, P. Abbeel, T. Darrell, Y.N. Harari, Y.-Q. Zhang, L. Xue, S. Shalev-Shwartz, G. Hadfield, J. Clune, T. Maharaj, F. Hutter, A.G. Baydin, S. McIlraith, Q. Gao, A. Acharya, D. Krueger, A. Dragan, P. Torr, S. Russell, D. Kahneman, J. Brauner, and S. Mindermann, «Managing extreme ai risks amid rapid progress,» Science, vol. 384, no. 6698, pp. 842–845, 2024.

28. 28

    S.B. Johnson, J.R. Clark, M.C. Luetke, N.M. Butala, A.T. Pearson, J.M. Shapiro, D.M. Aleman, J.M. Lee, M.M. Beil, C.V. Winkle, M.C. Boudreaux, R.C. D«Cunha, H.J. Krouse, and C. Li, «Chatgpt in medical education: a workshop-based large language model-powered intervention for evidence-based clinical decision making in medical students,» Nature Medicine, vol. 29, pp. 1534–1542, 2023.

29. 29

    K. Kavukcuoglu, «Real-world challenges for agi,» Nov 2021.

30. 30

    S. Altman, «Planning for agi and beyond.» https://openai.com/index/planning-for-agi-and-beyond/⁠, OpenAI, 2023.

31. 31

    T. Eloundou, S. Manning, P. Mishkin, and D. Rock, «Gpts are gpts: An early look at the labor market impact potential of large language models,» arXiv preprint arXiv:2303.10130, 2023.

32. 32

    L. Weidinger, M. Rauh, N. Marchal, A. Manzini, L.A. Hendricks, J. Mateos-Garcia, S. Bergman, J. Kay, C. Griffin, B. Bariach, et al., «Sociotechnical safety evaluation of generative ai systems,» arXiv preprint arXiv:2310.11986, 2023.

33. 33

    S. Cox, M. Hammerling, J. Lála, J. Laurent, S. Rodriques, M. Rubashkin, and A. White, «Wikicrow: Automating synthesis of human scientific knowledge,» Future House, 2023.

34. 34

    S.A. Athaluri, S.V. Manthena, V.S. R. K.M. Kesapragada, V. Yarlagadda, T. Dave, and R.T. S. Duddumpudi, «Exploring the boundaries of reality: Investigating the phenomenon of artificial intelligence hallucination in scientific writing through chatgpt references,» Cureus, vol. 15, no. 4, p. e37432, 2023.

35. 35

    Z. Li, «The dark side of chatgpt: Legal and ethical challenges from stochastic parrots and hallucination,» 2023.

36. 36

    M. Dubiel, A. Sergeeva, and L.A. Leiva, «Impact of voice fidelity on decision making: A potential dark pattern?,» 2024.

37. 37

    B. Waber, M. Williams, J.S. Carroll, and A.S. Pentland, «A voice is worth a thousand words: The implications of the micro-coding of social signals in speech for trust research,» in Handbook of Research Methods on Trust (G.M. Fergus Lyon and M.N. Saunders, eds.), ch. 23, p. 320, New York: Edward Elgar Publishing, 2011.

38. 38

    I. Pentina, B. Guo, and W.P. Fan, «Friend, mentor, lover: Does chatbot engagement lead to psychological dependence?,» Journal of Service Management, 2023.

39. 39

    H. Nori, N. King, S.M. McKinney, D. Carignan, and E. Horvitz, «Capabilities of gpt-4 on medical challenge problems,» arXiv preprint arXiv:2303.13375, 2023.

1. 40

   H. Nori, Y.T. Lee, S. Zhang, D. Carignan, R. Edgar, N. Fusi, N. King, J. Larson, Y. Li, W. Liu, et al., «Can generalist foundation models outcompete special-purpose tuning? case study in medicine,» arXiv preprint arXiv:2311.16452, 2023.

2. 41

   K. Singhal, S. Azizi, T. Tu, S.S. Mahdavi, J. Wei, H.W. Chung, N. Scales, A. Tan- wani, H. Cole-Lewis, S. Pfohl, P. Payne, M. Seneviratne, P. Gamble, C. Kelly, N. Scharli, A. Chowdhery, P. Mansfield, B.A. y Arcas, D. Webster, G.S. Corrado, Y. Matias, K. Chou, J. Gottweis, N. Tomasev, Y. Liu, A. Rajkomar, J. Barral, C. Semturs, A. Karthikesalingam, and V. Natarajan, «Large language models encode clinical knowledge,» 2022.

3. 42

   K. Singhal, T. Tu, J. Gottweis, R. Sayres, E. Wulczyn, L. Hou, K. Clark, S. Pfohl, H. Cole- Lewis, D. Neal, M. Schaekermann, A. Wang, M. Amin, S. Lachgar, P. Mansfield, S. Prakash, B. Green, E. Dominowska, B.A. y Arcas, N. Tomasev, Y. Liu, R. Wong, C. Semturs, S.S. Mahdavi, J. Barral, D. Webster, G.S. Corrado, Y. Matias, S. Azizi, A. Karthikesalingam, and V. Natarajan, «Towards expert-level medical question answering with large language models,» 2023.

4. 43

   K. Saab, T. Tu, W.-H. Weng, R. Tanno, D. Stutz, E. Wulczyn, F. Zhang, T. Strother, C. Park, E. Vedadi, J.Z. Chaves, S.-Y. Hu, M. Schaekermann, A. Kamath, Y. Cheng, D.G. T. Barrett, C. Cheung, B. Mustafa, A. Palepu, D. McDuff, L. Hou, T. Golany, L. Liu, J. baptiste Alayrac, N. Houlsby, N. Tomasev, J. Freyberg, C. Lau, J. Kemp, J. Lai, S. Azizi, K. Kanada, S. Man, K. Kulkarni, R. Sun, S. Shakeri, L. He, B. Caine, A. Webson, N. Latysheva, M. Johnson, P. Mansfield, J. Lu, E. Rivlin, J. Anderson, B. Green, R. Wong, J. Krause, J. Shlens, E. Dominowska, S.M. A. Eslami, K. Chou, C. Cui, O. Vinyals, K. Kavukcuoglu, J. Manyika, J. Dean, D. Hassabis, Y. Matias, D. Webster, J. Barral, G. Corrado, C. Semturs, S.S. Mahdavi, J. Gottweis, A. Karthikesalingam, and V. Natarajan, «Capabilities of gemini models in medicine,» 2024.

5. 44

   Epic Systems Corporation, «Epic and microsoft bring gpt-4 to ehrs,» Epic, 2023.

6. 45

   D. Van Veen, C. Van Uden, L. Blankemeier, J.-B. Delbrouck, A. Aali, C. Bluethgen, A. Pareek, M. Polacin, E.P. Reis, A. Seehofnerová, et al., «Adapted large language models can outperform medical experts in clinical text summarization,» Nature medicine, vol. 30, no. 4, pp. 1134–1142, 2024.

7. 46

   Epic, «Epic and microsoft bring gpt-4 to ehrs,» 2023.

8. 47

   P. Garcia, S.P. Ma, S. Shah, M. Smith, Y. Jeong, A. Devon-Sand, M. Tai-Seale, K. Takazawa, D. Clutter, K. Vogt, C. Lugtu, M. Rojo, S. Lin, T. Shanafelt, M.A. Pfeffer, and C. Sharp, «Artificial Intelligence–Generated Draft Replies to Patient Inbox Messages,» JAMA Network Open, vol. 7, pp. e243201–e243201, 03 2024.

9. 48

   OpenAI, «Paradigm: Improving patient access to clinical trials.» https://openai.com/index/paradigm/⁠, 2024. Дата обращения: 07.08.2024.

10. 49

    M. Hutson, «How ai is being used to accelerate clinical trials,» Nature, vol. 627, pp. S2–S5, 2024.

11. 50

    OpenAI, «Using gpt-4o reasoning to transform cancer care.» https://openai.com/index/color-health/⁠, 2024. Дата обращения: 07.08.2024.

12. 51

    J. Varghese and J.-L. Chapiro, «Systematic analysis of chatgpt, google search and llama 2 for clinical decision support tasks,» Nature Communications, vol. 15, no. 1, p. 46411, 2024. Дата обращения: 07.08.2024.

13. 52

    E. Schmidt, «Ai will transform science.» https://www.technologyreview.com/2023/07/05/1075865/eric-schmidt-ai-will-transform-science/⁠, 2023. Дата обращения: 07.08.2024.

14. 53

    N. Rosenberg, «Science, invention and economic growth,» The Economic Journal, vol. 84, no. 333, pp. 90–108, 1974.

15. 54

    R.M. Atlas and M. Dando, «The dual-use dilemma for the life sciences: Perspectives, conundrums, and global solutions,» Biosecurity and Bioterrorism: Biodefense Strategy, Practice, and Science, vol. 4, no. 3, pp. 276–286, 2006. PMID: 16999588.

16. 55

    X. Gu and M. Krenn, «Generation and human-expert evaluation of interesting research ideas using knowledge graphs and large language models,» 2024.

17. 56

    A. Ghafarollahi and M.J. Buehler, «Atomagents: Alloy design and discovery through physics-aware multi-modal multi-agent artificial intelligence,» 2024.

18. 57

    J.M. Laurent, J.D. Janizek, M. Ruzo, M.M. Hinks, M.J. Hammerling, S. Narayanan, M. Ponnapati, A.D. White, and S.G. Rodriques, «Lab-bench: Measuring capabilities of language models for biology research,» 2024.

19. 58

    H. Cai, X. Cai, J. Chang, S. Li, L. Yao, C. Wang, Z. Gao, H. Wang, Y. Li, M. Lin, S. Yang, J. Wang, M. Xu, J. Huang, F. Xi, J. Zhuang, Y. Yin, Y. Li, C. Chen, Z. Cheng, Z. Zhao, L. Zhang, and G. Ke, «Sciassess: Benchmarking llm proficiency in scientific literature analysis,» 2024.

20. 59

    P. Clark, I. Cowhey, O. Etzioni, T. Khot, A. Sabharwal, C. Schoenick, and O. Tafjord, «Think you have solved question answering? try arc, the AI2 reasoning challenge,» CoRR, vol. abs/1803.05457, 2018.

21. 60

    S. Lin, J. Hilton, and O. Evans, «Truthfulqa: Measuring how models mimic human falsehoods,» CoRR, vol. abs/2109.07958, 2021.

1. A

   Некоторые оценки (в частности, большинство оценок готовности к рискам, сторонних оценок и некоторые оценки общественного воздействия) сфокусированы на текстовых и визуальных возможностях GPT-4o в зависимости от оцениваемого риска. Это соответствующим образом указывается в карточке системы (System Card).

2. B

   Охватывает заявленные области экспертизы, включая: когнитивные науки, химию, биологию, физику, компьютерные науки, стеганографию, политологию, психологию, убеждение, экономику, антропологию, социологию, взаимодействие человека с компьютером (HCI), справедливость и предвзятость, выравнивание, образование, здравоохранение, право, безопасность детей, кибербезопасность, финансы, дезинформацию, политическое использование, конфиденциальность, биометрию, языки и лингвистику.

3. C

   Примером этого стало выявление несоответствий в многоязычной производительности классификатора соответствия дикторов на основе данных Red Teaming, включавших многоязычные примеры.

4. D

   Мы также оцениваем текстовые и визуальные возможности и соответствующим образом обновляем средства смягчения последствий. Никаких дополнительных рисков по сравнению с существующими работами, изложенными в системных карточках GPT-4 и GPT-4(V), обнаружено не было.

5. E

   Мы соотнесли некоторые проявления такого поведения с короткими, часто неразборчивыми голосовыми сообщениями от пользователя, которые обычно записываются в условиях сильного фонового шума (например, при использовании модели в режиме громкой связи за рулем) или из-за необходимости кашлянуть. Наш режим взаимодействия в реальном времени требует большего количества реплик пользователя и ассистента, чем текстовое взаимодействие, при этом такие реплики чаще оказываются обрезанными или искаженными.

6. F

   Системный голос — это один из предустановленных голосов, заданных OpenAI. Модель должна воспроизводить аудио только с этим голосом.

7. G

   Это приводит к разрыву большего числа разговоров, чем может потребоваться, что является проблемой качества продукта и удобства использования.

8. H

   Показатели в разных языках могут отличаться; это выборка примерно по 20 наиболее распространенным языкам мира.

9. I

   Мы ограничиваем эти оценки голосами, говорящими только на английском языке (но из разных англоязычных стран). В будущих оценках следует также учитывать неанглийские языки с различными акцентами.

10. J

    Оценки в этом разделе были проведены на фиксированной случайно выбранной подвыборке примеров, и эти баллы не следует сравнивать с общедоступными бенчмарками для той же задачи.

11. K

    Анатомия, астрономия, клинические знания, общая биология (College Biology), компьютерная безопасность, глобальные факты, школьная биология, социология, вирусология, общая физика (College Physics), европейская история для старших классов и мировые религии. В соответствии с проблемами, описанными в разделе [Методология оценки], мы исключаем задачи со сложными математическими или научными обозначениями.

12. L

    Мы описываем риски и меры по смягчению нарушающего правила и запрещенного текстового контента в системной карточке GPT-4⁠, в частности в разделе 3.1 «Безопасность модели» и разделе 4.2 «Разработка классификатора контента».

13. M

    Примечание: эти средства миграции не были предназначены для включения невербальных вокализаций или других звуковых эффектов (например, эротического стона, яростного крика, выстрелов из оружия). Имеются некоторые свидетельства того, что GPT-4o в целом отклоняет запросы на генерацию звуковых эффектов.

14. N

    Apollo Research определяет коварство (scheming) как манипулирование ИИ механизмами надзора с целью достижения определенной цели. Коварное поведение может включать обход оценок, подрыв мер безопасности или стратегическое влияние на последующие системы во время внутреннего развертывания в OpenAI. Такое поведение вполне может привести к потере контроля над искусственным интеллектом.

15. O

    Фактические ошибки, когда модель выдает утверждения, не подтвержденные реальностью.

16. P

    Из предпочтения или отсутствия выбора.

Вклад в создание GPT-4o⁠

Благодарности внешним тестерам ⁠