Подготовка к будущим возможностям ИИ в биологии18.06.2025 10:00

Передовые модели ИИ способны стремительно ускорять научные открытия — это лишь один из многих способов, которыми пограничные модели ИИ принесут пользу человечеству. В биологии эти модели уже помогают ученым⁠ определять, какие новые лекарства с наибольшей вероятностью успешно пройдут клинические испытания на людях. Вскоре они также смогут ускорить разработку лекарств, создавать более эффективные вакцины, производить ферменты для экологически чистых видов топлива и находить новые методы лечения редких заболеваний, открывая новые горизонты в медицине, общественном здравоохранении и науках об окружающей среде.

В то же время эти модели поднимают важные вопросы двойного назначения: обеспечение научного прогресса при одновременном сохранении барьеров для доступа к вредоносной информации. Те же базовые возможности, которые стимулируют прогресс — например, анализ биологических данных, прогнозирование химических реакций или помощь в лабораторных экспериментах — потенциально могут быть использованы не по назначению, чтобы помочь людям с минимальными знаниями воссоздать биологические угрозы или помочь высококвалифицированным специалистам в создании биооружия. Физический доступ к лабораториям и чувствительным материалам остается барьером, однако эти барьеры не абсолютны.

Мы ожидаем, что будущие модели ИИ достигнут «высокого» уровня возможностей в биологии, как это определено в нашей методологии оценки готовности (Preparedness Framework)⁠*, и мы применяем комплексный подход для внедрения мер защиты. В этой статье мы рассмотрим:

• Разработку ответственного подхода к развитию биологических возможностей
• Сотрудничество с внешними экспертами в предметной области, включая правительственные ведомства и национальные лаборатории
• Обучение моделей безопасному обращению с запросами биологического характера двойного назначения
• Создание систем обнаружения, мониторинга и принудительного исполнения правил
• Проведение экспертного тестирования на проникновение (red-teaming) наших средств защиты
• Развертывание элементов контроля безопасности
• Что нас ждет впереди

В условиях этой неопределенности мы должны действовать ответственно. Именно поэтому мы активно поддерживаем интеграцию ИИ для позитивных сценариев использования, таких как биомедицинские исследования и биобезопасность, и одновременно сосредоточены на ограничении доступа к опасным функциям. Наш подход ориентирован на предотвращение: мы считаем неприемлимым ждать и смотреть, произойдет ли инцидент биологической угрозы, прежде чем принимать достаточные меры предосторожности.

Будущее потребует более тесного сотрудничества экспертов и правительств для укрепления общей экосистемы и выявления проблем, которые ни одна организация не сможет обнаружить в одиночку. Мы консультировались с внешними экспертами на каждом этапе этой работы. На ранних этапах мы сотрудничали с ведущими специалистами в области биобезопасности, биооружия и биотерроризма, а также с академическими исследователями, чтобы сформировать нашу модель угроз биобезопасности, оценку возможностей, а также политики в отношении моделей и их использования. При разработке средств защиты тренеры-люди со степенями магистров и кандидатов наук в области биологии помогали создавать и проверять наши оценочные данные. И теперь мы активно привлекаем экспертов по тестированию на проникновение в данной предметной области, чтобы проверить, насколько хорошо наши средства защиты работают на практике в высокоточных сценариях.

Даже инвестируя в дальнейшие исследования — такие как исследования влияния мокрых лабораторий (wet lab) для оценки успехов новичков в выполнении безвредных вспомогательных задач — мы готовим и внедряем защитные меры уже сейчас. Мы также продолжаем тесно сотрудничать с правительственными структурами, включая Институт безопасности ИИ США (US CAISI)⁠ и Институт безопасности ИИ Великобритании (UK AISI)⁠. Мы сотрудничали с Лос-Аламосской национальной лабораторией, чтобы изучить роль ИИ в условиях мокрой лаборатории и поддержать сторонних исследователей, разрабатывающих инструменты и методы оценки биобезопасности.

Наши оценки возможностей, включая те, что подробно описаны в системных картах, опираются на экспертные мнения и предназначены для определения момента, когда модель пересекает высокие пороги риска. Мы понимаем, что эти оценки основаны на сложных для проверки предположениях о путях создания биооружия и не могут безошибочно предсказать его нецелевое использование в реальном мире. Но учитывая ставки, мы хотим заблаговременно принимать соответствующие меры готовности.

За последние два года мы отслеживали возможности наших моделей по мере их развития, работали над снижением рисков перед выпуском в соответствии с методологией оценки готовности⁠ и открыто делились своими выводами с помощью системных карт, чтобы другие могли следить за нашим прогрессом. В рамках этой работы мы создали оценки готовности, которые проводятся во время обучения передовых моделей, чтобы получать ранние и регулярные срезы возможностей модели.

Мы рассказываем о том, как мы готовимся, что уже сделано и что нас ждет впереди, сохраняя при этом конфиденциальными те детали, которые могли бы помочь злоумышленникам обойти наши средства защиты.

• Обучение модели отказу или безопасному реагированию на вредоносные запросы: исторически мы обучали модели отказывать на опасные запросы. Мы будем продолжать делать это для запросов, которые носят явно вредоносный характер или способствуют созданию биооружия. Для запросов двойного назначения (таких как эксперименты по вирусологии, иммунологии, генной инженерии и т.д.) мы следуем принципам, изложенным в нашей спецификации моделей (Model Spec)⁠, включая избегание ответов, предоставляющих практические руководства к действию. Мы считаем, что детальные пошаговые инструкции и рекомендации по устранению неполадок в мокрой лаборатории могут представлять опасность в неверных руках. Наше поведение по умолчанию для широкой общественности будет намеренно склоняться в сторону осторожности: мы обучаем модели предоставлять общие аналитические данные, поддерживающие экспертное понимание, и одновременно скрывать детали, достаточные для предотвращения злоупотреблений со стороны новичков.
• Системы непрерывного обнаружения: мы развернули надежные системные мониторы на всех поверхностях продуктов с пограничными моделями для обнаружения рискованной или подозрительной биологической активности. Если на основе наших фильтров контент выглядит небезопасным, ответ модели блокируется. Это также запускает автоматизированные системы проверки, а при необходимости инициируется проверка человеком.
• Мониторинг и проверки соблюдения правил: мы запрещаем использовать наши продукты для нанесения вреда и применяем наши правила при обнаружении неправомерного использования. Мы используем те же передовые возможности рассуждения ИИ для обнаружения нецелевого использования биологических средств, сочетая наши автоматизированные системы с проверкой людьми для мониторинга и обеспечения соблюдения наших политик. Неправомерное использование может привести к блокировке учетных записей. Мы серьезно относимся к нарушениям, связанным с биологическими рисками, и можем проводить дополнительное расследование в отношении пользователя, а в вопиющих случаях — передавать информацию в соответствующие правоохранительные органы. Вы можете подробнее узнать о нашей практике модерации здесь.
• Комплексное тестирование на проникновение (End-to-end red teaming): мы работаем с несколькими командами экспертов по тестированию на проникновение — людьми, которые пытаются преодолеть наши меры безопасности. Их задача — попытаться обойти все наши средства защиты, работая комплексно, точно так же, как это сделал бы целеустремленный и обладающий хорошими ресурсами злоумышленник. Это помогает нам заранее выявлять пробелы и укреплять всю систему в целом. Тестирование на проникновение в области биологии сопряжено со своими трудностями. Большинству экспертов по такому тестированию не хватает профильной экспертизы в области биологических рисков, и они могут быть не способны оценить вредность вывода модели. Большинство экспертов в области биологии не имеют опыта использования уязвимостей моделей. Мы привлекаем обе группы для тестирования различных аспектов нашей системы — от охвата рисков до надежности — и объединяем их в команды для наиболее сложного тестирования.
• Средства контроля безопасности: мы применяем многоуровневый подход к защите весов наших моделей, полагаясь на комбинацию контроля доступа, укрепления инфраструктуры, контроля исходящего трафика и мониторинга. Мы используем специально разработанные средства обнаружения и контроля для снижения риска утечки весов моделей высокого риска. Мы дополняем эти меры постоянно действующей системой обнаружения и реагирования (Detection & Response), специализированной аналитикой угроз и программой контроля внутренних рисков, которые гарантируют быстрое выявление и блокирование возникающих угроз.

Комитет по безопасности и защите нашего Совета директоров (Safety and Security Committee) рассмотрел наш подход, и мы уже внедрили начальные версии этого комплексного плана защиты во многие текущие модели, такие как o3, которые остаются ниже порога высоких возможностей в соответствии с нашей методологией оценки готовности. В ходе этого процесса мы использовали знания, полученные при развертывании, чтобы значительно улучшить производительность наших технических систем и устранить шероховатости в процессах проверки с участием человека. Мы продолжим вносить изменения по мере получения новых данных.

Хотя мы сосредоточены на обеспечении безопасности наших собственных моделей, мы понимаем, что не все организации будут принимать такие же меры предосторожности, и в скором времени мир может столкнуться с более масштабной проблемой — широким доступом к возможностям ИИ в биологии в сочетании с доступностью инструментов синтеза в науках о жизни.

В июле мы организуем саммит по биобезопасности, который соберет избранную группу правительственных исследователей и НПО для изучения рисков двойного назначения, обмена достижениями и обсуждения того, как наши пограничные модели могут ускорить исследования. Наша цель — углубить партнерские отношения с правительством США и дружественными странами, а также лучше понять, как передовой ИИ может поддержать передовые работы по биобезопасности — от контрмер до новых методов лечения — и укрепить сотрудничество в экосистеме.

Хотя наша работа по безопасности направлена на ограничение широкого нецелевого использования, мы также разрабатываем протоколы на уровне политик и контента, чтобы предоставить проверенным учреждениям доступ к максимально полезным моделям для развития биологических наук. Это включает партнерства для разработки средств диагностики, контрмер и новых методов тестирования.

Опираясь на нашу работу по безопасности совместно с правительствами, мы считаем, что государственный и частный секторы должны работать вместе для укрепления биологической защиты нашего общества за пределами моделей ИИ. Это может включать усиление скрининга синтеза нуклеиновых кислот (на основе недавнего указа президента⁠), более надежные системы раннего обнаружения новых патогенов, укрепление инфраструктуры против биоугроз и инвестиции в инновации в области биобезопасности для обеспечения долгосрочной устойчивости к биологическим угрозам.

Мы также верим, что взаимодополняющие достижения в области ИИ и исследований по биобезопасности все больше будут служить благодатной почвой для основателей для создания новых стартапов, ориентированных на миссию, которые смогут использовать предпринимательский дух для решения этих задач. Безопасность и защита — это не просто аспекты моделей и продуктов ИИ; это все более незаменимые сервисы и секторы, которые будут привлекательны для инвесторов. Мы будем активно участвовать в ускорении этого процесса.

Мы с нетерпением ждем дальнейшего сотрудничества с правительствами, исследователями и предпринимателями по всему миру — не только для того, чтобы экосистема биобезопасности была готова, но и чтобы воспользоваться потрясающими прорывами, которые еще впереди.

Автор

Сноски