Почему ответственная разработка ИИ требует сотрудничества в сфере безопасности10.07.2019 07:00

Мы подготовили документ по вопросам политики, в котором выделяются четыре стратегии, которые могут быть использованы уже сегодня для повышения вероятности долгосрочного сотрудничества индустрии в области норм безопасности ИИ: информирование о рисках и преимуществах, техническое сотрудничество, повышение прозрачности и стимулирование стандартов. Наш анализ показывает, что сотрудничество индустрии в вопросах безопасности сыграет важнейшую роль в обеспечении безопасности и полезности систем ИИ, однако конкурентное давление может привести к проблеме коллективных действий, потенциально заставляя компании, занимающиеся ИИ, недоинвестировать в безопасность. Мы надеемся, что эти стратегии будут способствовать более тесному сотрудничеству в области безопасной разработки ИИ и приведут к лучшим глобальным результатам для ИИ.

Важно обеспечить, чтобы создание и выпуск безопасных, надежных и приносящих пользу обществу систем ИИ отвечали экономическим интересам компаний. Это справедливо даже в том случае, если мы считаем, что у ИИ-компаний и их сотрудников есть независимое стремление к этому, поскольку системы ИИ с большей вероятностью будут безопасными и полезными, если экономические интересы компаний не противоречат их стремлению создавать свои системы ответственно.

Это утверждение может показаться избыточным, поскольку разработка и внедрение продуктов, не представляющих угрозы для общества, в целом отвечают экономическим интересам компании. Например, люди не станут платить много за автомобиль без работающих тормозов. Но если несколько компаний пытаются разработать похожий продукт, они могут испытывать давление, заставляющее их спешить с выходом на рынок, что приводит к сокращению работы над безопасностью перед релизом.

Подобные проблемы обычно возникают в условиях, когда внешнее регулирование слабо или отсутствует вовсе. Надлежащее регулирование товаров и услуг, представленных на рынке, может снизить тенденцию пренебрегать безопасностью ради экономии. Это может принести пользу как пользователям товаров и услуг, так и самому сектору: например, авиационная отрасль в целом коммерчески выигрывает от того, что правительства во всем мире бдительно следят за безопасностью и что в случае инцидентов всегда проводится их детальное расследование. Однако традиционные механизмы регулирования могут оказаться менее эффективными при работе с ИИ из-за темпов развития технологии и большой асимметрии информации между разработчиками и регуляторами. В нашем документе исследуются факторы, которые могут стимулировать или сдерживать такую спешку с развертыванием, а также предлагаются стратегии по улучшению сотрудничества между разработчиками ИИ. Разработчики «сотрудничают» не прекращая конкуренцию, а принимая надлежащие меры предосторожности, и они с большей вероятностью пойдут на это, если будут уверены, что их конкуренты поступят так же.

Необходимость коллективных действий в сфере безопасности

Если компании реагируют на конкурентное давление, выпуская технологию на рынок до того, как она будет признана безопасной, они сталкиваются с проблемой коллективных действий. Даже если каждая компания предпочла бы конкурировать в разработке и выпуске безопасных систем, многие считают, что не могут позволить себе этого, поскольку конкуренты могут опередить их на рынке. Проблемы такого рода можно смягчить за счет более тесного сотрудничества отрасли в вопросах безопасности. Компании, занимающиеся ИИ, могут работать над выработкой отраслевых норм и стандартов, которые гарантируют, что системы разрабатываются и выпускаются только в том случае, если они безопасны, а также могут договориться об инвестировании ресурсов в безопасность в процессе разработки и соблюдении соответствующих стандартов⁠ до релиза.

Некоторые гипотетические сценарии:

Компания разрабатывает модель распознавания изображений с очень высокими характеристиками и спешит развернуть ее в широких масштабах, однако инженеры компании еще не провели должную оценку производительности системы в реальном мире. Компания также знает, что ей не хватает полноценных стандартов тестирования для определения полной «поверхности возможностей» модели. Тем не менее, опасаясь опережения конкурентами на рынке в определенной нише, компания продолжает действовать, рассчитывая на то, что их ограниченного внутреннего тестирования будет достаточно для страховки от любых крупных сбоев системы или негативной реакции общественности.

Компания желает внедрить некоторое полуавтономное программное обеспечение для ИИ на физических роботах, таких как дроны. Это программное обеспечение имеет уровень отказов, удовлетворяющий нормативным критериям, но поскольку компания спешит вывести технологию на рынок, она знает, что популярная функция «интерпретируемости» их продукта дает вводящие в заблуждение объяснения, которые предназначены скорее для успокоения, чем для прояснения ситуации. Из-за ограниченной экспертизы регуляторов это некорректное поведение остается незамещенным до тех пор, пока не произойдет катастрофический инцидент, как и аналогичное поведение других компаний, спешащих развернуть подобные «интерпретируемые» системы.

Некоторые проблемы коллективных действий поддаются решению легче, чем другие. В целом, проблема коллективных действий решается проще, если ожидаемые выгоды от сотрудничества перевешивают ожидаемые выгоды от отказа от него. Следующие взаимосвязанные факторы увеличивают ожидаемую выгоду от сотрудничества:

Высокий уровень доверия

Компании с большей вероятностью будут сотрудничать в вопросах безопасности, если они могут быть уверены, что другие компании ответят взаимностью и будут работать в направлении аналогичного стандарта безопасности. Помимо прочего, уверенность в том, что другие будут разрабатывать ИИ безопасно, может быть достигнута за счет повышения прозрачности в отношении ресурсов, инвестируемых в безопасность, публичных обязательств соответствовать высоким стандартам безопасности, а также участия в совместной работе по поиску приемлемых эталонов безопасности.

Общая выгода

У компаний появляется более сильный стимул сотрудничать в вопросах безопасности, если взаимные выгоды от безопасной разработки выше. Перспективы сотрудничества могут быть улучшены за счет освещения преимуществ раннего установления хороших норм безопасности, таких как предотвращение инцидентов сбоев и злоупотреблений ИИ, а также установление стандартов безопасности, основанных на общем понимании возникающих систем ИИ. Совместные инициативы, такие как Risk Salon⁠, организующие мероприятия для специалистов в области мошенничества, рисков и комплаенса, являются хорошим примером этого. Эти мероприятия способствуют открытым дискуссиям между участниками из разных компаний и, по-видимому, мотивируются в первую очередь общей выгодой от улучшения стратегий снижения рисков.

Низкая уязвимость

Снижение ущерба, который, по мнению компаний, они могут понести, если другая компания решит не сотрудничать в вопросах безопасности, увеличивает вероятность того, что они сами будут соблюдать стандарты безопасности. Уязвимость может быть снижена за счет противодействия нарушениям стандартов безопасности (например, путем их предания огласке) или предоставления доказательств потенциальных рисков, связанных с системами, которые не соответствуют соответствующим стандартам. Например, когда соблюдение стандартов является обязательным для выхода на рынок, компании практически ничего не теряют, если другие эти стандарты не соблюдают. Чтобы соответствовать директиве RoHS⁠, производителям электроники пришлось перейти на бессвинцовую пайку для продажи своей продукции в ЕС. Вероятность того, что какой-то один производитель продолжит использовать свинцовую пайку, мало повлияет на сотрудничество в рамках усилий по снижению содержания свинца, поскольку несоблюдение стандартов им не обойдется дорого для остальных производителей.

Низкие преимущества от нарушения

Уменьшение любых преимуществ, которые компании могут получить за счет несоблюдения стандартов безопасности, должно повысить общий уровень их соблюдения. Например, компании, производящие USB-разъемы, не рассчитывают получить большую выгоду от отступления от стандартов USB-разъемов, поскольку это сделает их продукцию несовместимой с большинством устройств. Когда стандарты уже установлены и отход от них более затратен, чем любые выгоды, преимущества от нарушения невелики. В контексте ИИ снижение стоимости и сложности внедрения мер безопасности помогло бы свести к минимуму искушение проигнорировать их. Кроме того, правительства могут способствовать созданию такой регуляторной среды, в которой нарушение стандартов безопасности с высокими ставками запрещено.

Общие издержки и риски

Выявление способов, которыми системы ИИ могут дать сбой при несоблюдении надлежащих мер предосторожности, может увеличить вероятность того, что компании, занимающиеся ИИ, согласятся не разрабатывать или не выпускать такие системы. Общие риски стимулируют сотрудничество, когда сбои наносят особенно большой ущерб: особенно если они ощущаются всей отраслью (например, путем подрыва общественного доверия к индустрии в целом). Например, после аварии на Три-Майл-Айленд атомная энергетика создала и профинансировала INPO⁠, частный регулирующий орган, обладающий полномочиями оценивать электростанции и делиться результатами этих оценок внутри отрасли в целях повышения эксплуатационной безопасности.

Проблемы коллективных действий подвержены негативным спиралям, когда утрата доверия заставляет одну сторону прекратить сотрудничество, что заставляет другие стороны также прекратить сотрудничество. В то же время можно создавать и позитивные спирали, когда развитие доверия заставляет одни стороны сотрудничать, что приводит к сотрудничеству со стороны других.

Стратегии сотрудничества

Мы выделили четыре стратегии, которые можно использовать уже сегодня для повышения вероятности сотрудничества в области норм и стандартов безопасности ИИ. К ним относятся:

1. Формирование точного представления о возможностях сотрудничества

Рассказывайте о рисках безопасности, связанных с ИИ, показывайте, что можно предпринять конкретные шаги для содействия сотрудничеству в области безопасности, и делайте общую обеспокоенность вопросами безопасности общеизвестным фактом.

2. Сотрудничество в решении общих исследовательских и инженерных задач

Участвуйте в совместных междисциплинарных исследованиях, которые способствуют повышению безопасности и в остальном благоприятствуют развитию прочного сотрудничества (например, работа, предполагающая объединение взаимодополняющих областей знаний).

3. Открытие большего количества аспектов разработки ИИ для надлежащего контроля и обратной связи

Публикуйте кодексы поведения, повышайте прозрачность принятия решений, связанных с публикациями, и, при условии решения проблем безопасности и интеллектуальной собственности, открывайте отдельные системы ИИ для более тщательного изучения.

4. Стимулирование соблюдения высоких стандартов безопасности

Поощряйте тех, кто придерживается стандартов безопасности, осуждайте нарушения, направленные на обеспечение безопасности разработки систем, а также поддерживайте экономические, правовые или отраслевые стимулы для соблюдения стандартов безопасности.

Мы считаем, что проблемы коллективных действий могут стать основным источником политических проблем по мере того, как системы ИИ будут становиться все более мощными. Настоящий анализ сосредоточен на роли, которую индустрия может сыграть в предотвращении подобных проблем, однако мы предполагаем, что правовые и политические механизмы также сыграют важную роль в предотвращении и смягчении этих проблем. Мы также ожидаем, что в ближайшие годы будет приобретать все большее значение выявление аналогичных механизмов для улучшения сотрудничества в области безопасности ИИ между государствами и с другими субъектами, не принадлежащими к индустрии. Существует большая неопределенность в отношении проблем, которые могут создать будущие системы ИИ, но мы верим, что поощрение более тесного сотрудничества в области безопасной разработки ИИ окажет положительное влияние на результаты развития ИИ.

Признавая существование подобных проблем, мы выступаем за более тщательное картирование возможных видов сотрудничества через организационные и национальные границы, уделяя особое внимание исследовательским и инженерным задачам, решения которых могут найти широкое применение. К числу областей, заслуживающих внимания, можно отнести совместные исследования в области формальной верификации возможностей систем ИИ и других аспектов безопасности ИИ с широким спектром применения; различные прикладные проекты «ИИ во благо», результаты которых могут иметь масштабные и преимущественно положительные применения (например, в таких областях, как устойчивое развитие и здравоохранение);, а также совместную разработку контрмер против глобальных угроз, связанных с ИИ, таких как злоупотребление созданием синтетического контента в сети. Для достижения более тесного сотрудничества в сфере безопасности необходимо сделать общеизвестным фактом то, что такое сотрудничество отвечает интересам каждого, а методы его достижения могут быть определены, исследованы и внедрены уже сегодня.