Технологии распознавания лиц: необходимость в государственном регулировании и корпоративной ответственности24.07.2018 21:31

Автор — Брэд Смит, президент Microsoft

Любой инструмент можно использовать с добрыми или злыми намерениями. Даже обычной метлой можно не только подметать пол, но и ударить кого-нибудь по голове. Чем мощнее инструмент, тем больше пользы или ущерба он может принести. В последние несколько месяцев об этом много говорят, обсуждая компьютерные технологии распознавания лиц, позволяющие идентифицировать человека по его фотографии, а также через уличные видеокамеры. Эти технологии можно использовать во благо: например, для сортировки частных фотоальбомов и для поиска родственников. Но есть и другая возможность — злоупотребления со стороны частных компаний и государственных органов.

Технологии распознавания лиц поднимают вопросы, связанные с фундаментальными правами человека, включая право на конфиденциальность и свободу выражения мнений. Возможность злоупотреблений повышает ответственность, возлагаемую на ИТ-компании, создающие соответствующую продукцию. С нашей точки зрения, эта возможность также требует продуманного государственного регулирования и разработки норм приемлемого использования.

В демократической стране поиском компромисса между общественной безопасностью и нашими демократическими свободами должны заниматься избранные представители народа. Решение проблемы распознавания лиц потребует участия — и действий — как государственного, так и частного сектора.

В этой статье мы расскажем, какие шаги мы предпринимаем, и предложим рекомендации по государственному регулированию.

Сначала немного контекста

Технологии распознавания лиц быстро развивались в последнее десятилетие. Если вы видели, как Facebook или другая социальная сеть предлагает отметить человека на фотографии, правильно указав его имя, то вы знаете, как работает распознавание лиц. Многие ИТ-компании, включая Microsoft, уже несколько лет используют такие технологии, чтобы превращать утомительную работу по каталогизации фотографий в более быструю и результативную.

Так что же изменилось? Во-первых, расширились способности компьютерного зрения, и машины стали распознавать лица людей точнее и быстрее. Отчасти эти улучшения связаны с совершенствованием видеокамер, сенсоров и алгоритмов машинного обучения. Кроме того, улучшениям способствовало появление все более крупных наборов данных, расширяющихся по мере того, как люди загружают в Интернет все больше своих изображений. Свою роль сыграла и возможность использования облаков для связи всех этих данных и технологий распознавания лиц с постоянно работающими камерами, которые получают изображения лиц и пытаются идентифицировать людей во множестве разных мест, в реальном времени.

Передовые технологии больше не стоят особняком от общества; они глубоко интегрируются в нашу личную и профессиональную жизнь. Это значит, что есть много возможностей для применения технологий распознавания лиц. Самый простой пример — каталогизация и поиск фотографий. И это только начало. Некоторые технологии уже повышают безопасность компьютеров, например, позволяют разблокировать iPhone или ноутбук с Windows, распознавая лицо владельца без ввода пароля. Возможно, в будущем по такому же принципу будут работать банкоматы и другие устройства.

Некоторые передовые возможности могут оказать на общество еще большее влияние. Представьте, что можно найти потерявшегося ребенка, проходящего мимо уличной камеры. Представьте, что полиция может обнаружить террориста, направляющегося на переполненный стадион. Представьте, что смартфон может сообщать слепому человеку имена людей, заходящих в комнату.

Но не все так радужно. Представьте, что правительство следит за вами без вашего ведома и знает в мельчайших подробностях, где и когда вы находились в течение этого месяца. Представьте, что есть база данных с информацией обо всех, кто присутствовал на политическом митинге, выражая свободу слова. Представьте, что продавцы в торговом центре, не спрашивая у вас разрешения, используют технологию распознавания лиц, чтобы делиться друг с другом информацией о каждой полке, которую вы просматриваете, и о продуктах, которые вы покупаете. Подобное издавна было в сюжетах книг и фильмов — «Особое мнение» («Minority Report»), «Враг государства» («Enemy of the State») и даже »1984»,  —, но теперь все это может стать реальностью.

Технологии распознавания лиц (видимо, как и все другие передовые технологии) поднимают важнейший вопрос: какую роль в повседневной жизни общества мы готовы им отдать?

Принятие решений затрудняется тем, что технологии распознавания лиц быстро развиваются, но все еще далеки от совершенства. Как широко обсуждалось в последние месяцы, в работе нескольких применяющихся на практике технологий обнаружена предвзятость: лица белых мужчин распознаются точнее, чем белых женщин, а лица со светлой кожей — точнее, чем с темной. Исследователи усердно работают над решением этой проблемы и уже добились значительных успехов. Но, как показало одно важное исследование, предвзятость по-прежнему сохраняется. Относительная незрелость технологий делает вопросы со стороны общества еще более актуальными.

Даже если избавиться от предвзятости и добиться одинаковых результатов в распознавании лиц всех людей, вероятность ошибок останется. Технологии распознавания лиц, как и многие другие технологии искусственного интеллекта, обычно выдают некоторую долю ошибок, даже если работают без предвзятости. А проблемы распознавания лиц выходят далеко за рамки предвзятости, заставляя задуматься о наших фундаментальных свободах.

Политика и технологии

В последние недели в политике США уделяется много внимания ИТ-разработкам, ведущимся на Западном побережье. В середине июня вопросы, связанные с распознаванием лиц, встали перед руководством Microsoft особенно остро. Страну захлестнули споры об отделении детей иммигрантов от их семей на южной границе, и твит о маркетинговом посте Microsoft, опубликованном в январе, быстро разошелся по соцсетям и вызвал оживленные дебаты. В том посте обсуждался контракт с иммиграционной и таможенной службой США (ICE) и говорилось, что Microsoft достигла высокого порога безопасности. Кроме прочего, там сообщалось о возможности ICE использовать распознавание лиц.

Как мы уже сообщали, данный контракт не имеет никакого отношения к нашим технологиям распознавания лиц. Кроме того, Microsoft не участвовала в каких-либо проектах правительства США, связанных с отделением детей от их семей на границе, и мы категорически против подобной практики. Предметом этого контракта была поддержка устаревших приложений: электронной почты, календарей, мессенджеров и систем документооборота. Подобная работа идет в каждом государственном агентстве США, как и практически в любой другой государственной, коммерческой или некоммерческой организации в мире. Тем не менее в Microsoft поступали предложения разорвать контракт и прекратить любое сотрудничество с ICE.

Последующее обсуждение перешло на более широкие вопросы, волнующие ИТ-сектор. Эти вопросы не уникальны для Microsoft: в начале этого года они поднимались в Google и других ИТ-компаниях. Недавно группа сотрудников Amazon подала протест против контракта с ICE, вновь подтверждая обеспокоенность общества применением правоохранительными органами технологий распознавания лиц, о чем сообщал Американский союз защиты гражданских свобод (American Civil Liberties Union, ACLU). Сотрудники Salesforce задавали те же вопросы относительно политики иммиграционных служб и использования ими продуктов Salesforce. К ИТ-компаниям все чаще предъявляются требования по ограничению возможностей использования их технологий распознавания лиц (а также некоторых других технологий) государственными органами.

Эти проблемы никуда не исчезнут. Они отражают быстро расширяющиеся возможности новых технологий, которые в полной мере проявятся в ближайшее десятилетие. Сейчас речь идет о распознавании лиц, но очевидно, что в будущем те же проблемы будут связаны с другими новыми технологиями. Тем более важно ответить на сегодняшние вопросы и выбрать правильное направление дальнейшего развития событий.

Необходимость государственного регулирования

Единственный эффективный способ управления использованием технологий правительственными органами — контроль со стороны самого правительства. И если есть опасения по поводу широкого применения какой-то технологии в обществе, то только правительство может регулировать это широкое применение. Мы считаем, что сегодня необходимо именно это: правительственная инициатива по регулированию использования технологий распознавания лиц, созданная при участии двухпартийной экспертной комиссии.

Мы ценим инициативу некоторых людей, которые сегодня призывают ИТ-компании самостоятельно принимать такие решения, и признаем явную необходимость в ответственном подходе к этому вопросу. Но, как подробно объясняется ниже, мы считаем, что это неадекватная замена принятию решений общественностью и ее представителями в демократическом государстве. Мы живем в стране, подчиняющейся законам, поэтому правительство должно играть важную роль в регулировании технологий распознавания лиц. В целом представляется более разумным просить избранное правительство регулировать компании, чем просить не избранные компании, чтобы они регулировали правительство.

Такой подход, скорее всего, будет гораздо более эффективным для достижения общественных целей. В конце концов даже если одна или несколько ИТ-компаний изменят свои принципы, но остальные продолжат работать по-прежнему, проблему не удастся решить. Если не будет общей нормативной базы, то конкуренция между американскими ИТ-компаниями, не говоря уже о компаниях из других стран, позволит правительствам продолжать приобретать и использовать новые технологии таким образом, что общество будет недовольно.

Может показаться необычным, что компания просит правительство регулировать ее продукты, но существует много рынков, где продуманное регулирование способствует развитию более здоровой динамики, выгодной для потребителей и производителей. В XX веке автомобильная индустрия потратила десятилетия, сопротивляясь призывам к регулированию, но сегодня все признают, насколько важным стало влияние регулирования на распространение ремней и подушек безопасности и на повышение эффективности использования топлива. То же самое справедливо для безопасности воздушных полетов, пищевых и фармацевтических продуктов. Всегда будут споры о каких-то деталях, и эти детали важны. Однако мир с жестким регулированием полезных, но потенциально опасных продуктов лучше, чем мир без правовых норм вообще.

Поэтому компания Microsoft призывала к принятию законодательства о национальной безопасности США в 2005 году и поддержала Общий регламент по защите данных в Европейском союзе. У потребителей будет больше уверенности в том, как компании используют конфиденциальную личную информацию, если появятся четкие правила, обязательные для всех. Хотя новые проблемы, связанные с распознаванием лиц, выходят за рамки конфиденциальности, мы считаем, что аналогия уместна.

Продуманное государственное регулирование технологий распознавания лиц представляется особенно важным, если учесть его широкие социальные последствия и возможности для злоупотреблений. Без продуманного подхода государственные органы могут полагаться на ошибочные или предвзятые компьютерные методы принятия решений относительно того, за кем надо следить, о ком собирать сведения и даже кого арестовывать за преступления. Правительства могут наблюдать за политической и иной общественной деятельностью такими способами, которые противоречат ожиданиям демократического общества, снижая желание граждан участвовать в политических событиях, подрывая основные свободы и нарушая право на собрания и выражение личных мнений. Аналогично этому, компании могут использовать распознавание лиц, чтобы автоматически (без участия человека) принимать решения, влияющие на доступность товаров, на возможность получения кредита или работы. Все эти сценарии поднимают важные вопросы конфиденциальности, свободы слова, свободы на собрания и даже жизни.

Итак, какие вопросы следует решить с помощью государственного регулирования? Это один из самых важных вопросов, требующих ответа в первую очередь. В качестве отправной точки мы предлагаем следующие вопросы:

• Должно ли общество контролировать использование правоохранительными органами технологий распознавания лиц, в том числе ограничивать использование результатов автоматического распознавания лиц в качестве доказательства вины или невиновности в преступлении?
• Аналогично этому, следует ли обеспечивать гражданский надзор и подотчетность использования технологий распознавания лиц в рамках государственных программ обеспечения национальной безопасности?
• Какие юридические меры могут препятствовать распознаванию лиц для расовой дискриминации и нарушения других прав человека, но при этом сохранять возможность полезного применения технологий?
• Должны ли технологии распознавания лиц, используемые государственными органами или другими организациями, иметь определенный минимальный уровень точности?
• Должен ли закон требовать, чтобы розничные магазины публиковали на видном месте уведомление об использовании ими технологии распознавания лиц в общественных местах?
• Должен ли закон требовать, чтобы компании получали предварительное согласие, прежде чем собирать изображения людей для распознавания их лиц? Если да, то в каких ситуациях и местах это должно применяться? И каким образом можно запросить и получить такое согласие?
• Должны ли мы гарантировать людям право на знание того, какие их фотографии были собраны, сохранены и сопоставлены с их именами и лицами?
• Должны ли мы создавать процедуры, обеспечивающие юридические права граждан, которые полагают, что они были ошибочно идентифицированы системой распознавания лиц?

Этот список, никоим образом не исчерпывающий, демонстрирует широту и важность рассматриваемых вопросов.

Еще один важный вопрос, требующий первоочередного ответа: как правительства должны решать эти проблемы? В США это национальный вопрос, которым должны заниматься избранные народом представители. Это означает, что лидерство должен взять на себя Конгресс. Хотя некоторые сомневаются в том, что члены Конгресса обладают достаточными знаниями в технологических областях, Microsoft считает, что Конгресс способен эффективно решать такие проблемы. Для этого необходимо использовать правильные механизмы сбора экспертных рекомендаций, необходимых для принятия обоснованных решений.

Во многих случаях Конгресс создает двухпартийные экспертные комиссии для оценки сложных вопросов и предоставления рекомендаций по выработке законодательных мер. Как отметила в прошлом году Исследовательская служба Конгресса (Congressional Research Service, CRS), эти комиссии являются «официальными группами, созданными для предоставления независимых консультаций, вынесения рекомендаций по изменениям в государственной политике, изучения конкретной проблемы, вопроса или события или выполнения других обязанностей». Созданная Конгрессом «Комиссия 9/11» сыграла важную роль в оценке национальной трагедии, произошедшей 11 сентября. За прошедшие десять лет Конгресс создал 28 таких комиссий для консультаций по самым разным вопросам, от защиты детей во время катастроф до определения будущего армии.

Мы считаем, что Конгрессу следует создать двухпартийную экспертную комиссию для оценки наилучшего способа регулирования технологий распознавания лиц в США. При оценке этих проблем и разработке более четких этических принципов использования технологий комиссия должна учитывать недавние академические работы, а также работы, ведущиеся в государственном и частном секторах. Такая комиссия должна предоставлять Конгрессу рекомендации о том, какие новые законы необходимы, а также предлагать более эффективные методы обеспечения надлежащего надзора над этими технологиями в рамках всей исполнительной власти.

Проблемы, связанные с распознаванием лиц, актуальны не только для США. Перечисленные выше вопросы, как и многие другие, станут важными аспектами мировой государственной политики, требуя активного участия правительств, ученых, ИТ-компаний и гражданского общества на международном уровне. Учитывая глобальный характер самих технологий, вероятно, будет возрастать и потребность во взаимодействии и координации между регулирующими органами разных стран.

Ответственность ИТ-сектора

Необходимость государственного руководства не освобождает ИТ-компании от собственных этических обязанностей. Учитывая важность и широту проблем распознавания лиц, Microsoft, как и весь остальной ИТ-сектор, несет ответственность за то, чтобы эти технологии были ориентированы на интересы людей и разрабатывались в соответствии с общепринятыми общественными ценностями. Надо признать, что многие из этих вопросов новы, и ни у кого нет всех ответов на них. Некоторые проблемы еще только предстоит определить. Коротко говоря, всем нам предстоит многому научиться. Тем не менее, некоторые первоначальные выводы уже ясны.

Во-первых, долг ИТ-сектора — продолжать важную работу по снижению риска возникновения предвзятости в технологиях распознавания лиц. Никто не выиграет от внедрения незрелой технологии, часто ошибающейся, особенно при распознавании лиц женщин и темнокожих людей. Поэтому наши исследователи и разработчики стремятся ускорить прогресс в этой области, и именно поэтому один из наших приоритетов — работа внутреннего комитета Microsoft Aether, предоставляющего рекомендации по некоторым вопросам искусственного интеллекта и этики.

Мы понимаем важность сотрудничества с академическим сообществом и другими компаниями, в том числе в составе таких групп, как Partnership for AI. Нам важно не только создавать наборы данных, отражающие разнообразие мира, но и принимать на работу самых разных специалистов с большим опытом, способных эффективно снижать риск возникновения предвзятости. Это требует от Microsoft и других ИТ-компаний постоянных усилий по поддержанию разнообразия сотрудников и инвестиций в развитие талантов, необходимых для работы в будущем. Мы сосредоточены на достижении прогресса в этих областях, но осознаем, что предстоит еще очень много работы.

Во-вторых, в более широком смысле мы признаем необходимость принятия принципиального и прозрачного подхода к разработке и применению технологий распознавания лиц. Мы проводим работу по оценке и разработке дополнительных принципов для управления нашими технологиями распознавания лиц. Мы уже использовали похожий подход в других случаях, включая принципы доверия к облачным сервисам, принятые в 2015 году, частично поддерживаемые центрами прозрачности и другими объектами по всему миру и позволяющие проверять наш исходный код и другие данные. Кроме того, ранее в этом году мы опубликовали общий набор этических принципов, которыми мы руководствуемся в разработке всех наших технологий ИИ.

Продвигаясь вперед, мы стремимся создать прозрачный набор принципов для технологий распознавания лиц, которым мы поделимся с общественностью. Частично он будет опираться на наши более широкие обязательства по разработке продуктов и управлению услугами, соответствующие Руководящим принципам ООН в области бизнеса и прав человека. Эти принципы, принятые в 2011 году, стали глобальным стандартом обеспечения корпоративного уважения прав человека. Мы периодически проводим оценку воздействия наших продуктов и услуг на права человека (HRIA), и в настоящее время делаем то же самое для наших технологий ИИ.

Мы будем продолжать эту работу, частично опираясь на опыт и вклад наших сотрудников, но мы также признаем важность активного внешнего мониторинга и участия. Поэтому мы учтем мнения внешних заинтересованных сторон, включая клиентов, ученых и правозащитников, сосредоточенных на конкретных вопросах, связанных с распознаванием лиц. Эта работа займет несколько месяцев, но мы стремимся завершить ее в кратчайшие сроки.

Один из трудных вопросов, которые нам необходимо решить — проведение границы между развитием наших технологий распознавания лиц и использованием нашей более широкой ИТ-инфраструктуры третьими сторонами, которые создают и развертывают свои собственные технологии распознавания лиц. Компании сложнее регулировать использование ее инструментов и инфраструктуры третьими сторонами, чем при полном обслуживании или использовании собственных консультантов, когда можно предъявлять более жесткие требования. Эти различия и нюансы потребуют отдельного рассмотрения.

В-третьих, мы осознаем, что при развертывании полного спектра технологий распознавания лиц важно не принимать поспешных решений. Многие информационные технологии (в отличие, например, от фармацевтических продуктов) распространяются очень быстро и широко для ускорения темпов инноваций и внедрения. Девиз «двигайся быстро, круши все на своем пути» стал чем-то вроде мантры в Кремниевой долине в этом десятилетии. Но если мы будем слишком спешить с внедрением распознавания лиц, то можем обнаружить, что нарушаются основополагающие права человека.

Поэтому мы приняли решение, частично основанное на рекомендациях комитета Aether, более вдумчиво подходить к контрактам и консультациям в области распознавания лиц. Это привело к тому, что мы отказались от некоторых контрактов на развертывание этих технологий, придя к выводу, что существуют большие риски для прав человека. Мы продолжаем разрабатывать более долговременные принципы и будем следить за использованием наших технологий распознавания лиц, чтобы предотвращать нарушения прав человека.

Кроме того, мы намерены делиться дополнительной информацией с клиентами, которые рассматривают возможность развертывания технологий распознавания лиц. Мы продолжим предоставлять клиентам и другим пользователям ту информацию, которая поможет им глубже понять существующие возможности и ограничения технологий распознавания лиц и то, как эти функции могут и должны использоваться, а также риски неправильного использования.

В-четвертых, мы готовы к полноценному и ответственному участию в обсуждениях государственной политики, касающихся распознавания лиц. Чиновники, гражданские организации и широкая общественность смогут оценить все последствия внедрения новых технологий только в том случае, если у создателей этих технологий хорошо налажен обмен информацией с потребителями. Мы стремимся побудить правительство действовать, так что мы должны сделать шаг вперед и поделиться всей необходимой информацией. Мы делаем это и выступаем за этическое использование распознавания лиц и других новых технологий как в США, так и во всем мире.

Мы понимаем, что может появиться дополнительная ответственность, которую должны будут принять на себя компании ИТ-сектора. Мы предлагаем приведенный выше список не потому, что считаем, что в него больше нечего добавить, а в надежде, что он послужит хорошим началом для продвижения вперед.

Некоторые заключительные мысли

Наконец, размышляя о постоянно развивающихся способах применения технологий, мы признаем, что перед нами открывается непростое будущее. Правительственное агентство, которое сегодня делает что-то неоднозначное, завтра может сделать что-то достойное похвалы. Поэтому нам нужен принципиальный подход к технологиям распознавания лиц, воплощенный в законе, который переживет принявшую его администрацию и сиюминутные политические выгоды.

Даже во времена все более поляризованной политики мы верим в наши фундаментальные демократические институты и ценности. В Конгрессе работают избранные народом представители, которые располагают инструментами, необходимыми для оценки новых технологий вместе со всеми их последствиями. Нам помогает система сдержек и противовесов Конституции, с которой мы успешно прошли от эпохи свечного освещения до эпохи искусственного интеллекта. Как и во многих случаях в прошлом, мы должны сделать так, чтобы новые изобретения служили нашим демократическим свободам в соответствии с верховенством закона. Учитывая глобальный охват технологий, эти проблемы необходимо решать на международном уровне, прислушиваясь к мнению других уважаемых сторон. Международное сообщество должно объединить усилия, и мы с готовностью выполняем свою часть работы.

Tags: AI, Brad Smith, Брэд Смит, ИИ, искусственный интеллект, распознавание лиц

©  Microsoft