[Перевод] Война со скрытыми алгоритмами, заманивающими в ловушку бедности
Привет Хабр! Делюсь с вами постом, в котором рассказывается, как группа юристов обнаруживает и борется с автоматизированными системами, которые отказывают бедным в жилье, работе и в базовых услугах. Рассматривается американский опыт, но в России данная проблема тоже очень скоро будет актуальна, ведь алгоритмы кредитного скоринга активно внедряются и у нас. А где ещё поднимать вопросы этичности подобных систем, как не среди тех, кто их создаёт?
Введение
Мириам был всего 21 год, когда она встретила Ника. Она была фотографом, недавно окончила колледж и обслуживала столики. Он был на 16 лет старше её и владел бизнесом в сфере финансов. Он был обаятелен и харизматичен; водил её на модные свидания и платил за всё. Она быстро попала под его влияние.
Всё началось с одной кредитной карточки. В то время у Мириам она была единственной. Ник увеличивал долг с помощью деловых покупок на 5000 долларов и быстро расплачивался на следующий день. Мириам, которая просила меня не называть их настоящих имён, опасаясь помешать бракоразводному процессу, обнаружила, что трюк Ника повышает ее кредитный рейтинг. Выросшая с отцом-одиночкой в семье с низким доходом, она доверяла ноу-хау Ника больше, чем самой себе. Ник с готовностью поддержал её, сказав, что она не разбирается в финансах. Она открыла для него ещё несколько кредитных карточек на своё имя.
Неприятности начались спустя три года. Ник попросил Мириам бросить работу, чтобы помочь ему с бизнесом, что она и сделала. Ник сказал ей, чтобы она пошла в аспирантуру и не беспокоилась о том, что она усугубит свой существующий студенческий долг. Мириам снова послушалась Ника. Он обещал позаботиться обо всем, и она ему поверила. Вскоре после этого Ник перестал оплачивать счета по кредитным картам. Счёт Мириам начал таять.
И всё же Мириам осталась с Ником. Они поженились, у них родилось трое детей. И вот однажды в их дом нагрянули агенты ФБР и арестовали Ника. Судья федерального суда признал Ника виновным в мошенничестве почти на 250 000 долларов. Мириам обнаружила сумму долга в десятки тысяч долларов, который Ник оформил на ее имя. «В тот день, когда он попал в тюрьму, у меня было 250 долларов наличными, дом и машина в залоге и трое детей», — рассказывает Мириам. — За месяц я перешла от возможности нанять няню, от жизни в хорошем доме и всего такого к настоящей нищете».
Мириам пережила так называемый «принудительный долг» — форму насилия, обычно совершаемого близким партнёром или членом семьи. Экономические злоупотребления — давняя проблема: цифровой банкинг облегчил открытие счетов и выдачу кредитов на имя жертвы, — рассказывает Карла Санчес-Адамс, адвокат юридической помощи Texas RioGrande. В эпоху автоматизированных алгоритмов оценки кредитоспособности последствия могут быть гораздо более разрушительными.
Кредитные баллы десятилетиями применялись для оценки потребительской кредитоспособности, но теперь, когда подсчёт основан на алгоритмах, они значат гораздо больше: они не только учитывают значительно больше данных как по объёму, так и по типу, но и всё больше влияют на то, сможете ли вы купить автомобиль, снять квартиру или получить постоянную работу. Их всестороннее влияние означает, что, если у вас плохая кредитная история, её почти невозможно восстановить. Хуже того: алгоритмы принадлежат частным компаниям, которые не раскрывают, как эти алгоритмы приходят к своим решениям. Жертвы могут опуститься по социальной лестнице, которая иногда заканчивается потерей жилья или возвращением к своему обидчику.
Алгоритмы кредитного скоринга — не единственное, что влияет на экономическое благосостояние людей и их доступ к базовым услугам. Алгоритмы теперь решают, какие дети попадают в приёмную семью, какие пациенты получают медицинскую помощь, какие семьи получают доступ к стабильному жилью. Те из нас, у кого есть средства, могут прожить жизнь, не подозревая ни о чём таком. Но для людей с низкими доходами быстрый рост и внедрение автоматизированных систем принятия решений создали скрытую сеть взаимосвязанных ловушек.
К счастью, вокруг этой проблемы организовывается всё больше гражданских юристов. Позаимствовав у криминального мира учебник по борьбе с алгоритмами оценки рисков, они стремятся изучить эти системы, создать сообщество и разработать стратегии поведения в судебном разбирательстве. «В основном каждый гражданский юрист начинает иметь дело с этим материалом, потому что все наши клиенты так или иначе затронуты этими системами, — рассказывает Мишель Гилман, профессор клинического права в Университете Балтимора. — Нам нужно проснуться и учиться. Если мы хотим быть действительно хорошими, целостными юристами, мы должны осознавать происходящее».
«Я буду перекрёстно допрашивать алгоритм?»
Гилман занимается юридической практикой в Балтиморе уже 20 лет. Её работа в качестве гражданского адвоката и адвоката по борьбе с бедностью всегда сводилась к одному и тому же: она представляла интересы людей, потерявших доступ к основным нуждам, таким как жильё, питание, образование, работа или здравоохранение. Иногда такая работа означает столкновение с правительственным учреждением. В других случаях это Агентство кредитных отчетов или домовладелец. Всё чаще борьба за право клиента затрагивает тот или иной алгоритм.
«С нашими клиентами это происходит постепенно, — рассказывает она. — Они опутаны множеством различных алгоритмов, которые не позволяют пользоваться базовыми услугами. И клиенты могут не знать об этом, потому что многие из этих систем невидимы».
Людей с низкими доходами одно временное экономическое затруднение может привести к порочному кругу, который иногда заканчивается банкротством или потерей жилья.
Гилман не помнит точно, когда поняла, что некоторые решения о приемлемости принимаются алгоритмами. Но, когда этот переход только начинался, он редко был очевиден. Однажды Гилман представляла интересы пожилого клиента-инвалида, который необъяснимым образом был отрезан от финансируемой ею медицинской помощи на дому. «Мы не смогли выяснить, почему, — вспоминает она. Ей становилось всё хуже, а обычно, если тебе становится хуже, ты получаешь больше часов, а не меньше».
Только когда Гилман и её клиент стояли в зале суда посреди слушания, свидетель, представляющий государство, сообщил, что правительство только что ввело в эксплуатацию новый алгоритм. Свидетельница, медсестра, ничего не могла объяснить.
— Конечно, нет — они купили его «с полки» [о массовом товаре не под заказ], — сказала Гилман. «Она медсестра, а не специалист по компьютерным наукам. Она не могла ответить, какие факторы влияют на поведение системы. Как они взвешивается? Каковы ожидаемые результаты?» И вот я со своим адвокатом-студентом, который был в моей юридической клинике вместе со мной, и он спросил что-то вроде: «О, я буду перекрёстно допрашивать алгоритм?»
Для Кевина Де Либана, адвоката юридической фирмы «Юридическая помощь Арканзаса», перемена была столь же коварной. В 2014 году его штат также ввёл новую систему распределения финансируемой медицинской помощи на дому, отсекая целый ряд людей, которые ранее имели право воспользоваться такой помощью. В то время он и его коллеги не могли определить основную причину такого отсечения. Они только знали, что что-то изменилось. «Мы могли понять, что произошло изменение в системах оценки от бумажного вопросника с 20 вопросами к электронному вопроснику с 283 вопросами», — признаётся он.
Только два года спустя, когда ошибка в алгоритме снова привела к судебному разбирательству, Де Либан, наконец, добрался до сути вопроса. Он понял, что медсёстры говорят пациентам: «Ну, это сделал компьютер — это не я».
— Вот это нас и насторожило, — рассказывает он. «Если бы я знал то, что знал в 2016 году, то, вероятно, лучше защищал бы клиента в 2014 году», — добавляет Де Либан.
Человек проходит через множество систем ежедневно
С тех пор Гилман приобрела большой опыт. Представляя интересы клиентов с целым рядом проблем, она наблюдала за возникновением и столкновением двух алгоритмических сетей. Первая сеть состоит из алгоритмов кредитной отчётности, подобных тем, что заманили в ловушку Мириам, они влияют на доступ к частным товарам и услугам, таким как автомобили, дома и работа. Вторая сеть содержит алгоритмы, принятые государственными учреждениями, которые влияют на доступ к общественным благам, таким как здравоохранение, борьба с безработицей и услуги по поддержке детей.
Что касается отчётности по кредитам, то рост алгоритмов был обусловлен распространением данных, которые сегодня легче, чем когда-либо, собирать и распространять. Кредитные отчеты не новы, но в наши дни их влияние гораздо более обширно. Агентства потребительской отчетности, включая кредитные бюро, компании по проверке арендаторов и так далее, собирают эту информацию из широкого круга источников: публичных записей, социальных сетей, просмотра веб-страниц, банковской деятельности, использования приложений и многого другого. Затем алгоритмы присваивают людям оценки «достойности», которые в значительной степени учитываются при проверке биографических данных, выполняемой кредиторами, работодателями, арендодателями и даже школами.
Правительственные учреждения, с другой стороны, вынуждены принимать алгоритмы, когда хотят модернизировать свои системы. Внедрение веб-приложений и цифровых инструментов началось в начале 2000-х годов и продолжилось с переходом к более управляемым данными автоматизированным системам и искусственному интеллекту. Есть веские причины стремиться к таким изменениям. Во время пандемии многие системы пособий по безработице с трудом справлялись с огромным количеством новых запросов, что приводило к значительным задержкам. Модернизация этих устаревших систем обещает результаты быстрее и надёжнее.
Но процесс закупок программного обеспечения редко бывает прозрачным, и поэтому нет подотчётности. Государственные учреждения часто покупают автоматизированные инструменты принятия решений непосредственно у частных поставщиков. В результате, когда системы ошибаются, пострадавшие люди и их адвокаты остаются в неведении. «Они нигде не предупреждают о подобном», — сетует Джулия Саймон-Мишель, адвокат юридической фирмы Philadelphia Legal Assistance. «Такое редко написано в каких-либо руководствах или в справке. Мы в невыгодном положении».
Отсутствие общественного контроля также делает алгоритмы более склонными к ошибкам. Одна из самых вопиющих неполадок произошла в Мичигане в 2013 году. После больших усилий по автоматизации государственной системы пособий по безработице алгоритм неверно отметил более 34 000 человек как мошенников. «Это привело к огромной потере льгот, — говорит Симон-Мишель. — Были банкротства, были, к сожалению, самоубийства. Это был полный бардак».
Гилман опасается, что связанные с коронавирусом долги и выселения будут кодифицированы в кредитные баллы, что навсегда затруднит людям получение работы, квартир и кредитов.
Люди с низкими доходами несут на себе основную тяжесть перехода к алгоритмам. Это люди, наиболее уязвимые к временным экономическим трудностям, которые кодифицируются в потребительских отчетах, и те, кто нуждается и ищет льготы. На протяжении многих лет Гилман видела всё больше и больше случаев, когда клиенты рискуют войти в порочный круг. «Человек проходит через множество систем ежедневно, — рассказывает она. — Я имею в виду, что это происходит со всеми. Но последствия этого гораздо тяжелее для бедных и представителей меньшинств».
В качестве примера она приводит текущий случай в своей юридической клинике. Один из членов семьи потерял работу из-за пандемии и был лишен пособия по безработице из-за сбоя автоматизированной системы. Затем семья перестала платить арендную плату, а это привело к тому, что их домовладелец подал на них в суд на выселение. Хотя выселение не будет законным из-за моратория организации контроля и профилактики заболеваний, иск всё равно будет занесён в публичные записи. Эти записи могут затем использоваться в алгоритмах отбора арендаторов, что может затруднить семье поиск стабильного жилья в будущем. Их неспособность оплатить аренду жилья и коммунальные услуги также может быть ударом по их кредитному счёту, что снова приведёт к последствиям. «Если люди пытаются воспользоваться сотовой связью или взять кредит, купить автомобиль или подать заявление на работу, будут иметь место эти каскадные волновые эффекты», — говорит Гилман.
Каждая человеческая ситуация превратится в ситуацию алгоритма
В сентябре Гилман, которая ныне работает в Институте исследований данных и общества, опубликовала доклад, в котором описываются все алгоритмы, с которыми могут столкнуться юристы по вопросам нищеты. Доклад называется «Алгоритмы бедности» (Poverty Lawgorithms) и создан как руководство для юристов в этой области. Доклад разделен на конкретные области практики, такие как потребительское право, семейное право, жилищное право и общественные блага. Доклад объясняет, как решать проблемы, возникающие из-за алгоритмов и других управляемых данными технологий в рамках существующего законодательства.
Например, если клиенту отказывают в покупке квартиры из-за низкого кредитного рейтинга, в отчёте рекомендуется, чтобы адвокат сначала проверил, точны ли данные, вводимые в систему скоринга. В соответствии с Законом о справедливой кредитной отчётности отчитывающиеся агентства обязаны обеспечивать достоверность своей информации, но это происходит не всегда. Оспаривание любых ошибочных претензий может помочь восстановить кредит клиента и, таким образом, доступ к жилью. Однако в докладе признаётся, что существующие законы могут помочь добиться только этого. Есть еще пробелы в регулировании, которые нужно заполнить, — говорит Гилман.
Гилман надеется, что доклад послужит тревожным сигналом. Многие из ее коллег всё ещё не понимают, что происходит, и не в состоянии задавать правильные вопросы, чтобы обнаружить алгоритмы. Осознающие проблему люди рассеяны по США, они изучают проблему, направляются к проблемной точке и борются с алгоритмами в одиночку. Гилман видит возможность объединить их и создать более широкое сообщество людей, которые могли бы помочь друг другу. «Нам всем нужно узнать больше и научиться больше — не только в смысле закона, но и в смысле самих систем, — говорит Гилман. В конце концов, похоже на то, что каждая человеческая ситуация превратится в ситуацию алгоритма».
В долгосрочной перспективе Гилман ищет вдохновения в уголовно-правовом мире. Адвокаты по уголовным делам «работали на опережение», рассказывает она. Они организовались в сообщество и боролись с определяющими приговор алгоритмами оценки риска, откладывая их применение. Гилман хочет, чтобы гражданские юристы сделали то же самое: создали движение, чтобы привлечь больше общественного контроля и регулирования к скрытой сети алгоритмов, с которыми сталкиваются их клиенты. «В некоторых случаях систему, вероятно, следует просто выключить, потому что нет никакой возможности сделать её справедливой», — говорит она.
Что касается Мириам, то после осуждения Ника она ушла навсегда. Мириам со своими детьми переехала в новый штат и связалась с некоммерческой организацией, поддерживающей людей, переживших принудительные долги и насилие в семье. С помощью организации Мириам прошла несколько курсов, научивших её управлять своими финансами. Организация помогла Мириам закрыть множество принудительных долгов и узнать больше о кредитных алгоритмах. Когда она пошла покупать машину с помощью своего отца, который стал поручителем, её кредитный рейтинг едва дотянул до необходимого минимума. С тех пор её постоянные платежи за машину и погашение студенческого долга постепенно повышают кредитный рейтинг.
Мириам всё ещё должна быть начеку. У Ника есть ее номер социального страхования, и они еще не развелись. Она постоянно беспокоится, что Ник откроет другие счета и возьмёт новые кредиты на ее имя. Некоторое время она ежедневно проверяла свою выписку по кредитке на предмет мошенничества. Но сейчас она смотрит вперёд. Отец Мириам, которому за 60, хочет уйти на пенсию и переехать. Сейчас они оба сосредоточены на подготовке к покупке дома. «Я очень взволнована этим. Моя цель — к концу года довести их до 700, — рассказывает она о своих кредитных баллах, — и тогда я определённо буду готова к покупке дома». «Я никогда не жила в собственном доме, — добавляет она. — Мы с отцом работаем вместе, чтобы сэкономить на собственный дом».
Не забывайте про промокод HABR, добавляющий 10% к скидке на баннере.
