Может ли искусственный интеллект рассчитать, что с нами будет
Над новым исследованием работали более 112 ученых из 160 команд. Они выяснили, что статистические модели на основе ИИ, которые могут использоваться в прогнозировании того, как сложится жизнь человека, пока не могут давать точные результаты, несмотря на то, что их обучение проходило на огромном массиве данных.
Исследователи создали несколько подобных моделей и обучали их на основе 13 тыс. точечных данных, собранных из 4000 различных семей. Ученые рассказали, что их работа является доказательством того, что прогностические модели пока невозможно использовать в важных социальных учреждения, таких как система уголовного правосудия или программы социальной поддержки населения.
«Это была наилучшая среда для создания точной модели. Ведь участвовало так много талантливых людей, которым предоставили широкий спектр данных. Однако даже самые лучшие результаты прогнозирования ИИ все еще недостаточно точные», — рассказал один из авторов исследования Мэтт Салганик. Он является профессором по социологии и экспертом в области информационных технологий. «Результаты нашей работы дают понять, что машинное обучение и технологии ИИ — это не волшебство. Вероятно, есть огромное количество причин, которые сильно влияют на составление прогноза жизненного пути, и машины пока не могут учесть их все».
Фото: pexels.com
Как проходило исследование
Крупный эксперимент решила провести группа Fragile Families Challenge. Они привлекли исследователей по данным и общественным наукам, чтобы они попробовали решить прогнозирующие задачи, путем составления прогнозов на основе одинакового массива данных. Для участия в исследовании были отобраны 160 групп ученых. На основе конечных правильных данных о судьбе семей, которые уже находились у организаторов, их результаты оценивали на точность и отслеживали ошибки в прогнозах.
Целью конкурса между разными командами ученых было создание наиболее точной модели для прогнозирования жизненных обстоятельств группы детей в возрасте 15 лет. Всего было охвачено 1617 переменных в результате проведенного до этого социального исследования. Из них 6 были определены как основные, наиболее влияющие на жизненный путь ребенка:
Средняя оценка знаний ребенка. Выдержка/твердость характера. Выселение из места жительства. Материальные трудности в семье. Уход главного опекуна. Участие основного опекуна в профессиональной подготовке. Фото: fragilefamilieschallenge.orgВсем участникам были предоставлены анонимные исходные данные всего по 4242 семьям. Таким образом, их модели обрабатывали около 13 тыс. разных переменных. В конце эксперимента команды ученых представили результаты с прогнозами, которые оценивались с учетом известных данных. Все программы использовали методы, основанные на сложных алгоритмах с применением моделей машинного обучения. Также участники имели доступ к тысячам переменных, которые подсказывали ИИ каким образом сложится жизнь того или иного ребенка. Однако результаты исследования не оправдали ожиданий. При сравнении с известными данными, даже самая лучшая из более чем 3000 представленных моделей не была безошибочной. Также эксперимент показал, что ИИ лишь немного точнее, чем используемые в статистике модели линейной агрессии и логистической регрессии. При этом они не зависят от какой-либо формы машинного обучения. Ученые не до конца понимают, из-за чего их программы не смогли сделать более точные прогнозы. Они предполагают, что какой-то важной переменной все еще не хватает.Реклама на Компьютерре Например, вычисляя материальные трудности, с которыми могут столкнуться родители 15-летних детей, лучшая модель давала правильные результаты лишь в 23% случаев. По другим основным параметрам процент успешных прогнозов падал еще ниже. После проведенной работы ученые задались другими вопросами. Например, насколько относительна производительность сложных моделей с технологиями ИИ по сравнению с простыми и уже эталонными моделями вычисления вероятностей. В результате исследования они выяснили, что более простая модель, которая основывалась на меньшем количестве информации с несколькими предсказателями, была лишь немного хуже, чем самая лучшая программа, разработанная участниками. Таким образом, она превзошла большинство представленных моделей. В конце исследования ученые пришли к выводу, что прежде чем прибегать к использованию более глубоких моделей для составления прогнозов, нужно понять, какой уровень точности сможет достигнуть выбранная модель и подойдет ли она для условий, в которых будут использоваться эти результаты прогнозов. Возможно, известные прогностические модели или эксперты в своей области будут более подходящим вариантом. Исследователи советуют оценить, стоит ли возможное улучшение прогнозирующей производительности дополнительных затрат на создание, тестирование и применение новых и более сложных моделей. Но группа ученых не собирается на этом останавливаться. В настоящее время они подают заявку на гранты, чтобы продолжить исследования в данной области. Они планируют создать более точную статистическую модель, которая сможет учитывать большее количество переменных. ИсточникПолный текст статьи читайте на Компьютерра
