YouGov опубликовала результаты валидации ИИ-двойников и призвала отрасль к выработке стандартов
- YouGov создала 1 008 E-двойников и сравнила их ответы с ответами 693 панелистов, повторно опрошенных в течение 48 часов.
- Оценки более 4 000 объектов повысили точность совпадения с 78% до 90%; такую же точность двойники показали по незнакомой теме — художественной литературе.
- Компания призвала разработчиков раскрывать методы, проверять двойников на соответствие конкретным людям и согласовать стандарты валидации.
Почему это важно: По словам YouGov, стандарты помогут клиентам понять, надёжны ли результаты симуляций.
Нью-Йорк, США, 10 ноября 2026 года, TechnologyWire
- YouGov создала 1 008 «E-двойников» и протестировала их в сравнении с 693 реальными людьми с подтверждёнными государственными удостоверениями личности, на основе которых они были построены, задав и тем и другим одни и те же новые вопросы
- Результаты двойников были проверены с помощью повторного опроса панелистов, на основе которых они создавались, в течение 48 часов
- Двойники, обученные на оценках панелистами более 4 000 брендов и объектов, в 90% случаев совпадали со своим человеком с точностью до одного балла по пятибалльной шкале — против 78% при обучении только на профильных данных
- Двойники показали те же 90% по теме, на которой их никогда не обучали
- YouGov призывает отрасль согласовать стандарты валидации и бросает вызов всем симуляторам — публично предсказывать реальные результаты
Международная исследовательская и аналитическая группа YouGov сегодня опубликовала аналитический доклад об одном из самых прозрачных на сегодняшний день тестов индивидуального моделирования «человек — цифровой двойник».
Вместо сравнения агрегированных результатов с общедоступными наборами данных новаторское исследование проверило каждого ИИ-двойника индивидуально на соответствие его собственному человеку.
Совместно с OriginalVoices, ИИ-платформой, специализирующейся на моделировании, YouGov создала цифровых двойников (симуляции взглядов реальных людей на основе больших языковых моделей, которые компания называет «E-двойниками») 1 008 участников своей собственной панели с подтверждёнными государственными удостоверениями личности. Затем одни и те же новые вопросы были заданы и E-двойнику, и реальному респонденту.
Целых 69% панелистов ответили в течение 48 часов, что позволило напрямую проверить точность их E-двойников. В повседневной работе такая валидация может занимать всего час.
Ключевые выводы тестирования ИИ-двойников YouGov
- Богатые данные обеспечивают точность. Добавление оценок панелистами более 4 000 объектов повысило точность на индивидуальном уровне (в пределах одного балла по пятибалльной шкале) с 78% до 90%.
- E-двойники YouGov отвечали на то, чему их никогда не учили. Художественная литература не входила в обучающие данные, но, когда E-двойников спрашивали о ней, они всё равно в 90% случаев отклонялись от ответа своего человека не более чем на один балл.
- Уверенность двойника коррелирует с точностью. Каждому развёрнутому ответу цифрового двойника OriginalVoices присваивает уровень уверенности (высокий, средний или низкий). Панелисты отметили, что ответ «очень хорошо» или «достаточно хорошо» описывает их собственные взгляды, в 81% ответов с высокой уверенностью, 72% — со средней и 67% — с низкой, что даёт исследователям практический ориентир, каким индивидуальным ответам двойников можно доверять.
- Реальные панелисты YouGov регулярно узнают себя во мнениях своих двойников. В 75% случаев панелисты оценивали развёрнутые ответы своего E-двойника как отражающие их собственные взгляды.
- Меньше стереотипов. Больший объём контекстных обучающих данных снизил зависимость двойников от демографии; систематической предвзятости по возрасту, полу, расе или образованию не выявлено.
Современные симуляции стоят на шатком фундаменте
По словам YouGov, большая часть доказательств, представленных до сих пор разработчиками симуляций в отрасли, основана на общедоступных наборах данных. Эти вопросы уже могут содержаться в обучающих данных базовых языковых моделей, поэтому двойник может казаться знающим ответ, который он просто усвоил, а с респондентами невозможно повторно связаться для проверки результатов.
Кроме того, агрегированные сравнения могут скрывать двойников, которые сглаживают ответы к среднему значению или стереотипу.
Поставщики симулированных данных должны раскрывать свои методы
YouGov призывает отрасль разработать общие стандарты верификации и валидации для определённых сценариев использования. Компания бросает вызов всем разработчикам симуляций: последовать её примеру — проверять двойников на соответствие их конкретному человеку, тестировать их на незнакомых темах, публиковать свои методы, показывать свои промахи и публично предсказывать реальные результаты.
Стефан Шекспир, генеральный директор и сооснователь YouGov: «ИИ во многом преображает исследовательскую отрасль, но особенно — в сфере моделирования. Станет ли это опасным явлением или полезным прорывом, зависит от того, смогут ли клиенты понять, надёжны ли его результаты. Я призываю всех в отрасли объединить усилия для выработки стандартов верификации и валидации симулированных данных. Этот доклад показывает, что, по нашему мнению, должны включать такие стандарты, в том числе возможность проводить валидацию одновременно. Если отрасль хочет, чтобы клиенты и общество доверяли моделированию, это доверие нужно заслужить, и добиться этого можно только с помощью широко согласованных стандартов».
В докладе YouGov также названы пробелы, которыми займётся будущий анализ. Текущее исследование не измеряло «потолок»: как часто человек повторяет собственный ответ на тот же вопрос. Двойник едва ли может превзойти человека, которого копирует: если бы панелисты повторяли собственную оценку в 70% случаев, доля точных совпадений двойников в 58% составила бы 83% от этого потолка. YouGov проверит это в следующей итерации своего исследования.
Полный текст доклада: Оценка цифровых двойников на основе данных панели YouGov
О YouGov
YouGov — глобальная группа в области исследовательских данных и аналитики. Наша миссия — предоставлять непревзойдённое понимание того, что мир на самом деле думает и делает. Работая в Северной и Южной Америке, континентальной Европе, Великобритании и Азиатско-Тихоокеанском регионе, мы располагаем одной из крупнейших исследовательских сетей в мире.
Прежде всего, YouGov опирается на реальность. Её основа — уникальная панель из миллионов зарегистрированных участников на 64 рынках, охватывающая около 21 млн походов за покупками и миллионы взаимосвязанных точек данных.
Наш уникальный подход к привлечению участников панели и взаимодействию с ними в сочетании с передовыми технологическими платформами позволяет нам предоставлять реальные аналитические данные в режиме реального времени, которые помогают клиентам принимать более взвешенные решения и получать конкурентное преимущество.
Как новаторы и первопроходцы онлайн-маркетинговых исследований, мы пользуемся прочной репутацией надёжного источника точных данных и аналитики. Подтверждение тому — данные YouGov регулярно цитирует мировая пресса, и мы неизменно входим в число самых цитируемых источников маркетинговых исследований в мире.
Дополнительная информация — на сайте yougov.com
Контакты
Руководитель по связям с общественностью, Америка
Аллен Хьюстон
YouGov
allen.houston@yougov.com
