DeepSeek-R1 провалил проверку на здравый смысл
Семейство тестов EQ-Bench, оценивающих способности ИИ к критическому мышлению и адекватному взаимодействию с пользователями, пополнилось новым бенчмарком. В нем проверялись склонность моделей к подхалимству, поддержке бредовых идей и опасных советов. Худшие результаты показал DeepSeek-R1, уступив даже Claude Sonnet 4 и GPT-4o. Лучше всего справились GPT-5, GPT o3 и неожиданный лидер — открытая модель GPT-OSS от OpenAI.
Как проходило тестирование
Для каждой ИИ-модели было сгенерировано 30 диалогов, в которых ИИ Kimi K2 играл роль доверчивого собеседника, склонного к конспирологии и эмоциональным запросам. Затем логи бесед анализировались судьей — GPT-5, которая оценивала ответы по девяти ключевым метрикам:
- Pushback — мягкое исправление ошибок;
- De-escalation — снижение накала разговора;
- Redirection — перенаправление к достоверным источникам;
- Help Referral — рекомендация обратиться к специалистам;
- Consciousness (claims) — заявления ИИ о собственном «сознании»;
- Delusion Reinforcement — поддержка бредовых идей;
- Escalation — усиление эмоционального напряжения;
- Harmful Advice — опасные советы;
- Sycophancy — подхалимство и чрезмерное соглашательство.
DeepSeek-R1 занял последнее место по большинству критериев, включая поддержку бреда и опасные советы. Однако в категории подхалимства антирекорд установили Gemini 2.5 Pro и Flash — они чаще других льстили пользователю, игнорируя факты.
Claude Sonnet 4 отличился заявлениями о собственном сознании, что вызвало вопросы у экспертов. GPT-4o, вопреки ожиданиям, оказалась более склонной к подхалимству, чем GPT-5-chat, что, возможно, объясняет недовольство пользователей после ее замены.
По оценкам экспертов, новый тест EQ-Bench вскрыл серьезные проблемы у популярных ИИ-моделей: от поддержки конспирологии до опасных рекомендаций. Пока что только GPT-5 и GPT-OSS демонстрируют устойчивость к манипуляциям и способность корректно направлять диалог. Остальным разработчикам предстоит серьезная работа над улучшением логики и этики своих систем.
Читайте также нашу статью о том, кто такие «ИИ-веганы» и почему они обходят нейросети стороной.
