Wikipedia научилась автоматически определять некорректные правки статей при помощи ИИ

dbc6cd0ae3c849728d0ead23feaacdcf.jpg
Источник: Wikimedia

Онлайн-энциклопедия Wikipedia получила новый инструмент — сервис с элементами ИИ, который поможет автоматически определять некорректные правки материалов ресурса. Сервис ORES (Objective Revision Evaluation Service) будет проверять все правки на наличие спама или троллинга. Создателем ORES является Wikimedia Foundation. Разрабочики говорят, что новый сервис работает, как рентгеновские очки (отсюда и анонсная картинка. Система теперь будет выдеять все, что выглядит подозрительным, а затем отправлять на проверку редактору-человеку. Если администратор решит не использовать правку, пользователь, предложивший ее, получит уведомление. Эта система более дружественна к пользователям, поскольку сейчас никакие уведомления пользователям не рассылаются.

Команда энциклопедии научила систему различать непреднамеренные ошибки в правках и то, что называется «повреждением правок» (damaging edits). Обучение проводилось на примерах реальных материаолв. Сейчас новый сервис уже можно использовать.
Пример работы сервиса показан ниже. Здесь демонстрируется то, как видят материалы редакторы (слева) и то, что видит ORES (справа). Вероятность того, что текст нормальный, составляет 0,0837. Вероятность умышленной порчи текста — 0,9163. В итоге редактор-человек понимает, что текст действителльно пытались испортить. В самом деле, предложение «Ламы растут на деревьях» никак нельзя назвать корректной правкой.

ores.wmflabs.org/scores/enwiki/damaging/642215410

cbb7f21caa3b4f3eb608d9df32da0916.png

А вот пример оценки «человеческого фактора»

ores.wmflabs.org/scores/enwiki/damaging/638307884

7f0041099c1441588e96960cd7be5525.png

Это уже не первый подобный инструмент, который работает на благо онлайн-энциклопедии. Раньше такие системы тоже пытались научить работать, но старые сервисы не видели разницы между «вредной правкой» и обычной ошибкой человека.

Среднее время анализа текста составляет около 100 миллисекунд. Сейчас поддерживается работа с 14 языками. Уже проведено 45 миллионов оценок. Это не так и много, поскольку количесво правок «Вики» за день достигает полумиллиона. Новый сервис поможет редакторам быстро и эффективно оценивать все предлагаемые пользователями правки.

© Geektimes