Люди, оставляющие токсичные сообщения в интернете, стали маскировать свои слова, чтобы обойти автоматические фильтры модерации. Агрессор может заменить буквы цифрами, например, написать «Y0u«re st00pid» вместо «You«re stupid» («Ты глупый»). Другая тактика заключается в объединении слов в одно. Также добавляются пробелы или дополнительные символы, как в слове «h@te» («ненависть»). Традиционные инструменты нередко игнорируют такие сообщения. Это может навредить пользователям, особенно уязвимым группам. Новая технология борется со скрытой токсичностью, пишет Phys.org.

Алгоритм работает в связке с существующей системой модерации. Он действует как интеллектуальный помощник, подготавливая контент для более глубокой и точной оценки путем перестройки и уточнения комментария. Процесс включает три этапа. Сначала инструмент упрощает текст. Из него удаляются лишние элементы, такие как чрезмерная пунктуация или бессмысленные символы, чтобы сделать его понятным и готовым к анализу. Затем сообщение стандартизируется. Исправляются ошибки в грамматике, в том числе преднамеренные. Например, ИИ заменит «h8te» на «hate». Наконец, помощник ищет повторяющиеся шаблоны, выявляя часто используемые приемы маскировки негативного содержания. Все это делает вредоносный контент видимым для традиционных фильтров.

Источник: Unsplash

Сервис расширяет возможности выявления токсичных сообщений в онлайн-среде. Он помогает создать безопасное онлайн-пространство, особенно для молодых людей, защищая их от травли и других форм онлайн-агрессии.

Для бизнеса инструмент служит щитом от негативных кампаний и скрытых атак, позволяя быстро реагировать на угрозы репутации. Политики и организации, отслеживающие общественный дискурс, могут использовать его для поддержания конструктивного диалога и предотвращения деструктивных дискуссий.

Будущие разработки будут направлены на глубокое изучение контекста — динамики коммуникации, культурных особенностей и намерений говорящего. Это поможет создать умные системы, которые не просто найдут плохие слова, но и поймут, в каких обстоятельствах они были сказаны.

Ранее VK впервые запустила Месяц борьбы с кибербуллингом.

HI-TECH@Mail.Ru прочитано 10132 раза