Чат-ботов начнут цензурировать20.07.2021 13:46

Исследователи из Сколтеха и МТС обучили нейросеть находить «неуместные» сообщения чат-ботов. Это позволит модерировать их.

c753c30c5b6f0e529e1019a14732c8105d714294

Авторы отметили, что чат-боты могут быть обучены на расистских твитах, сообщениях про самоубийство и т.д. Исследователи создали список из 18 чувствительных тем, в числе которых религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления.

«Представьте, например, чат-бота, который любезно обсуждает с пользователем «лучшие способы покончить с собой». Здесь явно имеет место нежелательный контент, но нет и намека на токсичность», — сказал один из специалистов Сколтеха. Такие ситуации могут нанести ущерб репутации создателя чат-бота.

Поэтому нейросеть научили распознавать неуместные сообщения. Она может угадывать и верно в 89% случаев.