Новые и усовершенствованные инструменты модерации контента10.08.2022 07:00

Чтобы помочь разработчикам защитить свои приложения от возможного неправомерного использования, мы представляем более быстрый и точныйэндпоинт модерации (Moderation endpoint)⁠. Этот эндпоинт предоставляет разработчикам API OpenAI бесплатный доступ к классификаторам на базеGPT⁠, которые обнаруживают нежелательный контент — это примериспользования систем ИИ⁠ для помощи в контроле человека за такими системами. Мы также опубликовалитехническую статью⁠, описывающую нашу методологию, инабор данных⁠, используемый для оценки.

При получении текстового ввода эндпоинт модерации оценивает, является ли контент содержащим сцены сексуального характера, ненависти, насилия или пропагандирующим нанесение вреда самому себе — то есть контент, запрещенный нашейполитикой в отношении контента⁠. Эндпоинт обучен работать быстро, точно и демонстрировать надежные результаты в самых разных приложениях. Что немаловажно, это снижает вероятность того, что продукты «скажут» что-то не то, даже при массовом развертывании у пользователей. В результате ИИ может приносить пользу в чувствительных сферах, таких как образование, где его нельзя было бы использовать с уверенностью.

Эндпоинт модерации помогает разработчикам извлечь выгоду из наших инвестиций в инфраструктуру. Вместо того чтобы создавать и поддерживать собственные классификаторы — сложный процесс, как мы описываем в нашейстатье⁠, — они могут получить доступ к точным классификаторам посредством всего одного вызова API.

В рамкахстремления⁠ OpenAIсделать экосистему ИИ более безопасной⁠, мы предоставляем этот эндпоинт для бесплатной модерации всего контента, генерируемого через API OpenAI. Например, Inworld⁠, клиент API OpenAI, использует эндпоинт модерации, чтобы их виртуальные персонажи на базе ИИ оставались приемлемыми для аудитории. Используя технологии OpenAI, Inworld может сосредоточиться на своем ключевом продукте — создании запоминающихся персонажей. В настоящее время мы не поддерживаем мониторинг стороннего трафика.

Начните работу с эндпоинтом модерации, ознакомившись сдокументацией⁠. Более подробную информацию о процессе обучения и производительности модели можно найти в нашейстатье⁠. Мы также выпустилинабор данных для оценки⁠, содержащий данные Common Crawl с разметкой по этим категориям, который, как мы надеемся, послужит толчком для дальнейших исследований в этой области.