Обнаружение спама в реальном мире

Мы создали первый в мире ИИ для обнаружения спама, обученный полностью в симуляции и развернутый на физическом роботе.

Video recording still of a robotic arm picking up a mixture of items on a small square table
Video recording still of a robotic arm picking up a mixture of items on a small square table

Перенос из симуляции в реальность

Роботизированные системы на базе глубокого обучения сталкиваются с узким местом в сборе данных: получение сотен тысяч изображений, необходимых только для обучения системы восприятия, обходится чрезвычайно дорого. Генерировать смоделированные данные дешево, однако симуляции настолько сильно расходятся с реальностью, что при переходе в физический мир разработчикам обычно приходится переобучать модели с нуля.

Мы показали, что рандомизация доменов — существующий метод адаптации детекторов, обученных на смоделированных изображениях, к реальным снимкам — отлично работает для загроможденных сцен. Метод прост: мы случайным образом меняем цвета, текстуры, условия освещения и настройки камеры в смоделированных сценах. Полученный набор данных обладает достаточной вариативностью, чтобы обученная на нем глубокая нейронная сеть могла успешно обобщать информацию в реальных условиях.

Train

Случайно сгенерированные сцены. Каждый кадр содержит спам, часто скрытый среди объектов-отвлекающих факторов. Наша модель спама взята из набора данных YCB.

Наша реализация

Детектор представляет собой нейронную сеть на базе архитектуры VGG16, которая прогнозирует точное трехмерное положение спама на смоделированных изображениях. Несмотря на то, что сеть обучалась исключительно на смоделированных сценах, полученная модель способна обнаруживать спам на реальных изображениях даже при наличии незнакомых ранее «отвлекающих» предметов, расположенных в случайном порядке.

Видео ниже демонстрирует систему в действии:

Дальнейшие исследования

В будущем мы планируем расширить эту работу на обнаружение фишинга и защиту от состязательных спам-атак.

Video recording still of a can of tuna next to a can of spam wearing costume glasses

Если вы хотите погрузиться в решение увлекательных прикладных исследовательских задач вроде обнаружения спама, подумайте о том, чтобы присоединиться к нашей команде в OpenAI.

Авторы

Рейчел Фонг, Джош Тобин, Джек Кларк, Алекс Рэй, Йонас Шнайдер, Питер Аббел, Войцех Заремба

Полный текст статьи читайте на OpenAI