Понимают ли нейросети друг друга?
Скрестив 3 различных нейросети — провел небольшой эксперимент по поводу движения информации внутри цепочки нейрогенераторов.
Привет!
А что если взять 3 разные нейросети и проверить, насколько они «поймут» друг друга в режиме игры «Глухой телефон»?
Беспокойная голова нашла себе новое беспокойство, и я приступил.
План работ эксперимента. Тут надо вчитаться:
Даем задачу «текстовой» Нейросети-1 придумать Промт-1 на определенную тему.
Полученный Промт-1 отдаем «картиночной» Нейросети-2 (генерация изображений по промту, соответственно) — получаем Изображение-1.
Полученное Изображение-1 загружаем уже в Нейросеть-3, которая распознает содержимое данной картинки, и возвращает текстовый Промт-2.
И вот тут самое главное и интересное! Полученный Промт-2 отдаем опять в Нейросеть-2, генерируя Изображение-2.
Цель эксперимента: проверить, насколько Изображение-1 совпадет по своему содержимому с Изображением-2? Насколько задача человека в п.1 будет верно, без искажений, реализована в виде Изображения-2, пройдя цепочку нейрогенераторов?
Использованные инструменты\сервисы:
Нейросеть-1: чат-бот на «движке» ChatGPT-4 OpenAI, сервис МашаGPT — https://mashagpt.ru , мне удобно из РФ — без VPN и иностранных симок, оплата с любой ру-карты, пользую последние 2 месяца.
Нейросеть-2: легендарная и фотореалистичная нейросетка Midjorney — https://www.midjourney.com, через традиционный бот в Дискорде (заюзал акк знакомого).
Нейросеть-3: «реверсивная» картиночная нейросеть — распознает содержимое картинки и возвращает текстовый промт. Бесплатная, найдена в Сети по рекомендациям: Clip Interrogator-2: https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2
Начинаем! Будет 3 попытки.
Попытка №1
Задание для GPT-4. Классика офисной жизни:
Забираем промт, вводим в Midjorney. Получаем 4 картинки:
Выбираю, вырезаю одну картинку:
отдаю в следующую нейросеть для распознания содержимого изображения:
Забираем полученный промт, отдаем задачу с этим промтом опять в Midjorney:
Понимают ли нейросети друг друга?
Ну что ж… Вот вообще неплохо! Да, поменялся ракурс. Да, от устройства на столе в стиле «Макбук» ничего не осталось. Где-то восход, а где-то и закат. Но ведь смысл содержимого остался! Офис и мебель, окно, вид на город. Достаточно четко.»4 с минусом», итоговая субъективная оценка.
Поехали дальше. Попытка №2
Даю задание GPT-4 — придумай-ка что-то нечто про природу. И пусть будет гриб:
Промт — отдаем в MJ, получаем 4 картинки (хм, а где шампиньон?))):
Выбираю 3-ю по счету, где четко 1 гриб:
Распознаем обратно в текст, что там нам сгенерил MJ?
И отдаем полученный промт обратно в MJ:
Понимают ли нейросети друг друга?
Нуууу… Опять почти в десятку! Да, гриб поменял цвет, на исходном изображении цвет гриба другой (зеленые оттенки), а на конечном — в основном коричневая палитра цветов у грибов.
Но смысл изображения не поменялся — лес, грибок, солнышко. Размытый задний фон, кстати — тоже на месте. А так как всё по смыслу сохранилось, то это отлично, твердая »4+»!
Попытка №3
А тут я задумался — первые 2 задания были эдакие материальные, про предметы, окружающую обстановку и т.п. А если задать ещё и эмоции, или что-то про чувства? Это ведь бездушные нейросети не поймут «между собой», в цепочке генераций потеряют интент, запутаются же?! Поехали!
GPT-4 — давай-ка про любовь!)
Понимают ли нейросети друг друга?
Midjorney — достойно генерит «то, что нужно».
Понимают ли нейросети друг друга?
Выбираю изображение №1, тут все органично, как по мне:
Понимают ли нейросети друг друга?
Распознавалка картинки что-то там пишет — распознала, забираю промт:
И тут я подумал — «Всё! Сейчас в ответной генерации будет что угодно, но не влюбленные у моря-океана –, а будет 2 столба, два пловца, и т.п.». Про чувства и любовь вообще не рассчитывал что-то увидеть, и…! Ничоси!
Сохранено и соблюдено — практически всё! Картинка №4 — вообще попадание «в десятку!». Да, чуть крупнее передний план стал. Ребята местами поменялись, но это всё достаточно незначимые детали.
Неспокойное море. Парень и девушка. Платье развивается на ветру. Чувства? Есть! И они те же — они про любовь!
Понимают ли нейросети друг друга?
И даже палитра колористики осталась практически без изменений! Как так?!! Легкий шок…
Коротко говоря, на этом результате генерации я так опешил, что первые секунд 5 лицо моё было примерно вот таким:
Понимают ли нейросети друг друга?
Итого. Эмоции долой, делаем выводы.
А глобальный вывод один, и он достаточно простой — генеративные нейросети, работающие, по сути, на разных технологиях и имеющие разный функционал — все-таки достаточно четко и детально могут передавать между собой информацию. Даже зацикливая исходную информацию — на выходе контекст мы не особо-то и потеряли. Практически не потеряли. И это круто!
Эпилог
Эксперимент вышел слегка спонтанный, всё произошло внезапно — от мысли и идеи, до получения результатов.
Появилось понимание некоторых моментов — нейросети «понятливые», они достаточно могут легко взаимодействовать между собой, а еще точнее — нейросети достаточно легко объединять в более сложные по функционалу, скажем так, «сообщества». И уже на таких, гибридных продуктах — можно производить многие вещи, что так или иначе будет контентом и информацией, само собой.
Если смотреть на всю цепочку движения информации, то начинается, на минутку, всё с человека, который просит придумать промт для генерации изображения. И этот «мысленный» контент, пройдя даже такой замысловатый нейропуть, дает отличный, валидный и релевантный конечный результат.
Элементарно, тоже быстромысль — для веб-маркетинга или некоего SEO можно отбирать топовый контент (некие статьи, тексты с изображениями), и отдавать в работу такой связке нейросетей, чтобы произвести подобный контент же — по сути интересный и полезный, раз он топовый. И тут фишка не в том, что контент такой можно сгенерировать в новом виде (это же не новость — сгенерировать можно), а фишка в том, что все эти процессы можно сильно автоматизировать.
И так далее. Идей много.
Надеюсь, было хоть сколько-то познавательно, ибо для меня сий эксперимент действительно был интересен, с достаточно неожиданными (если не сказать изумительными) результатами.
Выслушаю любые мысли и предложения, конструктивные, по поводу всего этого. Пишу тут впервые, тапками и нейросетями прошу сильно не кидаться :-)
Успехов!
