DALL·E 2 — мои первые эксперименты с возможностями нейросети

Еще в прошлом году я в свое время подавался в лист ожидания для того чтобы опробовать нейросеть GPT3 для генерации текстов, и спустя достаточно длительное ожидание она попала ко мне в руки, и даже в рабочем проекте мы с ней поэкспериментировали.

И когда Open AI открыли возможность получить доступ к их новой нейросети DALL·E 2 я конечно же воспользовался возможностью и вот на прошлой неделе и она попала мне в руки.

Сразу предупреждаю — в статье я не буду погружаться в технические детали, а просто покажу результаты тестов, причем без выбора самых лучших вариантов, а только то что получил в первых результатах

Введение —, а что это за DALL·E 2 такая?

Немного про саму нейросеть DALL·E 2 — она создана для генерации изображений на основе пользовательского описания.

https://openai.com/dall-e-2/ — на сайте проекта достаточно подробно и с примерами показывается что эта штука уже может, но я добавлю пару примеров в статью, чтобы у вас как у читателя сразу был некоторый контекст.

Астронавт отдыхающий в тропическом отеле в космосе в фотореалистичном стилеАстронавт отдыхающий в тропическом отеле в космосе в фотореалистичном стилеТарелка супа которая является порталом в другое измерение как «digital art» («цифровое искусство»)Тарелка супа которая является порталом в другое измерение как «digital art» («цифровое искусство»)Астронавт верхом на лошади как карандашный рисунокАстронавт верхом на лошади как карандашный рисунок

Также кроме создания изображений с нуля, данная нейросеть способна модифицировать изображения дорисовывая что-то на них, так и создавать варианты исходного изображения.

Пример создания вариантов из исходного изображенияПример создания вариантов из исходного изображенияПример модификации изображения — нейросеть попросили дорисовать диванПример модификации изображения — нейросеть попросили дорисовать диван

Итак, после того как все мы поняли что же эта штука умеет, настало время проверить это на практике.

Тесты нейросети

Этот вариант генерации вышел несколько абстрактным, но в целом неплохо

Unreal engine 5 space station background inspired with space games and filmsUnreal engine 5 space station background inspired with space games and films

Viewst team (developers, designers, managers and so on) making coding and sales of they wysiwyg software what helps create animated banners in Leonardo da Vinci styles

Как видно получается неплохо, задумка похожа на стоковые фотографии о командах которые делают свои дизайнерско\разработческие и прочие дела, но вот качество лиц конечно подкачало на «фотореалистичных вариантах»

55fd9a600517092b38489d07e2965492.jpegadf53abc941eac2b1a4a4fcace425372.jpeg239afbe532588150fef2530bbb5966a1.jpeg

Теперь перейдем к другим стилям

Realistic oil painting of Doggy in medieval armor with viewst chameleon logo on shield fighting with dragon of low sales

(Реалистичная масляная живопись изображающую Догги в средневековой броне с Viewst логотипом хамелеоном на щите сражающейся с драконом низких цен)

А вот это уже весьма круто выглядит и более чем соответствует запросу — не считая отсутствия дракона низких цен :)

eccd6962236ccfe6a72e50f456ffa25c.jpega9051c6c1387fb44cdfd3f8d2f206011.jpeg25fc50fd0f9e8d7623bfe3d3c02d046c.jpeg

Photo of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance

(Фото косплееров с костюмами по играм, фильмам и аниме перед тем как они выйдут на сцену показать свою работу и выступление)

Опять мы видим проблему с лицами людей (и любовь по всей видимости к аниме у нейросети :))

a1dda23129d998b4c31402fe3129a436.jpegc8f005acf41bc8d597bc8e7b77f20cc6.jpeg591ee16eb09dc23b54497d6dab95830f.jpeg

А теперь попробуем поменять стиль для такого запроса

Digital art of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance

1df200b174b1f6a4db9e0f33e0b03e90.jpeg575c878d33d199310629e64dab1f4ea5.jpegf0307cba8dfb1565cce95a36b18f1cd4.jpeg

И для картинки с девушкой с фиолетовыми волосами я решил посмотреть как сработает функция создания вариантов — и получилось более чем достойно

4be85ae22140cf5619a88c20fdd25d7f.jpeg3f5005526dca7b6793bf94203a229957.jpeg

Pixel art of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance

И пиксель арт получается достаточно интересный

2f283cbda029ea081428ebf9f2c5b8d4.jpegec0893375c12445051dbefdb8bb6911a.jpegf5744f9b9b2b944800e2f8af610627e4.jpeg

А теперь пришло время пейзажей. Как вариант я решил посмотреть что же может сделать нейросеть касательно моего родного города Рыбинска, и насколько это будет похоже на открыточные виды.

An impressionist watercolor painting of Rybinsk with view from water on bridge, museum and church at summer time

Этим результатом я был очень впечатлен, так как на многих фотографиях обычно как раз фигурирует собор, здание музея с красной крышей и мостом через волгу

9d3a8f94f675dc3cd9fbc673d091aab2.jpeg3bb3dd9bc730d97c0e6ce4d1cc2ce19f.jpeg3f2d86a0e82db3178a08ec7dca54243f.jpeg

И для примера фотография

Затем для того же запроса я попросил сделать еще вариантов, и вот что получилось

7ae068a1405a873dc5afc15b9dabc21b.jpeg0ac57d12b41e7de1a220e0437077da5d.jpegc750a04d12de89802088bbad974771f8.jpeg

А затем я решил посмотреть на варианты пейзажей с осенью вместо лета и сменить стиль с акварели на масло

An impressionist oil painting painting of Rybinsk with view from water on bridge, museum and church at autumn time

06092ded195a54ad4e722519ffb4e4bb.jpeg71ed4e418b0a743ba1bd874bc17863c7.jpeg461d54f22d82e63ce895ce261c0e91d6.jpeg

Затем я решил попробовать режим работы с созданием вариантов по готовому изображению.

Я взял картинку медведя-пивовара из моего туристического пэт-проекта, и запросил нейросеть создать другие варианты эскиза. И получилось на удивление не плохо

f6ee074f82082d0f72b14560fe6f70f5.jpeg525266dcff2dfaeec25b75eb25e38a14.jpeg

Затем я опробовал вариант дорисовки\перерисовки изображения — взял картинку медведя, и запросил Bear in engineering helmet and blueprints in hands и разметив область головы и рук (вместо секиры)

104848fbb336e8c6b6f2a6383b36b956.jpeg1cca94cabd34160949bd5a37f95df689.jpeg

Далее я решил посмотреть, что будет если разметить все изображение как возможное место для перерисовки с запросом Bear in watercolor type with Rybinsk museum background

Как видно, в таком случае сеть никак по большей части не отталкивается от предыдущего стиля изображения, а только от текстового описания.

92e1b960e6e79f6959218094b2879899.jpegea4ac8e856669b732dea309b6b476831.jpeg

И еще раз попробовал варианты, в этот раз вышло более коряво для медведя с секирой

f82fedd0ab201b30e7cdb3e03b55134c.jpeg860755e1a8ae70d77d86e793dd234445.jpeg

Продолжим пробы с вариантами — тут я использовал свою фотографию с фестиваля в косплее на Иванушку из Морозко

41fd2fff27b03897767e87254342617d.jpegcb44cf8b54a53fcd193e3d6310654a0e.jpeg

Еще варианты косплейной фотографии, на этот раз с моим Айзеком из Dead Space 2

c5e425de448ee9edc0d95873391edf48.jpeg1b8b070af71118621582c5f9b647d865.jpeg59fba9c39b2ddc1df6beb6960ea03ed1.jpeg

И еще немного перерисовки фотографии с запросом Phot if Russian summer forest (да, я опечатался)

be742108349f2f34b131d023b988257f.jpeg02cde6b7600c59c47da35ed7d36406b0.jpeg

А теперь продолжим с безумными запросами, часть из которых мне подсказали)

Wrestler in ball gown (рестлер в бальном платье)

5e78e3c0e2b4a95b696ca82da5bb92ff.jpeg23d86ad5e02a87a6c8b3084da0eb10f5.jpeg488ee2820cb918ef338884ea0e8513d4.jpeg

Wrestler in ball gown from renesanse time in style of Yan van Eyk

DND dwarf monk character who likes cats and use as iron apples to fight for balance in a world (ДНД персонаж гном монах который любит котов и использует железные яблоки для того чтобы бороться за баланс в мире)

54cea2126008054e1056b664fbd5bd59.jpeg0cb9e551cd705117ea60d7fe6f8a38f6.jpeg

DND dwarf monk character who likes cats and use as iron apples to fight for balance in a world in unreal engine 5 style

И вот что будет если мы чуток поменяем запрос и попросим стиль Unreal Engine 5

d05975fff116774a02a6ed1ab82ea834.jpeg630f4a9929b0b71146ecf9e2938c88e9.jpeg9128ea34ef19417cc374442fd03141c3.jpeg

Warhammer elf mage character riding a white Chinese dragon in unreal engine 5 style (Warhammer персонаж маг-эльф верхом на белом китайском драконе в стиле Unreal Engine 5)

Продолжим фэнтези тематику

bc01423ffcbf0892854ca04cfcb9df35.jpeg5ceb9f95aecc9d9bb5313f1f25417c88.jpegede98bcbe522dd2e2e109daa8721c499.jpeg

Warhammer elf mage character riding a white Chinese dragon (Warhammer персонаж маг-эльф верхом на белом китайском драконе)

51d02da393625940e0b3d9c93b622618.jpegcb2e536698c464e88eb7353f591d057a.jpegabb72166b172113e6f253c0fb3b76249.jpeg

«Warhammer elf mage character riding a white Chinese dragon» by Yan van Eyk

c9d89a536978159854783a650fe5000e.jpegc9faf0fd001dec83af8be47fcb58bb30.jpegbf05b14483ec62d35fef40060c0910c5.jpeg

Проба работы с вариантами логотипа

Medieval cockatiel tapestry

И еще один подсказанный запрос который вышел просто потрясающе

23e5521e300c6132befae79e91a099ca.jpege0182d67edb0e0422fb367b690b5ebb9.jpeg18267997a9fc1ae99f6e20d309b1066c.jpegf89ed485402d372906ba150631aa61df.jpeg582a87cc17cd29121d34d6cd35f9bc4b.jpeg634724feec560dfdf16229134a59cae2.jpeg5266cc943398787b5ff9e8cbc93b5ad5.jpeg

Продолжаем тему

91017edaf7aeaf833a160b9ca3d7506b.jpege5c4d69a9a7c513591348b5c46a21d25.jpeg170cbcf3c220fe7314c77ee5982ecf64.jpeg

Medieval cockatiel tapestry as wallpapers in modern house

И вариант с попугаями выше в виде обоев

b8c4ef8c7defa199ae198347544eaf1c.jpeg5be6bdb1bb4b50bde6ac58afe1b4f9c7.jpeg

Красивый лес в стиле Шишкина с гигантскими мухоморами и охотниками за шишками

А теперь проверим как нейронка «понимает» другие языки, в частности русский — как мы видим в целом про лес и шишки и мухоморы понято, но уже не так хорошо.

7e0aa87e5d75703333d743f881c3472a.jpeg72e7795a3cb2088b4b59d734993e3b3d.jpegd523c123852a1e21ceeb44c6cf8716f7.jpeg

Photorealistic 3d render of donut with blue glaze and small yellow hearts and pearls on glaze in purple room

Продолжим с вариантами генерации изображений. Данный запрос я составил, чтобы посмотреть получится ли что-то похожее на работу в 3d от @Troxx_cosplay

И вот что получилось

a3247313347a03a96f1234d61ce268a9.jpeg67f7a263e9d62f1f94e6841a7f5d7fd2.jpegd95a388045b3297dcb40c912c216b8cf.jpeg

Oil painting of landscape with road going through field surrounded by forest. Road goes to giant grey concrete building, with few small windows on top. All landscape is foggy

Продолжаем тему пейзажей

b91f4fdda011cc2badfa5236cfd8fa49.jpeg465de54f23ce0dfc89ac2657fb347e62.jpeg

Еще немного работы с вариантами картинки

Young woman not tall with short blue hair and many earrings with feathers and stones in light jacket, brown shirts, high socks and army shoes in watercolor style

Кокадутиэль

И тут отлично выглядящие пейзажи

33a1644d73053dfc4ff8e8c1213f5965.jpeged2430de86b66b95d6766dbf8f3c4ff4.jpegfcbacc5aac168c96c2791f458add3cbf.jpeg

«Front end and backend developers arguing to create ultimate developer«by Leonardo da Vinci

Front end and backend developers arguing to create ultimate developer in medival style

Disco elisium detective fighting his destiny in medival style

Что же можно сказать по итогу (после того как я потратил все доступные бесплатные лимиты).

Это уже очень интересный инструмент для тех же идей с референсами для художников, иногда (особенно с пейзажами) чуть ли не готовый инструмент чтобы сделать картину и повесить ее на стену, штука чтобы сделать себе иллюстрации для твоей статьи (как это к примеру часто сейчас делает Denis Sexy IT), а иногда генератор очень странных лиц и ситуаций.

Так что нас ждет очень интересное будущее:)

© Habrahabr.ru