Используем модель Stable Diffusion 3 в SD WebUI (он же Automatic1111)

Для Stable Diffusion WebUI (он же Automatic1111) уже несколько дней, как стала доступна модель Stable Diffusion 3.

SD3 теперь работает и в Stable Diffusion WebUI (Automatic1111), но пока еще не со всеми возможностями.

SD3 теперь работает и в Stable Diffusion WebUI (Automatic1111), но пока еще не со всеми возможностями.

Чтобы ее поставить и использовать в нем необходимо:

  1. В установленном Stable Diffusion WebUI перейти на pre-release ветку:

git switch release_candidate
git pull

Не забудьте потом переключиться на релизную веткуgit switch master

  1. Зарегистрироваться на HuggingFace (обязательно!), принять все условия лицензии и скачать версию модели sd3_medium_incl_clips.safetensors отсюда (https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main).

  2. Поместить эту модель в директорию …/models/Stable-diffusion установленного SD WebUI

  3. Запустить Stable Diffusion WebUI с параметром --medvram . Его необходимо добавить в webui-user.bat или webui-user.sh, если у вас 8 Гб ОЗУ. На 6 Гб ОЗУ и менее модель скорее всего не заработает, если у вас больше памяти, то опять же параметр скорее всего будет не нужен.

  4. Выбрать эту модель и использовать следующие параметры:

Размер по высоте и ширине может быть другой, но их произведение должно быть равно 1048576. С другими параметрами Sampling method пока генерация нормально не работает.

Если у вас 16 Гб видеопамяти и выше, вы можете выставить в Settings опцию Enable T5. Вам придется дождаться скачивания 9 гигабайт CLIP модели и, как пишут разработчики, получить лучший результат и 4К промпт.

Мне попробовать в этом режиме модель не получилось, так как SD WebUI у меня или вылетал с ошибкой нехватки памяти для CUDA или вылетал Pytorch из-за проблем с GPU offload. Хотя в ComfyUI T5 у меня работал.

По скорости медленнее чем SD XL (там у меня на моей 8 гиговой 4060 генерация занимала примерно 20 секунд, здесь же около 30 секунд), по качеству изображений SD 3 мне нравится больше, особенно в части прорисовки текста.

Пример генерации в SD3

Пример генерации в SD3

P.S. Для SD3 вышла новая редакция «Community License», которая внесла ряд существенных изменений, что позволяет теперь эту модель использовать почти без ограничений:

1. Бесплатное некоммерческое использование для всех пользователей.
2. Бесплатное коммерческое использование для индивидуальных пользователей и малого бизнеса с годовым доходом до $1 млн.
3. Отмена ограничений на количество генерируемых файлов.

Арендуйте выделенные и виртуальные GPU серверы с профессиональными графическими картами NVIDIA RTX A5000 / A4000 и Tesla H100/A100, а также RTX4090 в надежных дата-центрах класса TIER III в России, Нидерландах и Исландии. Почасовая аренда GPU-серверов.

Заказать

© Habrahabr.ru