STABLE DIFFUSION

STABLE DIFFUSION - это нейросеть от Stability AI для генерации изображений по текстовому описанию.

Обзор STABLE DIFFUSION

Stable Diffusion создана группой Stability AI. Программа стала доступна в августе 2022 года. Ее предназначение – генерация изображений по текстовым запросам. Дополнительно она может дорисовать наброски или полностью видоизменить готовые работы.

Она бесплатна, а открытый код позволяет установить ее на компьютер, проводя генерацию с индивидуальными настройками на собственных вычислительных мощностях.

Для установки и использования потребуется мощное «железо». Если ваше устройство «испугалось» таких слов, нейросеть можно запустить онлайн или через сторонние приложения. Есть как бесплатные варианты, так и платные с качеством генерации, приближенным к официальной десктопной версии.

Возможности

Что конкретно умеет делать нейросеть Stable Diffusion?

• Создавать картинки по введенному тексту. И делает это лучше конкурентов. Midjourney и другие программы работают с отдельными пикселями. Из-за этого изображение генерируется долго. Stable Diffusion в свою очередь проводит ассоциации о том, где они должны находиться по отношению друг к другу. В результате из этой «каши» постепенно образуется картинка.

• Делать работы в стиле реальных художников. База данных хранит информацию обо всех художниках – начиная временами ренессанса, заканчивая современными творцами.

• Создавать внутриигровые предметы. Нейросеть была интегрирована в движок Unreal Engine 5. Это позволяет разработчикам создавать ассеты и моментально переносить их на игровое поле.

• Дорабатывать наброски. Со Stable Diffusion не нужно рисовать картину целиком. Можно закончить только основные элементы, а программа дорисует фон и детали, а расширенные настройки помогут сделать это максимально реалистично.

• Заменять объекты. Это уникальная функция. Она поменяет кота на собаку, ложку на вилку и заменит любой предмет на сгенерированный.

• Разрабатывать визуальные проекты. ПО дает возможность не только получить статичные изображения. С помощью настройки можно создать покадровую анимацию и «склеивать» ее в полноценные видео-ролики.

Тарифы

Создавать изображения по текстовому описанию через Stable Diffusion можно совершенно бесплатно, однако у сервиса есть и платный тариф. Он позволяет генерировать еще более качественные картинки еще быстрее без ватермарки. Стоимость - $9,99/мес или $8,33/мес при оплате за год.

Как пользоваться STABLE DIFFUSION

Инструкцию, как установить Stable Diffusion, можно найти в свободном доступе. Но учтите, что для этого вам понадобятся навыки программирования и мощное «железо». Мы же предлагаем другие способы использования нейросети, которые избавят вас от необходимости ковыряться с инструкцией.

Как использовать нейросеть Stable Diffusion онлайн – сайты и телеграм-боты

Кроме того, что для использования официального софта потребуются навыки программирования, пользователь мало что сможет сгенерировать с видеокартой с 6 Гб памяти или менее. Однако есть альтернативные варианты, как пользоваться Stable Diffusion. Они имеют необходимые настройки и не выдвигают таких требований к системе.

ClipDrop

Это официальный сайт компании нейросети. На нем используется последняя версия программы – XL. Она может распознавать имена знаменитостей, лучше справляется с простыми, не детализированными запросами и способна генерировать фотореализм.

Здесь создается сразу четыре варианта. Пользователь может выбрать один из предложенных стилей в настройках: аниме, оригами, комикс, арт и прочее. Бесплатных попыток нет. Нужно покупать подписку. Ее стоимость от 999 рублей в месяц.

DreamStudio

Имеет более расширенный функционал. Кроме основного промта, пользователь может ввести негативный и указать, чего на изображении быть не должно. Дополнительно можно выбрать стиль и размер. Генерация может проходить не только на основе текста, но и другой картинки. После обработки запроса получите четыре результата и сможете выбрать лучший.

Сервис платный. За создание 5 000 изображений потребуется заплатить $10. При регистрации на баланс зачисляется 25 кредитов, что позволит сгенерировать 120 картинок для теста.

Mage Space

Один из самых простых способов воспользоваться нейросетью Stable Diffusion. На главной странице в специальную строку введите текст и получите изображение. Здесь используется самая первая версия Stable Diffusion и качество не всегда на хорошем уровне. Зато бесплатный и безлимитный.

Регистрироваться необязательно, но желательно. Иначе устанете от проверок на ботов.

Playground

Не просто сайт для генерации изображений. Это настоящая соцсеть, в которой можно делиться полученными результатами и успешными промтами. Нет цензуры.

Генерируется через две версии: 1,5 и 2,1. Есть фильтры и инструменты для настройки и работы с полученным изображением. За 24 часа пользователь может создать до 500 картинок. После счетчик обнуляется и можно «творить» по новой.

Dezgo

Генератор имеет минималистичный функционал. Нет никаких фильтров и настроек. Даже размер изменить нельзя. Зато бесплатный, без цензуры и регистрации.

Для создания графических материалов используются версии 1,5 и 2,1.

Stable Diffusion Generator – Telegram Bot (@stablediffusionwpapperbot)

Предоставляет неограниченное число генераций. Создание занимает около 30 секунд. Поддерживает русский язык, но для лучшего результата рекомендуется использовать английский.

Количество шагов – 100. Из дополнительных настроек: выбор стилизаций и сэмплеров. Есть возможность генерации по исходному изображению. Для этого отправьте его в чат.

Draw Things – приложение для IOS

Да, Stable Diffusion завернули еще и в приложение. Перед запуском будут скачаны необходимые файлы. Весят они около 4 Гб. Генерация занимает от 3 до 5 минут в зависимости от модели телефона. Например, на iPhone 11 Pro приложение вылетело при создании. Дважды.

По умолчанию размер картинки 384 х 384. Если увеличить, то требований к системе станет еще больше. Есть дополнительный инструмент, которым можно дорисовать самостоятельно полученный результат.

Как видите, при использовании онлайн вариантов не нужно проводить настройку Stable Diffusion. Достаточно сформировать промт.

Как написать запрос – примеры и где брать промты для Stable Diffusion

Промт – это запрос к нейросети. Чем точнее он составлен и чем больше деталей описано, тем лучше будет сгенерировано изображение. Для начала несколько советов по составлению запроса:

• Придумайте идею целиком – важно составить промт, который будет включать каждую часть необходимой картинки. Важно затронуть сам главный объект, фон, стиль и дать дополнительные указания по освещению, цветам и расположению. Например, «Человек, мужчина, в летней одежде гуляет с собакой, лабрадор со светлой шерстью, вокруг высокая трава, деревья и светит солнце, на фоне виднеется крупный город, высокая детализация».

• Не жалейте слов – текст может включать до 75 слов. Результаты, которые сложно отличить от созданных людьми, имеют не менее 5-7 строк текста. Даже слова о высокой детализации и упоминания художников, а также их стилей повлияют на конечное изображение.

• Используйте синонимы – не стесняйтесь называть одно и то же разными словами. Так нейросеть поймет, что именно вы от нее хотите. К примеру нужна яркая картинка. В запросе укажите «солнечно», «тепло», «насыщено», «ярко» и даже «радостно».

• Берите промты других – придумать его не самая простая задача. Ищите идеи других пользователей, чтобы искать вдохновение и искать нужные стилизации. Заимствуйте детали из разных промтов и добавляйте свои. Так можно получить качественные разнообразные результаты.

• Распределяйте «вес» – например, в DreamStudio его можно указать после двоеточия. Вот так: Human:70, Dog:30. Общий вес должен быть равен 100.

Если все равно запрос не получается составить самостоятельно, можем воспользоваться вспомогательными сервисами:

• Public Promts – сотни готовых промтов, распределенных по категориям. Берите и вставляйте готовые или видоизменяйте под собственные нужды;

• Write-Ai-Art-Promts – помощник, который предложит дополнительные слова к уже созданному запросу. Поможет добавить деталей и указания по качеству, а также стилизации изображения;

• Lexica Art – одна из самых крупных галерей с картинками и описаниями, при помощи которых они были получены. Можно копировать запросы целиком или заимствовать отдельные части;

• OpenArt – еще одна галерея. Также есть инструмент, который из вашего промта сделает более подробный.

Сервисы можно комбинировать или прогонять один текст последовательно. Так получите больше деталей и изображения высокого качества.

Результаты работы нейросети Stable Diffusion

При помощи собственных промтов и прогона их через специализированные сервисы сгенерируем картинки.

Первое изображение сгенерировано с большим количество деталей. Промт выглядит так: «Summer forest landscape, vibrant and lush foliage, warm sunlight filtering through the canopy, joyful atmosphere, high quality, sunny, vibrant colors, detailed leaves, realistic, nature, warm lighting, peaceful, serene, forest, sunny, highres, ultra-detailed , joyful, vibrant, natural lighting, lush greenery».

А следующая картинка сгенерирована по такому запросу: «Astronauts in space, detailed space suits with reflective materials, alien planet in the background, glowing stars, curious alien creatures, high quality, realistic, detailed space suits, cosmic, alien planet, glowing stars, curious aliens, professional, atmospheric lighting».

Изображение сражения в Колизее получили по такому промту: «Realistic depiction of a gladiator battle in a colosseum, wild animals released, Greg Rutkowski style, detailed crowd, dramatic lighting, high quality, realistic, colosseum, gladiator battle, wild animals, Greg Rutkowski style, detailed crowd, dramatic lighting, intense action, realistic style, professional, atmospheric lighting».

Картинку с офисным работником создавали так: «Realistic office worker in a suit, bustling city street, professional attire, urban environment, high-rise buildings, detailed facial features, realistic art, natural lighting, business district, modern setting, city commute, detailed cityscape, realistic textures, high quality, professional attire, urban, realistic, detailed facial features, modern, natural lighting, busy street, high-rise buildings, bustling city».

А вот иллюстрация в стиле игры GTA от нейросети. Сгенерирована по промту: «Game-GTA style illustration of a femme fatale in a sleek business suit, holding a pistol, city street backdrop, gritty and high-contrast, detailed facial expression, realistic 3D rendering, urban noir, cinematic lighting, high quality, gritty, game-GTA style, femme fatale, sleek business suit, pistol, city street backdrop, detailed facial expression, realistic 3D rendering, urban noir, cinematic lighting».

FAQ по терминам Stable Diffusion

Пройдемся по основным терминам, использующихся в контексте нейросетей для генерации изображений.

Models

Моделями называют контрольные файлы. Они представляют нейронные связи, предварительно обученные и предназначенные для генерации картин общего или определенного жанра. Вот некоторые из популярных для Stable Diffusion:

• Open Journey – хорошая модель общего назначения. Она обучена на изображениях, созданных другой известной нейросетью – Mid Journey V4.
• Uber Realistic – модель для генерации картинок 18+. Именно поэтому, видимо, она и стала известной.
• Anything V3 – дает возможность создавать высококачественные изображения в аниме стиле.

Их можно установить как дополнение к Stable Difussion на ПК. Если пользуетесь онлайн-сервисами, то использовать можно только те модели, которые были добавлены их разработчиком.

LoRa (Low-Rank Adaptation)

Это метод, который помогает нейронным сетям упростить параметры. Устанавливается как дополнительная модель и разбивает матрицу на две меньшие (низкоранговые) матрицы. Это дает возможность хранить в разы меньше чисел, из-за чего сеть работает быстрее и занимает меньше места.

Extensions в Stable Diffusion

Это расширения для нейросети. Они добавляют новые функции, настройки или возможности. Кроме этого могут включать новые способы обучения и улучшают работу и качество генерации.

Deliberate

Еще одна модель для нейросети Stable Diffusion. В отличие от других схожих решений, она стабильна, имеет высокую скорость и точность генерации. Даже по простым запросам можно получить изображение, которые выглядит реалистично и детализовано.

Подведем итоги

Stable Diffusion уже навела шуму среди любителей ИИ и все, что с этим связанно. В ближайшее время будут появляться новые модели, настройки и модификации, которые позволят даже простыми промтами создавать произведения искусства, неотличимые от реальных. Выбирайте, как хотите использовать нейронную сеть (локально на своем ПК или онлайн через специализированные сервисы) в зависимости от мощности «железа» и начинайте творить.

Как считаете, заменит ли нейросеть Stable Diffusion профессиональных дизайнеров в ближайшем будущем?