CONTROLNET - это расширение для нейросети Stable Diffusion, с помощью которого можно генерировать арты по наброскам и эскизам.

Сайт: Github.com

Возможности: Генерация арта по наброску

Стоимость: Бесплатно

Обзор CONTROLNET

Нейронные сети сегодня уверенно занимают позиции в IT отраслях. Особое внимание пользователи уделяют площадкам, которые умеют генерировать картинки. За несколько секунд можно получить красивые иллюстрации к постам в социальных сетях или делать карточки товаров для интернет-магазина.

Профессиональные навыки не требуются, достаточно правильно составить описание. Но творчество ИИ часто оставляет желать лучшего, так как появляются разные дефекты. Чтобы приблизить результат к идеалу, опытные художники выбирают нейросеть для рисования, в которую можно загрузить эскиз и по нему сгенерировать картинку.

Преимущество заключается в том, что платформа рисует арт по готовой модели. Для этих целей существует ControlNet. Разберем подробно, что это такое и как пользоваться расширением, даже если нет мощной видеокарты.

Представьте ситуацию: делаем описание, нажимаем «Генерировать», и портрет получается обрезанным. Например, отсутствует верхняя часть головы. Чтобы получить персонажа в полный рост, рекомендуется использовать ControlNet.

Инструмент идет как расширение для Stable Diffusion. Работает по такому принципу:

  1. Загружаете картинку модели.
  2. Составляете описание.
  3. Выбираете тип: Edge, Depth, Pose. В некоторых нейронках больше вариантов.
  4. Нажимаете «Генерировать».

Перед генерацией устанавливаем количество изображений. На платформу можно загружать как цветные, так и черно-белые фото, даже подойдет обычный рисунок карандашом.

Примеры картинок CONTROLNET

Были протестированы несколько нейросетей для рисования. Все они поддерживают ControlNet. Рисунок обычным карандашом загрузили через платформу. Пришлось сделать несколько генераций, так как изображения получались плохого качества.

Результат: Слева – карандашом, остальные два рисунка – модель Real Cartoon XL.

примеры генерации изображений на основе эскиза через ControlNet

Персонаж получился хорошо прорисованным и высокодетализированным, но есть проблема –  это руки. ИИ всегда плохо рисовал конечности. Так как персонаж в перчатках, дефект меньше бросается в глаза. В большинстве случаев для исправления можно воспользоваться графическим редактором. В целом, неплохо. Качество зависит от фильтров, но не всегда фильтр способен справиться с задачей.

В следующем примере использовали Photo Vision и Realism Engine. Здесь получилось много дефектов. Это не значит, что фильтры плохие, просто в этом конкретном случае они не подходят.

Photo Vision Realism Engine

Мужчину с пистолетами делали через программу Playground AI.

Теперь взглянем на нейросеть Leonardo. Через «Leo» мы сгенерировали робота. Здесь присутствует много деталей. Интересно узнать, как нейросеть их распознает.

пример того, как расширение ControlNet работает в паре с нейросетью Leonardo

Изображение было раскрашено и наложены тени, но есть ошибки. Между пушками в оригинале – пространство. После генерации нейронная сеть закрасила пустоту и добавила блоки. Скорее – это не баг, а фича. К этому мы еще вернемся.

Где есть CONTROLNET – ТОП-5 платформ

При поиске подходящей платформы для генерации картинок предлагается целый список разных сервисов и уроки к ним. Даже можно написать свою нейросеть, используя Python и библиотеку Open AI. Некоторые программы требуют установку на ПК и мощную видеокарту. Если такой в наличии нет, рекомендуется запускать в онлайне.

Вот список доступных нейросетей. Они работают в браузере и поддерживают ControlNet. Сервисы условно-бесплатные.

Playground AI

Playground AI

Бесплатная нейросеть-художник, где можно генерировать картинки. В день каждый участник получает 50 генераций. Для создания любительских артов вполне достаточно. Если работать профессионально, рекомендуется оформить подписку, которая стартует от $15 в месяц.

В интерфейс встроен ControlNet. Он позволяет генерировать персонажа в разных стилях. Доступно три настройки: Edge, Depth и Pose.


Leonardo AI

Leonardo AI

Нейросеть, которая рисует в онлайне по описанию. Аналог Playground, обладает мощным функционалом. Сервис постоянно развивается, и появляются новые инструменты, но большинство из них платные и откроются только при подписке за $12 в месяц.

Никто не мешает использовать платформу для своих целей. Каждый пользователь при регистрации получает 150 токенов в день. ControlNet встроен в интерфейс.


Getimg AI

Getimg AI

Нейросеть превращает рисунки в фотореалистичные портреты. Простой интерфейс. Все инструменты находятся в боковой панели. Вкладка Essential для создания изображения по описанию. Advanced для ControlNet. Каждый участник получает 100 токенов в месяц. Бесплатные токены для личного использования.

Хорошо генерируют портреты крупным планом. На скриншоте пример девушки.


StableDiffusionWeb

изначально ControlNet создавался как расширение для нейросети Stable Diffusion

Нейросеть рисует иллюстрации онлайн бесплатно. Интерфейс со встроенным расширением ControlNet. При загрузке картинки раскрашивает ее и выдает сразу два варианта: контур и в цвете.

Регистрация не требуется. Из-за постоянного открытого доступа на сервере высокая нагрузка, поэтому периодически случаются сбои. Об этом даже написано на официальной страничке ресурса. Что касается качества, то оно среднее, редко выходит идеальный портрет.

Площадку рекомендуется использовать как посредник, когда нужно раскрасить изображение нарисованное карандашом, а потом уже готовый арт загрузить в Playground или Leonardo, чтобы продолжить обработку для улучшения качества.


Petalica

ControlNet можно использовать и через нейронную сеть Petalica

Нейросеть для создания рисунков в цвете. Сервис идет как дополнение к основным площадкам. ControlNet – отсутствует. Это просто раскраска. Берете картинку нарисованную карандашом, выбираете цвет, делаете мазки в разных частях рисунка и получаете цветное изображение.

К этому сервису следует прибегать, если рисунок с трудом распознается ИИ.

Загружаете фото и раскрашиваете. Готовый результат скачиваете и пропускаете через ControlNet. Так были сгенерированы арты, приведенные в начале статьи.

Инструкция по использованию расширения ControlNet для разных нейросетей

Чтобы создать изображение по готовому эскизу в Playground, нужно нажать «Add Control» и сделать настройки во всплывающем окне. Сама кнопка находится в левой панели инструментов внизу.

первый шаг для генерации иллюстрации по эскизу с помощью ControlNet через Playground - загрузка самого эскиза

Загружаем изображение по кнопке «Upload Image». Выбираем тип «Edge, Depth или Pose». Чем они отличаются, опишем позже, устанавливаем Control Weight – 1. Также не забываем составить Prompt.

Встречаются арты, где множество мелких деталей. По ним сложно делать перерисовку. Трудности заключаются в грамотном составлении промта. Поэтому рекомендуется не вникать в детали, а просто указать общее описание, например, высокая детализация, освещение и т.д. «highly detailed, lighting». Остальной определит ИИ, проанализировав картинку. Не забываем настроить и фильтры, они влияют на качество итоговых картинок.

Пример ниже - здесь мы использовали Real Carton XL.

Real Carton XL

Для образца взяли персонажа, которого раскрасили в Petalica. Ресурс лучше распознает цветных персонажей. В итоге у нас получился мультипликационный герой.

Сейчас показывали пример в Playground, переходим к Leonardo.

Бесплатный запуск расширения ControlNet в Леонардо возможен только в Canvas, в генераторе картинок он платный. Открываем холст с главной страницы Leonardо через ссылку Canvas Editor. Осуществляем следующие настройки.

  1. Model – в бесплатной версии выбор ограничен.
  2. ControlNet – активируем переключением тумблера.
  3. Загружаем изображение перетаскиванием на холст в браузере.
  4. Составляем промпт, если сложная картинка - делаем общее описание.

Пример того же персонажа, которого генерировали ранее.

нейросеть Leonardo сгенерировало изображение мужчины в красном плаще

Сложные арты с множество мелких деталей искусственный интеллект с трудом распознает и допускает ошибки.

Сделать меха или человека - простая задача для ИИ. Ниже пример. В углу образец. Выбираем белый цвет и кисть, чтобы нарисовать задний фон и скрыть пустоту.

создали изображение мехи (робота) через ControlNet + Leonardo

Кроме крутых персонажей можно делать вполне обычные декорации. Например – гриб. Только не забывайте менять prompt. Например, если в текстовом поле забыть убрать слово из предыдущей генерации, то это повлияет на результат. Стиль меняется в зависимости от того, что мы вписываем в текстовое поле. Ниже три варианта «рисунок, робот и гриб в лесу».

примеры сгенерированных картинок гриба в разных стилях через нейронную сеть Leonardo AI

Во втором варианте случайно забыли изменить запрос, и получился футуристический гриб.

С простыми рисунками все понятно, а что будет, если загрузить более сложное изображение? Например, где пересекаются несколько временных линий, и все это происходит на одном листе.

Нарисовано карандашом.

попробуем сделать более сложное изображение, взяв за основу рисунок карандашом

В сервисе Playground расширение ControlNet определило, что это средние века, и поэтому всех персонажей сделало рыцарями, включая и робота.

Playground с помощью расширения ControlNet создал иллюстрацию рыцарей на основе наброска

В Leonardo уже ближе к задумке, только объекты не слишком хорошо прорисованы.

пример сгенерированного изображения через нейросеть Leonardo с расширением ControlNet

Кроме фильтров можно поэкспериментировать с типами и понять? какой вариант больше подходит для крупных артов. Всего есть четыре типа.

  1. Pose to Image – определяет позу персонажа и рисует в таком положении, как стоит персонаж. Применимо только на людях. Робот, меч и посох не являются таковыми, поэтому были проигнорированы. Задний фон подобран случайно. Пример на скриншоте.

Pose to Image - это полезная функция, с помощью которой можно определить позу персонажа

  1. Edge to Image – воспроизводит композицию, при этом не меняя стиль и тему.
  2. Depth to Image – глубокий анализ картинки. В отличие от первого пункта, определяет не только людей, но и все окружение. Будет полезен, если иллюстрация смешанного жанра «Рыцари, маги и роботы» на одном холсте.
  3. Pattern to Image – использует холст как шаблон. Можно применить для создания надписей. Для написания текста на холсте нужно выбрать «Pattern to Image» и задать промт «Neon sign on a brick wall» – вывеска на кирпичной стене.

Большая вероятность получить потрясающий Art, раскрасив исходную картинку через приложение. Про нейросеть для рисования Petalica уже писали, но есть еще StableDiffusionWeb.

Загружаем картинку и составляем запрос «robot vs knight and mage, high detail, 8k». Получаем сразу два результата - контур на черном фоне и иллюстрацию. Пример ниже.

обзор расширения для Stable Diffusion под названием controlnet

Платформа Getimg Ai наделена функцией «Advanced». Она может создавать цветные рисунки. Точность работы зависит от сложности изображения. Если рисунок простой, то иллюстрация после обработки будет максимально соответствовать оригиналу.

Пример девушки.

функция Advanced в ИИ-сервисе GetIMG

В более сложных зарисовках Get Img тоже старается придерживаться оригинала, но отличия от начальной задумки сразу видно. Вернемся к рыцарям и роботам. Чтобы запустить ИИ, нужно перейти во вкладку «Advanced» и осуществить настройки.

  1. Загрузить рисунок – блок Image.
  2. Составить prompt, например, «highly detailed».
  3. Блок Reference – выбираем Depth.
  4. Model – от этого зависит стиль.

Вот что получилось при генерации.

getimg в совокупности с расширением для нейросетей controlnet иногда дает неплохие результаты

В первом рисунке использовали модель Reproduction v3.31, которая находится во вкладке Anime. Все персонажи получились в аниме стиле, а робот принял человеческий облик. Остальные нейро-рисунки делались при модели ProtoVision XL.

Соответствует оригиналу последний вариант, где персонажи размещены на сером фоне. Но здесь допущена ошибка при настройке формата. Установлено 512 на 512 пикселей, из-за чего картинка получилась обрезанной. Поэтому всегда нужно проверять ширину и высоту перед запуском.

anime model

Рисунок – воин, маг и робот слишком сложный для распознания. Чтобы получить качественный арт, нужно грамотно составить промпт, а это может стать проблемой, если много деталей на одном холсте.

Сделаем по-другому - разрежем рисунок, загрузим каждого героя по отдельности и составим уникальное описание. Результат опубликуем в виде картинки «до» и «после» и покажем prompt на английском языке. Если нет знаний английского, можно воспользоваться Гугл переводчиком, чтобы понять смысл промта. Сервис, где будем тестировать - Get Img AI. Сгенерируем робота.

get img нарисовал синего робота по эскизу

Нейронная сеть распознала много мелких деталей и смогла их повторить и раскрасить. Использовали следующий промт:

«robot, highly detailed, best quality, highres, perfect result, realistic, perfect composition, 8 k artistic photography, photorealistic concept art, chiaroscuro, masterpiece»

Ключевое слово – robot, все остальное - это указание на качество изображения и освещение. Промпт сохраним для других рисунков. Менять будем только слово robot, когда будем генерировать мага (sorcerer) и воина (warrior).

Если сравнивать рисунок карандашом с творчеством ИИ, то можно заметить, что вместо пушки получилась рука. Чтобы это исправить, добавим еще один ключ «robot, hand guns …».

с помощью дополнительных промтов можно улучшать или изменять иллюстрации

Добавление лишнего ключа помогло изменить руку на оружие, но в обоих случаях стена стала частью робота.

Вывод: нужно точно прописывать промт, например, если у робота вместо руки пушка, так и надо записать «hand guns». Также следует убедиться, что рядом нет декораций. Стена запросто может стать частью персонажа, если слишком близко расположена.

Учтя все недочеты, сгенерируем мага. Составим подробный prompt. Заменим «robot» на «sorcerer, staff, high collar, neck decoration with stone, long caftan». На русском: колдун, посох, высокий воротник, украшение шеи камнем, длинный кафтан. Мы указали все, что должно быть на изображении.

Результат ниже.

первый блин комом - вместо мага вышла женщина-маг

При генерации были учтены все детали, только получилась женщина. Еще раз сгенерируем портрет, изменив описание – «male sorcerer». 

после добавления заветного слова наконец получился именно маг

Если в первом случае деформация конечностей была незначительной, то при генерации мужчины рука более деформирована. Это можно исправить, сделав еще несколько генераций.

Последний арт – воин. Если посмотреть на целый рисунок, то нога воина спрятана за кафтан колдуна. Поэтому дадим команду дорисовать ногу. Изменим старый промпт, добавив «warrior with a sword man, finish drawing the leg». На русском: воин с мечом, закончить рисовать ногу.

попробуем сгенерировать изображение воина с мечом

Картинка после обработки получилась черно-белой, доспехи отличаются в плане дизайна. Использовали ключевое слово «мужчина», чтобы ControlNet случайно не нарисовал воительницу.

Конечность не деформирована, что уже большой плюс. Возможно, это связано с тем, что у героя ладонь раскрыта и пальцы раздвинуты в разные стороны. Картинку можно раскрасить, написав вот так: «warrior with a sword in color». То же самое, только в цвете.

воин с мечом, версия номер два

С помощью правильно составленного промпта можно получить желаемый результат. Хотя довольно часто нейронка выдает случайные арты, все зависит от платформы и настроек.

Результат наших иллюстраций в Getimg AI.

примеры картинок, которые создали с помощью нейросети Get IMG и расширения ControlNet

Где брать идеи для вдохновения? 

В каждой нейросети есть библиотека творческих работ других участников. В Playground лента находится на главной странице. Там расположены нейро рисунки разных тематик. Чтобы посмотреть prompt, достаточно щелкнуть по изображению. 

для получения готовых промтов в Playground достаточно нажать на картинку

В Leonardo нейроиллюстрации доступны только после регистрации. 

Lexica.art – еще одна платформа с солидной библиотекой. Здесь можно генерировать изображения и смотреть работы других пользователей. На главной странице регулярно публикуются свежие иллюстрации. 

Подведем итоги: любая генерация случайна. Шедевр может получиться как с первого раза, так и из десятого. Чаще всего приходится экспериментировать с промтами и моделями, чтобы сгенерировать подходящий арт.

Сервис идеально распознает простые рисунки, с более сложными картинками будут проблемы. Целесообразнее использовать расширение для нейросетей ControlNet для разработки игр. Рисовать колбочки, сундучки и другие предметы инвентаря. Другой способ применения - генерировать карточки товаров, стикеры. Простые иллюстрации у сервиса получаются лучше всего.

CONTROLNET - отзывы и рейтинг

Еще нет отзывов
  • 0
  • 0
  • 0
  • 0
  • 0