Апскейл через sd_upscale в AUTOMATIC1111

---

---

Проблема

Иногда хочется иметь картинки в высоком разрешении и с большой детализацией, но в наличии имеются исходные картинки только с небольшим разрешением (от 1-2 мегапикселя, после хайрез фикса). Большой детализации позволяет добиться скрипт sd_upscale.py, встроенный в webui AUTOMATIC1111.

Принцип работы sd_upscale

Всю работу sd_upscale глобально можно разделить на два этапа:

1. Исходное изображение подается на ввод какому-либо апскейлеру (прескейлеру) на выбор пользователя. Прескейлер возвращает новую, проапскейленную картинку.
2. Результат прескейла передается в img2img, где уже хайрезная картинка улучшается, и на выходе получается готовая картинка.

---

Подготовка & Установка прескейлеров в webui

Здесь описаны некоторые важные этапы, которые необходимо выполнить перед попытками в апскейл.

Правим конфиги

Для апскейла с максимальным качеством (одним тайлом) стандартного ограничения ползунков в img2img по высоте (2048) не хватает.

1. Открываем файл /ui-config.json (он лежит в одном каталоге с webui-start.bat) и ищем в нём (Ctrl+F) две строчки:
   • "img2img/Width/maximum":
   • "img2img/Height/maximum":
2. Меняем числовые значения в этих строчках на любые по вкусу, в зависимости от количества видеопамяти. Для 12 ГБ неплохо начать с 3072.
3. Запускаем автоматик или читаем дальше.

Апскейлеры (прескейлеры)

Встроенные в автоматик прескейлеры по какой-то причине не очень популярны, а LDSR (который тоже встроен вообще-то), сыпет ошибками при первой попытке его выбрать и начать использовать.

LDSR

1. Нужно скачать два файла:
   • project.yaml: https://heibox.uni-heidelberg.de/f/31a76b13ea27482981b4/?dl=1
   • model.ckpt: https://heibox.uni-heidelberg.de/f/578df07c8fc04ffbadf3/?dl=1

2. Обязательно переименовываем их как нужно и кладём в /models/LDSR.

   

3. Запускаем автоматик или читаем дальше.

Valar, UltraSharp, Remacri, тысячи их

Valar, UltraSharp, Remacri, всё это - не что иное как разновидности моделей для апскейлера обычных растровых изображений ESRGAN.

1. Идём на вики, не пугаемся огромной страницы https://upscale.wiki/wiki/Model_Database.
2. Ctrl+F <прескейлернейм>, например Ctrl+F valar. Скачиваем, разархивируем (если модель лежит в архиве), кладём файл с расширением .pth в /models/ESRGAN/.
3. Запускаем автоматик.

---

РРЯЯЯЯЯЯ МНОГАБУКАФ А КАК АПСКЕЙЛИТЬ-ТО?!?!!??

Сначала разберёмся, как вообще включить скрипт.

Необходимо выбрать в выпадающем списке как на картинках выше пункт SD upscale. Появится дополнительное меню.

Апскейл с максимально возможным качеством, но с относительно низким разрешением (одним тайлом)

1. Вставляем нужную картинку в обычный img2img, изменяем по желанию промт (можно скопировать всё из txt2img, это же img2img как-никак).
2. Запоминаем или записываем на бумажку/в текстовый файл/на лоб разрешение изображения, которое требуется проапскейлить.

3. Определяемся с размерами итогового изображения.

   • Например, у нас есть картинка размерами 896x1280. Мы хотим увеличить её в 2 раза.

   • Устанавливаем Scale Factor на то число, в которое мы хотим увеличить картинку, то есть на 2.

     

   • Умножаем ширину в то число раз, в которое желаем увеличить картинку (2), получаем 1792. Поступаем аналогично с высотой и получаем 2560. Лучше подбирать высоту и ширину так, чтобы числа делились на 8 без остатка.

   • Записываем размеры уже в старые поля (над скриптом), высоту - в Height, ширину - в Width. Поскольку размер единственного тайла совпадает с размером итоговой картинки, в данном случае Height и Width в какой-то мере всё же являются размером выходного файла.

     

4. Выбираем прескейлер что по душе.

   

5. Выбираем семплер что по душе. Если семплера по душе не имеется, то DDIM с 20-40 шагов.
6. Выбираем CFG Scale что по душе (7 по умолчанию нормально).
7. Пока что забиваем хуй на Tile overlap, оно при единственном тайле ничего не делает.
8. Выбираем Seed равным -1, Batch count на 1, Batch size на 1.
9. Выбираем Denoising strength равным 0.4. То же, что и в img2img - чем больше, тем больше изменится генерация.
10. Генерируем.
11. Вы великолепны. Если результат не устраивает, можно поиграться с очком с семплером, CFG, с количеством шагов, с денойзом, ну и прескейлером.

Апскейл с плавающим качеством, максимальной производительнсотью и требованию по VRAM (множество тайлов)

WIP: пока что можно посмотреть пункт выше, добавить к Height и Width число в Tile overlap (64 по умолчанию), загрузив предварительно уже заапскейленную вышеуказанным способом картинку. Но нужно понизить денойз, скажем до 0.2.
В консоли должно быть SD upscaling will process a total of 4 images tiled as 2x2 per upscale in a total of 4 batches.

Если требуется апскейлить дальше, то Height и Width, как и Tile overlap можно не трогать, можно просто загрузить только что проапскейленную картинку и начать процесс генерации.

---

Особенности апскейла с тайлами

Повторимся, видеопамять у нас ограничена. Из-за этого мы не можем проводить img2img в огромных разрешениях вроде 32768x18432. А если бы нужная память у нас и имелась, то тут вступил бы другой не менее важный фактор: производительность.

Для решения первой проблемы существует очевидное решение - разбить картинку (после прескейла) на кусочки меньшего разрешения, которые мы можем обрабатывать без проблем, обработать каждый по отдельности и затем склеить всё обратно. Такие кусочки называются тайлами.

(картинка украдена с форча до лучших времен)

Но у этого решения есть как свои преимущества, так и недостатки...

Размер тайла и производительность

На первом графике показано, сколько секунд требуется на один квадартный тайл в зависимости от размера его стороны (синяя линия). На втором графике можно пронаблюдать, как количество секунд, требуемых для обработки одного тайла, возрастает кубически. Что это значит? Поскольку количество пикселей в тайле при росте размера стороны тайла возрастает квадратично, а не кубически (O^3 > O^2), можно говорить, что

Аппроксимация времени работы для моей 3060 с моими параметрами без --medvram, где x - это размер стороны тайла: 5e-8*(x)**3 - 85e-6*(x)**2 + 0.065*x - 14.7

Например, у нас есть исходное изображение - 1024x1024, апскейлим в 2048x2048. Рассмотрим два случая:

1. Тайл 512x512. По формуле выше тайл будет обрабатываться 3 секунды. По высоте нужно обработать 2048/512 = 4 тайла, по ширине аналогично 2048/512 = 4 тайла. На апскейл идут 4x4 тайла.
2. Тайл 1024x512. Будем считать, что то же самое, что и тайл размером 724x724 (sqrt(1024*512) ~ 724), чтобы можно было подставить в формулу выше. Подставив, получаем 6.78 секунд. По высоте нужно 2048/512 = 4 тайла, по ширине 2048/1024 = 2 тайла. На апскейл идут 4x2 тайла.
   Нетрудно посчитать, что (4x4) * 3 = 48 и (4x2) * 6.78 = 54.24 дают разный результат, а значит для скорости (и меньшего потребления видеопамяти) следует апскейлить маленькими тайлами.

(512x512 медленнее, но это связано с тем, что 2048x2048 без --medvram в 12 ГБ не лезет, и c тем, что у меня включено превью)

Про ускорение обсчета маленьких тайлов см. Batch size.

Нахлест тайлов (Tile overlap)

Как можно заметить, на всех апскейленных пиках выше (кроме однотайловых), есть швы. Они появляются, потому что каждый тайл считается полностью отдельно, они между собой не сообщаются, и ни на одном тайле нет областей из другого тайла.

Чтобы частично побороть это проблему, был придуман оверлап тайлов. То есть тайлы как бы частично накладываются друг на друга, а не всё время следуют друг за другом строго по очереди.

Здесь отлично проиллюстрировано, как часть первого тайла наезжает на второй тайл. Второй - на третий. Пятый - вообще на все.

Как можно видеть, этот метод неплохо работает для удаления швов, но он, конечно, не идеален. Надроченный глаз всё ещё сможет отличить тайлы друг от друга по неестественным цветовым переходам в местах швов и по слегка искривлённой геометрии.

Выбор подходящего значения

Tile overlap в sd_upscale контролирует размер этого самого оверлапа. Если параметр слишком маленький, то швы будут слишком сильно выделяться, и существует риск того, что нейросеть нарисует одно и то же дважды на разных тайлах.

Здесь ничего криминального (кроме разных глаз) ни на на 256, на на 64 нет, но и кадр не особо сложный. А вот на 16 уже видно швы.

Если размер слишком большой - может набежать разница и при склейке получится мыло на месте шва вместо деталей, или, скажем, несколько замыленных очертаний одной и той же детали.

Не заостряя внимания на количество пальцев и на то, что в версии с оверлапом 256 почему-то SD попытался нарисовать попу, рассмотрим апскейленные пикчи поближе.

Мыло на 256.

"Призрак" на поезде на 64.

Хоть и на 256 рука заметно лучше получилась, справа можно увидеть наложенные друг на друга очертания разных рук.

Что же касается производительности, то если задавать большой Tile overlap, то img2img придётся проделывать практически одну и ту же работу в ещё больше количестве. Придётся увеличивать размер тайла, чтобы сохранить его полезную область, а значит и обрабатываться один тайл будет дольше, и требования к видеопамяти будут серьёзнее.

Denoising strength, призраки, артефакты и прочие недостатки

Denoising strength - ключевой параметр, так же как и в img2img. Чем он ближе к 1, тем больше на изображение будет наложено шума, чтобы нейросеть пыталась его убрать, создавая тем самым новое изображение. Некоторое отличие от img2img здесь в том, что шум накладывается не сразу на всё изображение, а на каждый тайл по отдельности.

Но суть глобально не меняется: чем денойз больше, тем сильнее разница между оригинальным тайлом и обработанным. Но нам же нужны нужные изменения (детали), а ненеужные изменения нам не нужны (артефакты), следовательно, далее будут рассмотрены способы борбы с возникающими артефактами.

Списочек обычно появляющихся артефактов, вызванных именно тем, что апскейл проводится по тайлам:

• Неравномерная стилизация картинки. Сюда относятся:
  • Разные цвета одного объекта на разных тайлах
  • Неправильное размытие фона, боке, глубина резкости
  • Неодинаковые глаза
• "Призраки"
  Нейросеть начинает видеть лица, одежду, людей, и прочую подобную хуйню в тех местах, в которых их не было
• "Картинка в картинке"
  Нейросеть начинает рисовать какой-то свой пейзаж со своей собственной перспективой, никак к изначальному изображению вообще не относящийся. Обычно встречается на очень высоких разрешениях с слишком большим денойзом.
• Ещё скорее всего дохуя всего...

Призраки

В sd_upscale не существует способа задать разный промт на тайлы, то есть для всех тайлов используется один и тот же промт. В общем-то чем больше тайлов, тем сильнее эта проблема выражена.

(снова прекрасная иллюстрация с заморского гайда)

Проблема должна быть очевидна. Каждый тайл содержит в себе разную информацию, но промт подаётся на них одинаковый, что приводит к возникновению лиц или даже целых людей в траве, или просто SD начинает придумывать не относящиеся к картинке детали.

Помогите Даше посчитать кошек (картинка из шизогайда)

Основные методы борьбы с призраками (но на самом деле они подходят для практически любых артефактов):

1. Снижение Denoise strength.
   • Можно сгенерировать несколько картинок с разным денойзом, залить их в фотошоп слоями и затереть всё ненужное, что получилось на слоях с большим денойзом. Если затирания слишком выделяются, то можно ещё раз закинуть картинку в sd_upscale, но уже с Scale Factor поставленным на 1 и Upscaler на None. А можно (аккуратно) использовать inpaint с галкой Only masked.
2. Использование больших по размеру тайлов.
3. Убирание из промта проблемных токенов вроде 1girl, X hair, но оставление masterpiece, official art, extremely detailed unity 8k wallpaper и прочих мастерписей.
   • ЧСХ может помочь добавление в позитив out of frame, а в негатив - full body, если размер тайлов подходит.

Намеренное размытие

При апскейле тайлами очень сложно контролировать размытие фона или depth of field. Если не хочется впустую тратить время, следует просто хуярить блюры в негатив, а размытие накладывать уже после апскейла с помощью карты глубин. Подробнее - (пока что?) в шизогайде.

Изначально размытые картинки тоже даются крайне тяжело, перед апскейлом желательно как-нибудь это размытие убрать.

Batch size

WIP: Пока что так: при маленьком размере тайла можно добиться значительного ускорения обработки (вплоть до 50%) при батч сайзе, скажем, 6 или даже 8, но для этого необходимо много видеопамяти (но не больше, чем на апскейл одним тайлом с тем же количеством пикселей).

---

Ссылкота

Сравнение разных апскейлеров, куча картинок (можно выбрать нужный апскейлер): https://phhofm.github.io/upscale/multimodels.html
Мегастарый, но до сих пор актуальный гайд с форча: https://rentry.org/sdupscale
Шизогайд кошкоанона: https://rentry.org/sd_upscale