Как нейросети учатся рисовать монстров: история о двухголовых людях и сломанных LoRA

LoRA (Low-Rank Adaptation) — это технология дообучения больших моделей генерации изображений.

Если говорить простыми словами: вы берете мощную базовую модель (вроде Stable Diffusion или Krea) и «доучиваете» её на специфических данных. Хотите, чтобы нейросеть рисовала в стиле аниме 90-х? Тренируете LoRA. Нужны портреты в стиле киберпанк? Снова LoRA.

Двухголовые люди появляются, когда модель путается в пространственных представлениях. Она видела много портретов, но не усвоила жесткое правило, что голова должна быть одна. В результате при генерации она «добавляет запасную» — на всякий случай.

Такие шедевры дообучения можно найти на сайте civitai.com, скачать, использовать. (Models - фильтры - LoRA krea 2)

Когда автор тренирует LoRA, он берет набор картинок и присваивает каждой из них одинаковый текстовый тег — это и есть будущее триггер-слово. Нейросеть в процессе обучения начинает строить связь: «Ага, каждый раз, когда я вижу в промпте слово xyz_style, я должна применять вот эти специфические черты: такую-то текстуру кожи, такой-то свет, такую-то форму глаз».

В проекте soediniai.ru собрано более 1000 моделей и авторских холстов: как для тренировки собственных весов, так и для использования LoRA-файлов, скачанных с Civitai.

Самое интересное: можно попросить агента найти нужную модель и подумать, как реализовать всю цепочку действий. Пока что держите инструмент для создания двухголовых людей. Очень нужная вещь! 😉 https://soediniai.ru/s/C9LMdOoWrp5g

В дальнейшем будем рассказывать о более практичном применении сервиса для создателей контента! Спасибо, что дочитали!