LINUX.ORG.RU
ФорумTalks

А вот нейросеток чтобы мультики пилить?

 , ,


0

1

Но не так чтобы ресурсы на рисование 6ого пальца тратились, а чтобы например сделать наброски концептов, скормить сетке, она бы их до ума довела, потом модельки для бледера по ним запилила, так же сцены по наброскам сделала. Потом её раскадровку закидывать а она в блендере том же их анимировала, помогала камеры/свет расставить, рендер настроить и т.п.

Гуглятся части из этой цепочки, но чтобы какое-то цельное решение или хотя бы по одному на каждый этап как будто нет.

А то когда-то в детстве хотелось мультики рисовать, но очень уж геморное занятие.

★★★★★

У вас, конечно, губа не дура! Даже если модели уже достаточно умные для такого, такой инструментарий еще пилить и пилить.

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Белорусы уже выпустили какой-то нейрослоп, хотя вроде как и кроме них есть, кто клепает нейромульты

mskrasnov
()
Ответ на: комментарий от goingUp

А шо такого? Тулза то есть, хочется чтобы от неё какая-то польза была.

ya-betmen ★★★★★
() автор топика

Попроси чатжпг навайбкодить, че ты как маленький.

Всё что есть из инструментов сейчас это тулза для удаления шума с фотографий. Могу подробно расписать как с помощью нейронки решить базовую задачу рисования - изобразить конкретного персонажа в конкретной ситуации и композиции, с которой справится хоббист-художник (спойлер: придётся нанять этого самого художника и оплатить ему или норм видеокарту, или доступ к хорошему сервису).

Gary ★★★★★
()

но чтобы какое-то цельное решение

Для 3D нет. Для генерации концептов 2D персонажа видел лору

То есть весь процесс сводится к следующему:

1)Делаешь наброски.

2)По наброска рисуешь персонажей

3)Обучаешь по своим рисункам нейросетку. Но рисунков должно быть побольше, чтобы модель точно научилась воспроизводить стиль.

4) Генерируешь то что нужно, например концепты c полученной лорой.

5)Далее видишь что одного стиля не хватает и обучаешь нейросетку для генерации каждого персонажа отдельной лорой.

vbcnthfkmnth123 ★★★★★
()
Последнее исправление: vbcnthfkmnth123 (всего исправлений: 1)
Ответ на: комментарий от vbcnthfkmnth123

Неужели рисовать 100500 кадров для видео самой нейросеткой проще чем сделать нормально?

ya-betmen ★★★★★
() автор топика
Ответ на: комментарий от vbcnthfkmnth123

Для 3D нет

Есть hunyuan3d, правда для него нужны рендеры в проекциях, молитва что всё будет угадано, ретопология и риггинг

Далее видишь что одного стиля не хватает и обучаешь нейросетку для генерации каждого персонажа отдельной лорой.

Дальше выясняется что из-за отсутствия регуляризационных изображений в датасете, лора персонажа подхватила стиль, и начинаются проблемы с генерацией когда вдруг захотелось больше одной лоры 🤣

Gary ★★★★★
()
Ответ на: комментарий от Gary

hunyuan3d

Посмотрел сайт, забавная штука, надеюсь она не только китайский понимает.

А к блендеру приблуд я так и не нашёл нормальных, нс формуме видел проект помощника, но он тонны текста для фигни требует писать.

ya-betmen ★★★★★
() автор топика
Последнее исправление: ya-betmen (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

она не только китайский понимает.

Не только. Есть еще SPAR3D и SceneGen, которому достаточно одного изображения.

А к блендеру приблуд я так и не нашёл нормальных

Обе модели выдают результат в GLB формате, который понимает Blender. SPAR3D требует минимум 6GB VRAM, SceneGen требует минимум 16GB VRAM.

Obezyan
()
Последнее исправление: Obezyan (всего исправлений: 1)

«Хачу что бы Манька харчо станцевала»? Ну или по другому, интерфейс с одной кнопкой «Сделай мне зашибись!»?

anc ★★★★★
()
Ответ на: комментарий от Obezyan

Обе модели выдают результат в GLB формате

Та понимать то он понимает. Я не хочу сам блендер руками крутить. Хочу сказать ему сделай зашибись и чтобы дальше само.

ya-betmen ★★★★★
() автор топика
Ответ на: комментарий от ya-betmen

Хочу сказать ему сделай зашибись и чтобы дальше само.

Ето фантастика и обман чтоб набрать инвестиционного бабла. От силы что можно делать это генерировать танцующих котиков для тиктока.

Gary ★★★★★
()

Если убрать блендер и 3Д, то вполне можешь нагенерить стилизованное под пиксаровское 3Д, но без 3Д

Satou ★★★★★
()
Ответ на: комментарий от Gary

Ето фантастика

Нет, в теории это можно. Только обучать такую модельку придется самому. Если словосочетание сделать зашибись описать для модельки как тег, который описывает определенного персонажа, в определенном стиле. То оно даже будет работать, и выдавать разный результат в зависимости от seed.

vbcnthfkmnth123 ★★★★★
()
Ответ на: комментарий от vbcnthfkmnth123

Очень много работы от рандомного выхлопа нейронки с примерно похожим персонажем до какого-то рисунка изображающего что-то конкретное

  1. Неточности в деталях
  2. Сложности управления композицией
  3. Баги которые возникают при использовании нескольких лора
  4. В целом отсутствие модели мира у денойзера

«В теории можно натренировать» это как раз тот инвесторский скам про тысячу обезьян за печатными машинками, когда говорят что нужно добавить ещё обезьян и купить ещё печатных машинок и всё получится.

Ну и вообще в контексте речь шла о 3D, банально нет нейронок для самых базовых этапов создания модели для анимации.

Gary ★★★★★
()
Последнее исправление: Gary (всего исправлений: 1)
Ответ на: комментарий от Gary

это как раз тот инвесторский скам

Нет. Натренировать можно, но нужно строго понимать что хочешь. Это как с постановкой ТЗ. Заказчик может получить что он хочет, но для этого надо правильно составить ТЗ, что удивляет некоторых.

изображающего что-то конкретное

Ну так задай там что-то конкретное в промпте. Пропиши там позу, стиль, описание персонажа и фон. Убедись что моделька знает про это, а если не знает то найди или сделай нужные лоры.

Для начала тебе нужно понять что ты хочешь в результате, желательно с учетом всех деталей.

vbcnthfkmnth123 ★★★★★
()
Ответ на: комментарий от ya-betmen

Но это ж маразм. Рендеринг будет очевидно выгоднее, чем всё нейросетью рисовать.

Очевидно не понимаешь, как оно работает. Наглюкать следующий кадр в видео для нейронки гораздо проще, чем выполнить какой-то логичный алгоритм, который не будет газировать малые водоёмы.

Bfgeshka ★★★★★
()
Ответ на: комментарий от ya-betmen

Ты не понимаешь как работает 3Д пайплайн, в случае просто картинки тебе хватит нейросетки обученной на 3Д мультфильмах, в случае честного 3Д тебе придётся нанять минимум двух человек кто будет доделывать за нейронкой, чтоб оно выглядело не как кусок говна

Satou ★★★★★
()
Ответ на: комментарий от Satou

Так то что генерит нейронка и так выглядит как кусок говна, только его доделать нельзя.

А разница как раз в том, что надо просто научить нейронку с 3д сценами работать вместо пикселей.

ya-betmen ★★★★★
() автор топика
Ответ на: комментарий от ya-betmen

Научи, это же так просто
Только не забывай, в сцене у тебя 3Д сетка, на которой 2Д развёртка с паком текстур, причём одна из них содержит не пиксели, а по сути векторы. Сетка персонажей ещё приаттачена к скелету и каждая вершина имеет вес в соответствии с которым сдвигается при изменении положения кости, кости тоже находятся в 3Д пространстве со своими особенностями поворота
И вот это всё тебе должна сгенерировать нейросеть, вместо простых пикселей в 2Д плоскости

Satou ★★★★★
()
Ответ на: комментарий от Satou

Это называется скелетная анимация и обратные решатели. Нейросети нужно только настроить положение некоторых точек на ключевых кадрах, это примерно в 100500 раз меньший объем чем в пикселях.

Научи

Для обучения мне придется таким образом создать 100500 мультфильмов, если бы у меня на это были ресурсы я бы просто делал один.

ya-betmen ★★★★★
() автор топика
Последнее исправление: ya-betmen (всего исправлений: 1)
Ответ на: комментарий от psiman

А порно мультики нейросети рисовать могут ?

Могут, но в 2D

tiinn ★★★★★
()
Ответ на: комментарий от vbcnthfkmnth123

Ну так задай там что-то конкретное в промпте. Пропиши там позу, стиль, описание персонажа и фон.

Ну, вот, ракурс портрет 3/4 оно не понимает. Надо найти готовый портрет, подсунуть сетке и сказать, «Замени этого человека на Тома Круза» - тогда нормально получится.

tiinn ★★★★★
()
Ответ на: комментарий от vbcnthfkmnth123

Ну, вообще, «портрет 3/4» - это название. Мне хотелось в полный рост, и сразу пару людей… А если нейросетка и всё окружение развернёт с этого ракурса - вообще круть. Эх, мячты, мячты…

По идее, тут уже видео надо генерировать с облётом камерой персонажей по кругу, и из видео уже выдирать кадры.

tiinn ★★★★★
()
Последнее исправление: tiinn (всего исправлений: 2)
Ответ на: комментарий от vbcnthfkmnth123

Полный рост и портрет это разные ракурсы. Нейросетка не человек, угадать не может. Как скажешь ей, так и нарисует.

Да вот ни фига. Язык тоже неоднозначный. «Атмосфера ярмарки и праздника» - ярмарку и праздник она нарисует. А ты, может, представлял перегар и запах шашлыка.

tiinn ★★★★★
()
Ответ на: комментарий от tiinn

Нейросетка может нарисовать то что умеет. Ищи или сделай лору для того что нужно. Это позволит нарисовать то что нужно не переобучая модель полностью.

vbcnthfkmnth123 ★★★★★
()
Последнее исправление: vbcnthfkmnth123 (всего исправлений: 1)
Ответ на: комментарий от vbcnthfkmnth123

А вот теперь прикинь, что тебе для этого весь мир с угла 45 градусов переснять придётся. Не самый выгодный ракурс, редко встречающийся.

tiinn ★★★★★
()
Ответ на: комментарий от tiinn

Для нейросетки нужна конкретика, причем та, которую она умеет. Фантазировать что угодно можно, но факт остается фактом: оно работает именно так, а не иначе.

vbcnthfkmnth123 ★★★★★
()
Ответ на: комментарий от vbcnthfkmnth123

Ну так задай там что-то конкретное в промпте

Это невозможно, нужно понимать чем являются объекты, их отношение между собой в пространстве, etc. денойзер ничего этого не умеет, а промпт это просто подталкивание его в сторону восстановления каких-то изображений.

Да, можно натренировать лору которая будет смещать генерацию в сторону конкретной композиции или предмета, правда получается наоборот - для создания одной картинки надо сначала сделать целую пачку. С лорами персонажей тоже отдельная тема, не уверен что я когда-либо видел лору которая точно воспроизводит персонажа из-за угрозы оверфиттинга.

Какую-то конкретику можно получить используя региональный промптинг и img2img (лучше - вместе), но по факту такая задача уже становится задачей художника, который попросит нейронку за него дорисовать (а потом он же будет исправлять за ней косяки).

Есть какая-то идеальная модель, на которой я могу дальше продемонстрировать проблемы?

Вот, ради хохмы запросил «red book lying on green book» у SDXL. Вроде вполне себе очень конкретный и очень базовый промпт. Получилась полная херня, в одном случае даже сгенерировался автомобиль: https://litter.catbox.moe/ahvtlepfdqvs34ff.webp

Сейчас ты мне скажешь что вообще sdxl это прошлый век, и настройки не те, и нужно специальную лору для генерации красных книжек лежащих на зеленых книжках. Если ты мне скажешь, где я могу помучить state-of-the-art денойзер, мне будет интересно поэкспериментировать.

Gary ★★★★★
()
Ответ на: комментарий от Gary

Я обычно использовал модели основанные на illustrious XL(архитектура SDXL, но без полной совместимости с лорами от SDXL ). Очень легко подхватывают стили, но с реализмом проблема.

sdxl

Она больше для реализма подходит, насколько я помню.

Вообще погугли, модельки очень быстро развивает сообщество, так что возможно уже сделали вариант лучше, чем то что я использовал.

где

Дома, локально. Я просто скачивал тот же stable diffusion webui и на нем запускал модельки. Не в курсе доступен ли он сейчас.

vbcnthfkmnth123 ★★★★★
()
Последнее исправление: vbcnthfkmnth123 (всего исправлений: 3)
Ответ на: комментарий от ya-betmen

Какие конкуренты? Вполне можно запилить локальную нейронку и никому не показывать
Та же невидия обещала нейронку для 3Д, они даже с шатерстоком колабились чтоб получить базу моделей

Satou ★★★★★
()
Ответ на: комментарий от Satou

Вполне можно запилить локальную нейронку и никому не показывать

Так может уже, просто никому не показывают.

Ну и всякие протесты против нейросеток в кино и т.п, хотя вот если сценаристов и режиссеров на нейросетки заменить, может и лучше станет.

ya-betmen ★★★★★
() автор топика
Последнее исправление: ya-betmen (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

Да что-то про российским и голливудским «шедеврам» последних лет впечатление такое, что сценаристов уже заменили

CrX ★★★★★
()
Ответ на: комментарий от CrX

Вот кажется если на классике обучить то лучше будет. Хоть минимальное качество.

ya-betmen ★★★★★
() автор топика
Ответ на: комментарий от vbcnthfkmnth123

Локально у меня есть и SDXL, и Illustrious, и Flux, и прочие. И лоры я тренировал. Ничего из этого не годится для реальных задач без человека который будет исправлять и доделывать. Пример я уже привёл. Просто я думал может есть какая-то офигенная модель от китайцев с гориллионом параметром и я не в курсе, но видимо нет.

Gary ★★★★★
()
Ответ на: комментарий от Gary

который будет исправлять и доделывать

Плагины видел? Я просто ставил плагин длф stable diffusion webui, который позволяет подсказывать модельке на изображении. Добавил туда модельки для глаз и пальцев и норм, само их находит и фиксит.

не годится для реальных задач без человека

Для новелок в renpy пойдет. Там раньше просто скринили для спрайтов 3д модельки, а сейчас могут полноценные спрайты генерить.

vbcnthfkmnth123 ★★★★★
()
Последнее исправление: vbcnthfkmnth123 (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

Рендеринг будет очевидно выгоднее, чем всё нейросетью рисовать.

Тем не менее второе активно разрабатывается большинством ИИ гигантов, а первое никто не пилит(

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Конечно, тут нельзя загнать толпу индусов отвечать на 100500 тупых вопросов чтобы обучить модельку. Тут работать надо.

ya-betmen ★★★★★
() автор топика
Последнее исправление: ya-betmen (всего исправлений: 1)

Есть разное всякое. И даже на своём компе можно запустить,если силёнок хватит. И мультяшно и для игр и а ля натюрэль по одной фотке. Пол года назад смотрел, люди разбирали модельки созданные ИИ, ругались на неправильную топологию, что легче новое стелать, чем это доделывать. Но сам не пробовал. Однако, всё движется так стремительно, не успеешь глазом моргнуть,а оно уже умеет то, что раньше неумело.

PcheloBiaka
()
Последнее исправление: PcheloBiaka (всего исправлений: 2)
Ответ на: комментарий от ya-betmen

Как не нашёл? Фигасе. А, хотя, у вас же ютуба нет,одного Кашпировского показывают :)) В webui есть всякие плагины и пр. Мне сейчас не удобно искать. Вечером посмотрю

PcheloBiaka
()
Ответ на: комментарий от PcheloBiaka

Ок, только имей в виду, что я не то чтобы ничего не нашёл. Есть кусочки просто из них не получается сложить слово вечность.

ya-betmen ★★★★★
() автор топика
Ответ на: комментарий от ya-betmen

Нууу… ты хочешь чтобы я сказал как тебе сделать видео уровня голивуда не вставая со стула прямо сейчас? И в Comfui и в webui и всякими онлайн генераторами. Везде надо копаться. Чота мне лень. Я открыл онторнет, на меня высыпались тонны разных примеров. Ты просто не можешь не видеть того же. Генерят и во всяких comfui и webui, анимируют. А некоторые генерируют сразу видео в 3д стиле. Естественно это через всякие платные чатжпт, хунионы и прочее онлайн ИИ. Результаты? разные. Как с этим работать? не знаю. Это дорого, как мне кажется, я пробовать не буду. Есть даже такое - задают ИИ написать сценарий, дают ИИ нарисовать сцены для этого мульта, потом из картинки по сценарию сгенерировать видео. И не нужно 3д моделей. Ты скорее всего всё это видел. Вопрос то твой в чём?

PcheloBiaka
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)