Почему нейросети *такие*?

@fernandos https://i.ibb.co/kMJy0f9/Screenshot-2021-11-03-at-10-50-15-Russian-DALL-E.png

IMHO основная проблема нейросетей — это объём и качество данных для их тренировок. Если тренировочных данных мало, то соответственно начинается «лажа». Особенно интересны редкие кейсы, которые редкие, соответственно входных данных нужно не просто много, а на порядки больше.

Это скорее результат работы мозга под мощными такими грибами, все мажет, не видно ниче. А вообще от этих картинок у меня какой то эффект зловещей долины

Похож.

У меня он вот таким получился:
https://pic4a.ru/111/nAy.jpg
Вбил «Фернандос» по-русски.

Представил, как оно говорит «если бы Вы были поумнее…»

Чем-то на Ларри Эллисона смахивает.

Собственно, а почему так нейросети делают?

Если ты работаешь с формой и не ведёшь работы со смыслом то наивно ожидать другого результата.

«Всемирное потепление. Грета Тунберг. Мы все утонем.»
https://pic4a.ru/111/J8T.jpg

https://rudalle.ru/check_image/34d5e85689c54034b7e7f40e6aa92aab/%D0%9B%D1%8F%D1%81%D1%8C%D0%BA%D0%B8-%D0%BC%D0%B0%D1%81%D1%8F%D1%81%D1%8C%D0%BA%D0%B8/

Ну а че, норм.

А нейросети по-твоему - это какие-то крутые алгоритмы?

ляськи-масяськи

Как-то именно так я их себе и представлял.

Как-то именно так я их себе и представлял.

Ага, хорошо сработала.

Иногда действительно крутые результаты выдаёт.

https://rudalle.ru/share_image/23

сейчас генерация изображения похожа на результат работы человеческого мозга

Потому что нейросети и являются моделями мозга. /thread

Нет. Основная проблема в том что они плохо обобщают в сравнении с головой и не фантазируют (хотя это решаемо частично и является одним из самых сильных методов машинного обучения, когда мало данных или есть редкие случаи, гуглить в сторону генерации синтетических данных для обучения). Хотя насколько я знаю, поскольку синтетика генерируется относительно равномерно обычно по всей выборке, т.к. её не нейронка генерит так как надо, а человек так как придумал генерить на основе векторного пространства признаков, то не всё так хорошо (например для каких-то редких данных было бы логичнее генерить больше похожей синтетики и т.д.).

Смысл у тебя в голове тоже с формы получается. Просто масштаб вычислений и сложность вычислителя на порядки отличаются.

А нету где инструкции как это развидеть?

Проблема с редкими данными, что они редкие — де факто основные систематики из-за этой неизвестности (не понятно где эти самые редкие данные брать дабы их размножить) и вылезают.

Проблема с редкими данными, что они редкие

Нету никакой проблемы с редкими данными именно потому, что они редкие и их можно не учитывать. Суть нейросетей заключается в обобщении данных как бы.

Ну, то есть ты можешь конечно нарастить мощности чтобы нейросети сами понимали смысл того, с чем имеют дело, но немного дешевле было бы немного поработать и формализовать модель.

Для того, чтобы условно нарисовать что-то с 10% точностью редкие данные не нужны, но если хочется «точности» 1%, то придётся учитывать все 0.1% вклады, а в случае 0.1% не только 0.01% вклады, но и их корреляции в обязательном порядке. Как-то так.

Не, тут не всё так тривиально как ты хочешь видеть. Представь себе что у тебя есть нейронка, которая распознаёт лица, но не по ключевым точкам которые люди научились находить и выделять в предобработке, а более тупо, по картинке без предобработки и поиска критически важных точек людьми (ну и эвристикой разумеется на реальных данных). И представь себе что каждый сотый человек у тебя с пирсингом на роже, а каждый 500 с татушкой на роже, а ещё может быть клоун в гриме раз в 5000 человек, при этом в обучающую выборку попало 5 клоунов (25 000 фото выборка пускай). Если человек никогда не видел людей с пирсингом или тату или в клоунском гриме, то он без проблем скажет, что на фото человек, а с нейронкой придётся много и долго возиться, подгоняя под неё данные по каким-то более специфичным признакам, хотя человек просто может наложить в голове грим на лицо и понять что у нас тут лицо. А вот нейронка так никогда принципиально сделать не сможет, по крайней мере в том виде, в котором они сейчас есть и применяются, просто потому что не умеет работать с такими сложными абстракциями.

На одном обобщении далеко не уедешь. Погрешность в 1% маленькая, но если нейронка в утопичном мире будет управлять ядерным реактором и ошибаться в 1% случаев, взрывая его, то мало не покажется. Как раз таки и хочется чтобы она не просто обобщала, а умела корректно работать со всеми данными, тем более в реальности небольшого числа похожих объектов вполне хватает чтобы выделить под них отдельный класс, а вот нейронки так не умеют, точнее умеют, но плохо, проигрывая людям очень-очень сильно.

Ну вот например наше с тобой общение пока никто не придумал как формализовать. Много какие задачи мы вообще формализовать не можем, например ИИ. Что говорить, мы даже критерии к нему не можем предъявить.

И как на небо пока никто не придумал как полететь… Много чего мы вообще не можем.

например ИИ. Что говорить, мы даже критерии к нему не можем предъявить.

Трудно предъявить критерии к случайному набору случайных слов. Хотя да, как показал предыдущий оратор, «Ляськи-масяськи» нейросеть осилила и даже успешно.

придётся учитывать все 0.1% вклады, а в случае 0.1% не только 0.01% вклады

Это так не работает. Если ты будешь пихать больше специальных данных в нейросеть, то произойдёт переобучение и сетка вместо обобщения будет тупо запоминать кейсы. На тестовом наборе всё будет ок, но на реальных данных она обосрётся и точность будет ниже чем без «0.01% вкладов».

Под слабыми грибами. Например пространство пока ещё всего лишь трехмерно, не видно суперпозицию на макроуровне

проигрывая людям очень-очень сильно

Потому что у людей сетки в мозге объединены в комплексы, работа которых на метауровне происходит с помощью символов (языка). Ждём когда структуралисты смахнут пыль с ЛИСПа и Пролога, да.

Не «переобучение», а возникновение случайных корреляций. Это тоже следствие «редких данных».

Ладно, человеческий мозг.

Что человеческий моск? В части зрения точно развивался миллионы лет. Что ты хочешь от нейросетей, которые появились в эволюционном смысле «только что»? «Шоткатнуть» развитие без выживательного отбора в дикой саванне получится не так быстро как хотелось бы :)

Лор такой.

А нейросеть видит себя так (rudalle.ru).

Удивительно, первым компьютеры заменили художников-модернистов.

Не «переобучение», а возникновение случайных корреляций

Иди учи уроки, ты не в теме.

Ну типа. Но картинка такая да

https://rudalle.ru/check_image/58d724481d194c15a3b222aade51b655/%D0%93%D0%BE%D0%BB%D1%83%D0%B1%D0%B0%D1%8F%20%D0%BB%D1%83%D0

Нет, живи теперь с этим.

https://i.imgur.com/jXJcoc2.jpg

@fernandos https://i.ibb.co/kMJy0f9/Screenshot-2021-11-03-at-10-50-15-Russian-DALL-E.png

👍🏿 Он самый...😅

Ну а ты чего ожидал?

Ну примерно этого, да. Хотя в глубине души надеялся на альтернативный массив данных для тренировки.

Каким термином ты это не называешь суть явления от этого не меняется. И причина не большое количество данных, а их качество и бог рандома.

Он у всех так долго генерирует? Мою аж 67 минут. Осталось 20 минут. Интересно посмотреть, что он так долго рисует...

причина не большое количество данных, а их качество

Оспаде, да прочитай уже хотя бы википедию, не позорься.

Начинал с 10 минут и по наростающей. Пользователи подтягиваются, по ходу.

Рано утром по московскому времени у меня генерировал за 2 минуты, сейчас больше 70.

Вот. Такой чёткости я не ожидал. Хотел увидеть что невнятное...

Красивое.

что-то оно долго выполняет запросы

Пора валить из этой темы.

https://rudalle.ru/check_image/92284dc7e3884a0b950396bbe4e070b8/%D0%A1%D0%BC%D0%BE%D1%82%D1%80%D1%8E%20%D1%8F%20%D0%BD%D0%B0%20%D0%BD%D0%BE%D0%B2%D1%83%D1%8E%20%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C%20ruDALL-E%20%D0%BE%D1%82%20%D0%A1%D0%B1%D0%B5%D1%80%D0%B0.%20%D0%9E%D0%BD%D0%B0%20%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%80%D1%83%D0%B5%D1%82%20%D0%BB%D0%B8%D0%B1%D0%BE%20%D0%BA%D0%B0%D0%BA%D0%B8%D0%B5-%D1%82%D0%BE%20%D1%81%D0%BC%D0%B0%D0%B7%D0%B0%D0%BD%D0%BD%D0%BE-%D0%BF%D0%BB%D0%B0%D1%81%D1%82%D0%B8%D0%BB%D0%B8%D0%BD%D0%BE%D0%B2%D1%8B%D0%B5%20%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,%20%D0%BB%D0%B8%D0%B1%D0%BE%20%D0%B8%D1%81%D0%BA%D0%B0%D0%B6%D0%B0%D0%B5%D1%82%20%D1%82%D0%B5%D0%BA%D1%81%D1%82%20%D0%B4%D0%BE%20%D0%BD%D0%B5%D0%B2%D0%BE%D0%B7%D0%BC%D0%BE%D0%B6%D0%BD%D0%BE%D1%81%D1%82%D0%B8.%20%D0%A1%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE,%20%D0%B0%20%D0%BF%D0%BE%D1%87%D0%B5%D0%BC%D1%83%20%D1%82%D0%B0%D0%BA%20%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8%20%D0%B4%D0%B5%D0%BB%D0%B0%D1%8E%D1%82%3F%20%D0%92%D0%BE%20%D0%B2%D1%82%D0%BE%D1%80%D0%BE%D0%BC%20%D0%B4%D0%B0%D0%B6%D0%B5%20%D0%BD%D0%B5%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE%20%D1%83%D0%B3%D0%B0%D0%B4%D1%8B%D0%B2%D0%B0%D0%B5%D1%82%D1%81%D1%8F%20%D0%BE%D1%80%D0%B8%D0%B3%D0%B8%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5%20%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5,%20%D0%BD%D0%B0%20%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D0%BE%D0%BC%20%D0%BE%D0%B1%D1%83%D1%87%D0%B0%D0%BB%D0%B8%20%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C.%20%D0%9B%D0%B0%D0%B4%D0%BD%D0%BE,%20%D1%87%D0%B5%D0%BB%D0%BE%D0%B2%D0%B5%D1%87%D0%B5%D1%81/

что-то оно долго выполняет запросы

Да, уже 73 минуты. Народ генерирует всякую херь.