Что умеет человеческий мозг, чего не умеют современные нейронки?

А такой размер понадобится, если сделать машину, которая просто выбирает из базы.

Ой все, я как-то деду своему, который в свое время неплохо разбирался в электронике, сказал что в компьютере миллионы транзисторов и он покрутил пальцем у виска со словами - не влезут!

Так и тут.

Что такое комбинаторный взрыв в курсе? Ну, задачка про шахматную доску и зерна. На первую клетку одно зерно, на вторую два, на третью четыре и так далее.

Рандом просто генерит случайные комбинации

Все новое - это случайные комбинации, по определению. Если комбинация не случайна, значит она была детерминирована в генерирующем алгоритме заранее. А значит она не новая.

Я думаю что если проанализировать посты типичного лоровца за 20 лет, то никакой комбинаторный взрыв им не грозит.

Ну и простые факты.

1 Сильный ИИ пока не создан даже близко

2 Программы, проходящие тест Тьюринга при этом созданы

3 Они не занимают всю Вселенную, из окна я их не вижу

Программы, проходящие тест Тьюринга при этом созданы

Эти «программы» не выбирают текст ответа из предварительно созданной базы данных. «Программы» в кавычках, потому что структуры, возникающие после обучения сети трансформеров и выполняющие действия необходимые для ответов на вопросы, никто не писал.

Теплое-холодное, грусть-печаль, радость.

Эти «программы» не выбирают текст ответа из предварительно созданной базы данных

Не буквально конечно, но практически это то же самое. По сравнению с тем что делает мозг, эти сети не более чем сжатая база готовых ответов.

возникающие после обучения сети трансформеров

А без обучения что они могут делать?

Вы зачем школу прогуливали? Задача про зерно - геометрмческая прогрессия. А ваш «взрыв» - экспонента. Две большие разницы.

По сравнению с тем что делает мозг, эти сети не более чем сжатая база готовых ответов.

Никто точно не знает что делает мозг и никто точно не знает, что происходит в GPT-4 при ответе на вопрос. Нейроны, отвечающие за фактологические знания (что-то вроде «бабушкиного нейрона») там обнаружили, но кроме этого есть ещё куча всего, начиная от ориентации в пространстве и заканчивая сочинением музыки (пока довольно хреновой).

Пока можно только сказать, что способности GPT-4 по сравнению с мозгом ограничены из-за отсутствия рабочей памяти и некоторых других особенностей работы.

Вспомните, таки, школу. n-й член геометрической прогрессии рассчитывается по формуле aq^(n-1). А экспонента - это…, правильно, e^x. Впрочем, комбинаторный взрыв не обязан быть экспонентой. Это может быть факториал или другая быстро растущая функция. Но то, что в видимую вселенную не поместится ни 100!, ни 2^100, ни e^100 бит информации - это факт. Не хватит атомов, чтобы записать.

Что умеет человеческий мозг, чего не умеют современные нейронки?

С какими конкретно современными нейронками мы сравниваем? Предположу, что конкретно с GPT. Или с воображаемой комбинацией всех имеющихся сразу?

Если с GPT и подобными, то:

• держать контекст «в голове» дольше, чем несколько десятков сообщений подряд
• обучаться непосредственно в процессе общения с человеком
• обучаться, находя информацию самостоятельно, в том числе получая её из окружающего мира
• управлять движениями тела и в целом организмом человека
• получать информацию из окружающего мира, обрабатывая сигналы одновременно от нескольких органов чувств, в том числе объединяя данные от разны органов чувств об одном и том же предмете, явлении или событии
• восстанавливаться самостоятельно при повреждении (утере большого числа «узлов») — другие области и другие нейроны берут на себя функции утраченных
• заниматься проверкой фактов перед их выдачей

Никто точно не знает что делает мозг и никто точно не знает, что происходит в GPT-4 при ответе на вопрос

Подобные высказывания - это просто спекуляция неточно определенными понятиями. Бессмысленная игра слов чтобы задурить голову не задающего вопросы дурачка.

Что делает мозг никто не знает - это да. А что делает GPT-4 все знают, меня в прошлом треде отправили книжку про него читать, сразу же после того как я заявил что разработчики не раскрыли как он работает.

То есть как это, в книжке написано но никто не знает? Что за чушь вы мне втираете тут уже который тред? Да и вы (сторонники ИИ) просто путаетесь в показаниях постоянно.

Пока можно только сказать, что способности GPT-4 по сравнению с мозгом ограничены из-за отсутствия рабочей памяти и некоторых других особенностей работы.

Почему это? Если никто не знает как работает мозг, и никто не знает как работает гопатыч, то как можно делать выводы о том что кому из них не хватает? А вдруг другого не хватает? Никто же не знает ничего.

Человечек может отделять свои фантазии от того что он действительно знает. Нейронка не может этого.

Человечек может отделять свои фантазии от того что он действительно знает.

К сожалению, большинство человеков этого не может. Возможно даже подавляющее. Возможно даже никто не может, если подумать. Просто у кого-то фантазии, воспринимаемые за действительные знания, возникают реже, у кого-то чаще.

Нейронка не может этого.

Даже гопатыч нынешний вроде может, его можно попросить не сочинять. И какие для него проблемы, отделить взятое напрямую из интернета от результатов генерированных его алгоритмами?

То есть как это, в книжке написано но никто не знает? Что за чушь вы мне втираете тут уже который тред?

И буду повторять, пока не поймёте. Есть структура сети: что подаётся на вход, какие там блоки внутри, и т.п. Есть процедура обучения: подаём на вход текст, сравниваем то, что выдала сеть с тем, что должно быть (следующим словом в тексте), производим обратное распространение ошибки которое меняет веса сети каким-то образом, зависящим от существующих весов сети.

И в результате обучения получается какой-то набор из весов, который каким-то неизвестным образом может делать всё то о чём я писал.

Универсальную теорему аппроксимации знаете? Нейронная сеть может аппроксимировать любую функцию. В процессе обучения сеть научается аппроксимировать функцию, выдающую осмысленный текст. Что это за функция, какие подробности её работы - никто наперёд не знает.

Если никто не знает как работает мозг, и никто не знает как работает гопатыч

Ну вот представьте, что можно знать только часть ответа. Трудно, да. Но постарайтесь.

Как именно сеть выдаёт следующее слово мы не знаем (мы знаем, что там перемножается куча матриц, выполняются другие операции, но как именно из всего этого получается ответ на вопрос, мы не знаем). Но мы знаем, что сеть делает это за ограниченное число операций, в то время как человек может остановиться и подумать. Мы знаем, что выход сети зависит только от содержимого её входного буфера, другой памяти у неё нет. Собственно вот.

Да просто на бытовом уровне, вот я знаю что я дома сижу сейчас. А на форуме могу писать что я на Канарах. Я могу это отделять одно от другого в своей голове.

К сожалению, большинство человеков этого не может. Возможно даже подавляющее. Возможно даже никто не может, если подумать.

Как Вы думаете, какое из написанных вами предложений фантазия?

Даже гопатыч нынешний вроде может, его можно попросить не сочинять.

Тогда он ничем не отличается от простого поиска Гугла или Яндекса.

И какие для него проблемы, отделить взятое напрямую из интернета от результатов генерированных его алгоритмами?

Доступные примеры диалогов показывают что это проблема.

Ну вот я и говорю - ехала подмена понятий через подмену понятий. Поразительное жонглирование словами.

мы знаем, что там перемножается куча матриц, выполняются другие операции

Ну то есть как работает гопатыч - прекрасно известно, как я и говорю.

А теперь то же самое, пожалуйста, про мозг - что там и как перемножается? Кто-нибудь знает?

Я же не спрашивал «как именно в результате этого получается конкретное слово». Я спрашивал - как оно работает. Что конкретно делает. Разработчики гопатыча прекрасно это знают. Это просто программа, она выполняет последовательность операций на процессоре.

А по аналогии теперь - мозг - он что выполняет? Какие операции? Кто-то знает? Нет.

А тогда, каким именно образом вы делаете заявления что гопатычу не хватает того-то и того-то? А может, не хватает еще многого другого, а это как раз и не так важно? Как вы можете судить об этом, не зная даже в общих чертах как работает мозг?

Из перечисленных, думаю, никакое. Но заблуждения (зачастую при полной уверенности в «знании») есть у всех. У всех разные и в разном количестве, но я очень сомневаюсь, что кто-то избавлен от них полностью. Насчёт чего конкретно они есть у меня, я не знаю. Ведь если бы я знал, я бы избавился от этих заблуждений. Критическое мышление — это на самом деле довольно сложный и затратный навык, если применять его вообще постоянно. В этом плане как раз программа в теории меньше ограничена, чем человек, потому что у неё нет «лени».

P.S. Ну и да, конечно, многие могут ответить «да не, вот у меня всегда когнитивное мышление включено, и когнитивных искажений нет, это у других есть, они дураки». И это тоже в свою очередь своего рода когнитивное искажение.

Вот когда оно научится хотя бы детские сказки с одного на другой язык без гуртовщиков мыши переводить, тогда и будем говорить о каком-нибудь именно что ИИ (и с человеком сравнивать). Прикольный, на самом деле тест, распинается оно такое по философии, а ты ему раз и кусочек «Алисы в стране чудес» скармливаешь и ржешь потом над результатами.

А теперь то же самое, пожалуйста, про мозг - что там и как перемножается? Кто-нибудь знает?

Процессы в нейронах, синапсах, аксонах, дендритах и их окружении изучены неплохо. Общее представление о том, что происходит в мозгу есть. Но подробности неизвестны, как неизвестно, что делают конкретные веса в матрицах GPT-4 (если это не изучить).

Как вы можете судить об этом, не зная даже в общих чертах как работает мозг?

В общих чертах это известно. Особенно на масштабах времени в несколько секунд. Как происходит распространение возбуждения в аксонах и дендритах, как разные нейроны интегрируют сигналы с дентритов и т.п. Есть даже симулятор червя: OpenWorm, правда прогресс там так себе. Никому этого особо не нужно, и финансирование слабое.

Так что та же история: кое-что мы знаем и какие-то выводы делать можно. Но с наскоку утверждать, что «мозг - это совсем другое», доступная информация не позволяет.

самостоятельное целеполагание и вообще полная автономность функционирования

Ну вот этого вот и не умеют. Не умеют в самоконтроль своего бреда и т.д... Не могут распознать где бредят, не могут нарисовать круг, не могут в брейнфак...


Просто нужно правильно выстроить архитектуру, понять какие блоки нужны и как они друг с другом рекуррентно должны взаимодействовать, ну и возможность взаимодействия с физическим миром.

Подбор конструкции методом перебора займёт очень много времени.

Теоретически можно, на практике нет.

Я так вижу)

Из перечисленных, думаю, никакое.

Лукавите 😏

Критическое мышление — это на самом деле довольно сложный и затратный навык, если применять его вообще постоянно.

Тем не менее, нейронки не способны его демонстрировать, тогда как человек специально заняться именно критическим мышлением. Если Вы займётесь им и проанализируйте свой текст в предыдущем сообщении, сразу поймёте о чём я.

Задачка о зёрнах, мы ведь про неё говорим?

Подбор конструкции методом перебора займёт очень много времени.

Как показывает практика (the bitter lesson), не придётся особо ничего подбирать. Накидают модулей с более-менее подходящими обратными связями, добавят эпизодическую память, как-нибудь пофиксят катастрофическое забывание при непрерывном обучении, докинут ещё терафлопов, и оно худо-бедно, но заработает и начнёт вести себя.

Тем не менее, нейронки не способны его демонстрировать, тогда как человек специально заняться именно критическим мышлением.

Да, конечно. Я с этим не спорю. Я лишь указал, что и человек, к сожалению, далеко не всегда отличает объективные знания от собственных фантазий.

На самом деле крайне не удачно «нейро алгоритм» отоджествлять с человеческим нейроном. Хотя есть гипотезы которые упрощая работу нейрона почти как в нейро алгоритмах работают. Но это не так, это упрощения для «учеников», а не научные данные. По факту с живыми нейронами больше вопросов, даже если только человека брать, а есть ещё насекомые, например. То есть ответ: современная нейронка не может ничего, что делает мозг человека, сам принцип работы иной, не говоря уже о количестве.

Критическое мышление — это на самом деле довольно сложный и затратный навык, если применять его вообще постоянно

Тут не соглашусь. Любой навык можно сделать привычкой, вот прям вообще любой.

Регулярно убеждаюсь, что в мозге те же нейронки, хоть и сложнее. Тот же принцип работы, те же виды ошибок, и так далее.

Абстрактные качественные градации по типу хорошо-плохо, ибо без кожаного мешка им недоступны стандарты или ожидания, чтобы определить соответствие

Внутри мозга вроде тоже нет никаких градаций, все они приходят с воспитанием (обучением).

Если к нейронке каким-то образом добавить квантовый компьютер, то можно ещё приблизиться к человеческому мозгу, с моей точки зрения.

Я не сторонник теории квантового сознания и всего прочего) Думаю, вся разница в архитектуре и степени сложности. Была на хабре статья, где автор показывал, что даже единичный нейрон мозга может работать как целая компьютерная нейросеть, т.е. мозг это нейросеть нейросетей.

Я рассматриваю квантовый вычислитель как то, что автоматически привносит элемент случайности.

А зачем этот элемент случайности?

Внутри мозга вроде тоже нет никаких градаций

Сейчас придёт папин азиат и расскажет, а потом придёт форум с восбмёрками и добавит.

Если серьёзно, то такими как мы есть сейчас получились в процессе эволюции. Все наши абстракции в мозге - это получается просто побочный эффект.

Тогда вопрос к неонкам, возможен ли в принципе запуск процесса эволюции?

Т.е. основной впорос можно разделить на два:

• возможно ли создание неонки уровня мозга создателя, ответ тут скорее всего нет, ибо второй закон термодинамики
• возможно ли самостоятельное развитие неонок, здесь ответ зависит от степени этой самой «самостоятельности», но думаю, что без участия человека и это невозможно, потому что ни механизма случайных мутаций, ни механизма адаптации, ни достаточной популяции без человека нет и вряд ли будет

каким-то образом добавить квантовый компьютер

Так неонки и КК это можно сказать одно и тоже, это модели, что первые, что вторые. И нет у них возможностей вне моделей.

возможен ли в принципе запуск процесса эволюции?

В ИИ есть такое направление - эволюционные алгоритмы. Да и состязательные нейросети это вроде примерно то же самое.

Вот мозг точно квантовым отжигом не занимается.

состязательные нейросети

Обучение без учителя (самообучение, спонтанное обучение, англ. Unsupervised learning) — один из способов машинного обучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу без вмешательства со стороны экспериментатора. С точки зрения кибернетики, это является одним из видов кибернетического эксперимента. Как правило, это пригодно только для задач, в которых известны описания множества объектов (обучающей выборки), и требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами. 

Нюанс вот в этом «как правило», кмк.

Наркоманить.

возможно ли создание неонки уровня мозга создателя, ответ тут скорее всего нет, ибо второй закон термодинамики

Второй закон термодинамики говорит, что если поместить изобретателя в термос без обмена энергией с внешней средой, то изобретателю когда-нибудь поплохеет. А вот то, что изобретатель сможет сделать с доступной свободной энергией ограничивается только принципом Ландауэра.

Впрочем, изобретателей в термосы никто не сажает, так что второй закон тут побоку.

Да, теорема Гёделя о неполноте тоже не подходит. Нельзя доказать непротиворечивость формальной системы в рамках самой системы, но отрефлексировать систему в рамках самой системы можно. Доказательство на этом и основано, кстати.

А разве он не про энтропию? Если где-то энтропия растёт, значит в другом месте она уменьшается.

Конечно, здесь надо принять посыл, что мозг энтропию увеличивает. Если оно так, то неонки так и не дотянутся до уровня мозга.

Конечно, здесь надо принять посыл, что мозг энтропию увеличивает.

Любая система, выполняющая работу, увеличивает энтропию. В общем, с точки зрения термодинамики нет никакой разницы между изобретателем, который увеличивает энтропию вселенной напряженно думая и выдумывает искусственный мозг, и женой изобретателя, которая 9 месяцев усиленно увеличивает энтропию хорошо кушая и потом рожает ребёнка.

На википедии много статей о структурах мозга, для большинства из них на английской версии есть описание того чем они занимаются.

Кратко: Мозг умеет в сотню раз больше.

Например?

Возьмем очень простую вещь, но довольно важную, человек знает разницу между больше и меньше, может мыслить разницу между двумя объектами по какому либо свойству, нейросеть не оперирует внутренне такими вещами так же, хотя из за большого набора данных может казаться что она что то понимает.

Другая вещь, это внимание, это не отдельная часть, а много механизмов на разных уровнях.

И так можно еще сотню вещей назвать.