LINUX.ORG.RU
ФорумTalks

Машина не может мыслить. И программировать тоже.

 , ,


3

3

Я подумал, вопрос того, может ли машина «кодить» лишен всяческого смысла в принципе. Потому как во-первых, собственно написание кода занимает лишь маленькую толику программирования, а во-вторых, для этого уже изобретены специальные языки.

Люди изобрели языки программирования чтобы передавать своим мысли компьютеру. Специально. Чтобы не передавать их на естественных языках, которые имеют кучу неточностей, двусмысленностей, которые сложно разбирать и так далее. Программист пишет на специальных, точных и выверенных компьютерных языках, которые однозначно трактуют конкретные обрисованные ситуации в каждый момент времени.

В этом смысле вайб-кодинг вообще бредовейшая идея. Все идеи такого рода, аля «дать менеджерам язык, похожий на естественный» - либо проваливались(как это было с COBOL или SQL - в итоге на них пишут программисты, да и они сами отошли от этой концепции), либо же превращались в определенного рода формализацию, скажем набор keywords, и подобного, в конечном итоге превращаясь в подобие компьютерного языка(как это с моделями для рисования, вроде Midjourney - язык, которым таким моделям пишут что им делать - довольно специфический и далек от разговорного или профессионального человеческого).

Так вот, проблема «кодинга», а конкретнее бойлерплейта, может решаться языками, в которых присутствует метапрограммирование. Я, несмотря на почти 15-летний опыт, никогда не любил писать код. Поэтому я люблю Лисп. Макросы и другие инструменты метапрограммирования дают в руки куда более конкретные и мощные инструменты, чем LLM.

Еще, программирование это на самом деле, как я уже сказал, не про кодинг. Программирование это прикладная область информатики, то есть науки об абстрактных процессах. Таким образом, программирование это про то, чтобы в голове оперировать абстрактными процессами - создавать их, изменять, и комбинировать. Машины на такое не способны, и LLM в частности, никогда не будет способна на это, потому как работает по другому принципу, по принципу текстовой подстановки, без внутреннего «мышления о процессах», как такового.

Многие вещи, которые я продумывал на протяжении своей карьеры, или при участии в Open Source, вообще сложно было формализировать, и еще на порядок сложнее было их описать на естественном языке. Мы также можем столкнуться с этим не только в программировании, но и например, в какой-нибудь теоретической физике или теории категорий - очень сложно описать на естественном языке, что там происходит. На формальном, то есть математическом - еще туда-сюда. То же самое с программированием. Я замечал, что мыслю иногда образами, а иногда настолько абстрактными вещами, когда дело доходит до программирования, что это сложно переложить на какой-либо вообще язык, тем более на естественный.

Поэтому, крики о том что машина заменит программистов, довольно абсурдны. Да, в принципе, в теории, мы можем привить машине какие-то инстинкты, так чтобы она отталкивалась от них, как от программы. Но как привить ей абстрактное мышление - мы не знаем, и вряд ли узнаем в ближайшее время, потому что мы сами не понимаем, что это такое. Мы не понимаем откуда берутся мысли такого рода и как они строятся. Мы можем понять только самые примитивные мысли - скажем, которые исходят из рефлексов и простейших инстинктов(еда, жажда, боль, и прочее такое), но как мозг оперирует абстракциями мы не понимаем вообще. Куда уж там до того чтобы научить этому машину. Мы детей то не можем, по сути, этому научить. Абстрактное мышление либо есть, либо нет.

Вот еще, к вопросу о природе сознания, но в том же контексте.

Любая такая деятельность, как программирование, упирается в вопрос о природе креативности. То есть, возможности создавать что-то новое. Не имитировать, не повторять в лоб, не пересказывать своими словами, а именно способность создавать что-то новое. LLM принципиально не способны на это. И если честно, по моим наблюдениям, на это не способны в том числе и огромное количество людей, в том числе в сфере программирования. Любая креативность подразумевает вспышку, создание какой-то концепции из ничего, и плетения паутины концепций вокруг нее; и в этой паутине также могут происходить свои вспышки. То есть, это вопрос о творчестве, будь это программирование, поэзия, рисование, или наука.

Творческие порывы всегда приходят как будто бы из ниоткуда. Это абсолютно не значит, что порыв приносит какую-то революционную идею, которая перевернет рынок, нет, но ни одна система в своей разработке не обходится без десятков таких порывов. В том же программировании, кстати говоря, нет ни одной похожей программной системы, если мы не говорим об искусственных примерах, использующихся, к примеру, для обучения, или о сознательном копировании какой-то вещи. Каждая программная система уникальна. А что это значит? Это значит, что в том или ином роде, каждая программная система это произведение искусства, то есть, продукт творчества.

К сожалению, множество менеджеров в разработке ПО не понимают этого, но вопрос не в этом. Вопрос в том, что мы совершенно и абсолютно не понимаем, как из ничего может появиться что-то, будь это большой взрыв, новая архитектурная модель, или же рифмованная строчка в какой-то песне. В области религии, конечно, объяснения есть, на любой вкус и цвет. Но они не формализируемы. Зато что мы знаем точно - что машина творить не способна. Она не способна из ничего придумать что-то.

Да, машина может научиться играть в шахматы. Но она не способна придумать шахматы. Или хотя бы Пакмана.

«There is no dark side in the moon, really. Matter of fact, it’s all dark. The only thing that makes it look light is the sun». Машина - это как Луна, в этом плане.

Интересно, что этот вопрос исследуется в религиях с древнейших времен.

Вопрос Creatio Ex Nihilo. Можно сказать, что он в религиях даже центральный. И человек - создан по образу и подобию, как говорится; в отличие от машины.

★★★
Ответ на: комментарий от lovesan

Только что было утверждение - ничего нового нет.

Как было сказано

«Все новое … пара-тройка скрещенных старых идей … совсем чуть-чуть измененное … Наследственность … Изменчивость случайная … Отбор»

Утверждение было написано в нескольких предложениях, которые немного больше раскрывают смысл этой фразы.

Цепляться за одну конкретную очень узкую интерпретацию слов - не очень продуктивно. Если взять две отдаленные точки во времени, то «новое» как раз появляется, как результат деятельности описанной выше процедуры. Но в каждый конкретный момент ничего особо нового и не придумывается.

Точно тоже самое и в эволюции: В процессе размножения организмов не появляется новых видов, но в процессе размножения растянутом во времени - появляются.

Точно так же и с искусством, программированием, мыслями и т.п.

Откуда взялась первая идея?

Случайное событие внешнее или внутреннее.

Примерно так это и происходит:

Случайные события

  • В поле случился пожар, подкоптились тушканчики, человек пошел посмотреть - оказалось вкусно.
  • Человек видел что в пожаре в лесу горит дерево, а не камень.
  • Человек заметил, что если упасть и проскользить на пятой точке - то может быть горячо.
  • Человек заметил, что если трогать огонь в пожаре - то горячо.

Скрещивание идей

  • Человек предположил, что потерев одну ветку о другую они нагреются и они нагрелись.

Случайный подбор

  • Человек заметил, что сухое дерево нагревается от трения лучше, чем мокрое.
  • Человек попробовал 900 разных случайных конфигураций и обнаружил, что эффективнее всего давить палкой о досточку всем весом сухим хвойным деревом

Далее осталось только терпением и методом дальнейших случайных изменений добыть дым трением.

И так далее.


И все эти концепции ЛЛМы в том или ином виде тоже могут воспроизвести. Вопрос только в том, что у ЛЛМ нет отрегулированной системы отбора идей и результатов на уровне железа, как у нас выстроенной миллионами лет эволюции - говоря другими словами - нет цели.

summon
()
Ответ на: комментарий от lovesan

Спрошу тогда «проще» - что есть первопричина?

Квантовые флуктуации. Если я правильно понимаю, то они являются в том числе причиной возникновения самой Вселенной и Большого Взрыва.

X512 ★★★★★
()
Ответ на: комментарий от lovesan

Из ниоткуда. Это фундаментальное явление природы. Это тоже самое как спросить «откуда взялся Бог?».

X512 ★★★★★
()
Ответ на: комментарий от X512

Откуда взялся Бог вопроса быть не может, потому как в теистическом и деистическом понимании - Бог это первопричина обладающая волей и разумом.

Квантовые флуктуации это не Бог. Это всего лишь один из аспектов природы этой, наблюдаемой, вселенной. Квантовые флуктуации в этой вселенной возможны постольку, поскольку так устроены законы физики этой вселенной.

Над системой, в которой возможны квантовые флуктуации, всегда есть метасистема, в которой возможно создание подобной системы. Дальше если мы уходим все выше на уровни метасистем - концепции мультивселенной, или рекурсивно замкнутой на себя вселенной, или симуляций, и так далее - все-равно, у каждой подобной системы есть метасистема. Пока мы не доберемся до Бога.

Точно так же и с сознанием. Сознание удивительная вещь - оно может строить метасистемы над системами, выходить за их рамки, и снова строить метасистемы. Чего не может, скажем, Машина Тьюринга, или любая другая формальная система (Теорема Геделя, Проблема Остановки - это все об одном и том же).

Сознание нельзя свести к физиологическому редукционизму хотя бы потому есть т.н. Трудная Проблема Сознания, и сопутствующие мысленные эксперименты(Философский Зомби, к примеру). Но если не физиология, тогда что является метасистемой для сознания? И тут мы снова можем строить цепочку метасистем, в которой опять упираемся в Бога.

lovesan ★★★
() автор топика
Ответ на: комментарий от summon

Тут фундаментальное непонимание природы LLM.

У них нет метасознания. То есть, у них нет процесса осознания процесса работы сознания. LLM, когда «думает», оно просто предугадывает цепочки слов. Оно не думает над тем как оно это делает.

lovesan ★★★
() автор топика
Ответ на: комментарий от X512

Современная наука пока не в состоянии объяснить, почему нечто, обладавшее сразу всеми квантовыми состояниями, имевшее максимально возможную массу и минимально возможные размеры, не было стабильным, почему оно потеряло стабильность и что привело к Взрыву.

yars068 ★★★★★
()
Ответ на: комментарий от lovesan

Это не мешает им быть полезными.

Это такой же инструмент, как и любой другой.

Роботу-пылесосу метасознание для уборки пола не требуется.

wandrien ★★★
()
Ответ на: комментарий от wandrien

Не очень полезный. Любой инструмент, особенно в IT, должен быть точным. LLM постоянно не то что даже выдумывает - оно не способно осознать проблему. А чтобы написать тот же код, надо в первую очередь осознавать проблему которую пытаешься решить, а не просто написать текст. А LLM это просто генераторы текста. При этом, люди с ним говорят как с живым человеком. От этого рождается вайб-кодинг и прочий бред.

В X недавно был тред, который начался с поста, цитирую «LLM - в медицинском смысле идиот. Любой человек, обладающий компетенцией в какой-либо области, пообщавшись с самими продвинутыми LLM о своей области, быстро убеждается, что LLM ничего о ней не знает, и не умеет решать задачи этой области. Но многие люди хвалят LLM. Это наводит меня на мысль, что многие люди не обладают компетенцией ни в одной области.»

Кроме того, даже в качестве поисковика - они опасны в первую очередь тем, что подцензурны еще больше гугла, и при этом пытаются тебе втюхать повесточку. Grok отчасти исключение, но не большое.

LLM хорош для развлечения, не более.

lovesan ★★★
() автор топика
Ответ на: комментарий от lovesan

Тут фундаментальное непонимание природы LLM.

Ну это еще открытый вопрос

У них нет метасознания.

А у кого оно есть? что это такое? как его измерить? И почему оно важно в контексте невозможности машины создать что-то новое, творить, мыслить и программировать?

осознания процесса работы сознания

А вот считаем ли мы человека животным или нет? Если не считаем и думаем, что у человека есть какой-то особенный «дар» - то вопрос закрыт и дальше разговор, наверное, бесмысленнен.

А если считаем себя животными, то на вопрос: есть ли у, скажем, у кошки метасознание и может ли кошка придумать что-то новое - Я думаю мы все согласимся, что у кошки нет метасознания - что бы это небыло, но кошка может сама придумать что-то новое - решить какую-то задачу которую она до этого не видела.

когда «думает», оно просто предугадывает цепочки слов

LLM предугадывает вероятности слов, да. GenAI в целом предугадывает вероятности следующего значение в цепочке данных.

Мозг человека делает тоже самое: мозг - это универсальный предугадыватель окружающего мира. На вход у него множество последовательных кадров, звуков, запахов и тп - а на выходе, по сути, предсказание будущего.

Человек может и мыслить

  1. предложениями - то есть генерировать слова на основе предыдущих слов и контекста.
  2. Воображением: генерирует в мозгу видео - воображает - на основании контекста.

Еще у человека «магическим образом» рождается «идея» из «подсознания» - это другая часть мозга сгенерировала следующее «слово» - некий концепт. Как показывает практика и как многие советуют - сначала вгружаешь мозг набором информации по теме, а потом в какой-то момент тебя «осеняет» - то есть мозг зафайнтюнился под задачу и сгенерировал стоящую идею, которую система отбора не отбраковала.

Есть даже исследования, что человек решает что-то делать - то есть «мысль уже сформировалась и дошла до исполнения» до того, как «осознает» эту мысль.

Как я уже выше сказал - единственное что кажется отделяет GenAI от способности решать реальные задачи - это «Отбор».

У ген AI нет встроенного поощерятора решений - ему по сути все равно сколько раз его заставят переделать работу или заставят извиняться - нет встренной системы ориентиров.

А у животных такая система есть и она зашита на уровне железа в базовые инстинкты.

summon
()
Последнее исправление: summon (всего исправлений: 2)
Ответ на: комментарий от X512

Это у физиков фантазия разыгралась. Есть еще теория (заговора?), что мир это симуляция. Сидят фантазируют, физика же в застое, а изображать работу надо.

cdtemp
()
Последнее исправление: cdtemp (всего исправлений: 3)
Ответ на: комментарий от lovesan

хочется сказать отдельное спасибо топикстартеру, очень интересный срез (в социологическом смысле) лора получился, с привязкой актуальному дискурсу

z0idator
()
Ответ на: комментарий от lovesan

есть т.н. Трудная Проблема Сознания,

Диамат уже ответил: переход количественных изменений в качественные. Сталин добавил, что революционный скачок не обязан быть одномоментным, т.е. просто нет точки на эволюционном дереве или в онтологии индивида, ниже (раньше) которой нет сознания, а выше (позже) уже есть.

mister_VA ★★
()
Ответ на: комментарий от lovesan

Да тут половина форума такие, всех в БЯМ теперь записывать?

ya-betmen ★★★★★
()
Ответ на: комментарий от mister_VA

Диамат уже ответил: переход количественных изменений в качественные.

Щаб тыщу шимпанзе за компьютеры посадить, и они как напишут Linux

lovesan ★★★
() автор топика
Ответ на: комментарий от lovesan

Щаб тыщу шимпанзе за компьютеры посадить, и они как напишут Linux

Для возникновения сознания/разума был отборочный фильтр. И не было цели. Посади за пишущую машинку 1000 обезьян и среди буков будут появляться осмысленные слова и даже предложения. А если то будет манишка с чисто латинским алфавитом, то даже и часто, поскольку на латинице пишут носителя самых разных языков.

P.S. Линукс пишут десятки тысяч бесхвостых узконосых обезьян за компом уже 30 лет, так что ваш прогноз может оправдаться :-).

mister_VA ★★
()
Ответ на: комментарий от mister_VA

сознание и разум это два различных понятия, особенно в текущем контексте

z0idator
()

Программист пишет на специальных, точных и выверенных компьютерных языках, которые однозначно трактуют конкретные обрисованные ситуации в каждый момент времени.

Привет! Как там дела в 80-х? Брежнев умер уже?

У нас тут изобрели высокоуровневые языки программирования, и не этот ваш паскаль, а языки, где можно делать 72,5 + «пирожок». На этом конкретность и однозначность и закончились.

muon ★★★★★
()
Ответ на: комментарий от muon

можно делать 72,5 + «пирожок»

Можно != нужно.

Nervous ★★★★★
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.