Ричард Докинз пообщался c Клодом, назвал его Клавой и сказал что она разумна

Прикол-то именно в том, что все попытки дать определение разуму скатываются именно в то, чтобы выделить человека как единственного его обладателя, но при этом не произнося этого напрямую.

/пожав плечами/

Ну так наследство христианства же. Хоть тушкой, хоть чучелком, под ярлычком «разума» или «самосознания» - но стараются протащить концепцию «души», которая богоданна человеку, а более никому.

Потому что переходить на линейную шкалу измерения - страшно, тогда человек окажется не венцом творения а лишь ступенькой к большему.

зы что до современенных ллм - то это, имхо, скорее аналог единичных нейронов, причем за тему установления связей и коммуникаций со взаимным влиянием между оными ‘нейронами’ еще толком и не брались.

никакая нейросеть не может за отсутствием у неё яиц.

Как раз нейросеть и может - у нее нет всяких там моральных ограничений, только соображения максимальной эффективности. Она и человеков может уничтожать если посчитает это эффективным способом решения поставленной задачи.

алгоритм, способный решать любые интеллектуальные задачи, которые решает человек (а может даже больше)

А если не любые, но значительное их количество? Вон «оно» уже лучше человека например в шахматы играет. Люди ведь тоже далеко не универсальны - умею только то на что обучались.

Вроде недавно куда-то нарулили автопилоты Tesla…

Писали, что они наруливают не туда реже чем человеки-водители. В смысле у них аварий меньше относительно пройденных километров. Но к наруливающим не туда человекам все давно привыкли.

о необходимости восприятия окружения при помощи органов чувств.

И тут машина легко может превзойти человека так как человек не способен отрастить себе такие органы чувств как радиолокатор или тепловизор. Для человеческих органов чувств темнота или туман фатальны, машине же на них наплевать.

проблема ИИ - невозможность работы на большом контексте.

Это принципиальное ограничение нынешней реализации ИИ или только вопрос количества установленной памяти и процессоров?

у нее нет всяких там моральных ограничений

А у Марвина Химмаера - были. Он никого не убил и не ранил.

человек не способен отрастить себе такие органы чувств как радиолокатор или тепловизор

для этого есть переходники/конвертеры

Пишут что лучше. Потому что не устает и может пахать круглосуточно. И не пьет, выходя на работу с бодуна.

Выйти и починить трактор он врядли сможет, конечно.

Чинить трактор надо в специальном соответственно оборудованном месте, а не посреди поля в грязи под дождем, без соответствующих инструментов. Иначе трактор долго не проездит, что и наблюдалось у советских колхозников.

Пока что принципиальное ограничение. Чем больше контекст, тем «жиже» его обработка. Модели сложнее прицелиться в конкретные факты и соображения.

Кроме того, там ещё и квадратичная сложность самовнимания маячит.

Написал статью про архитектуру GPT

Эх, теоретики. Когда в прошлом году картоху сажали, там некогда гонять в соответствующее место. надо пахать тут и сейчас. Вот молодой не справился, когда трактор заглох. Позвали более опытного товарища и тот что то там посмотрел, подсосал и заработало.

Работать надо сейчас, не когда кто то там все сделает правильно.

Ни одна задача не решается ИИ на том уровне, на котором она может быть решена человеком.

Как минимум ИИ уже лучше человека решает относительно простые задачи, но требующие переваривания гигантских объемов информации. Выше там примеры из химии были - каждое отдельно взятое вещество человек изучить может, но тратит на это слишком много времени, учитывая что потенциально полезных веществ миллионы. ИИ позволил отобрать из них те которые человеку имеет смысл поизучать в первую очередь.

Как и любая машина, ИИ в первую очередь избавляет человека от рутинных повторяющихся операций. И если первые машины условно говоря избавили человека от однообразного махания лопатой, то сейчас машины избавляют людей от того что требует несколько больше ума но столь же однообразно. И это позволяет людям сосредоточиться на задачах, в которых человек пока что сильнее машины.

Разница в том что человек свои ошибки может увидеть и исправить.

Баги в софте и железе существуют незамеченными и неисправленными десятки лет.

Всё, ИИ победил. Жалкие людишки посрамлены!

Жалких людишек ИИ уже победил. Остались отдельные выдающиеся люди, действительно способные с ним конкурировать. Пока. Вон выдающиеся шахматисты уже сдались. Кто следующий?

А как же программирование и написание компиляторов?

Первый компилятор «оно» уже написало. Да, пока несовершенный, ну так первый же.

ИИ может заткнуться на какой-то ошибке и не знать что делать, а человек выход найдёт.

Человек тоже может также заткнуться и не знать что делать. Достаточно будет вспомнить себя в начале изучения программирования.

У ИИшек есть «контекстное окно» - этакий буфер с информацией. Вот представь. У нас есть матрица:

        Кот  спит
Кот      X     X
спит     X     X

Всего два токена. 4 × 4 байта = 16 байт

Четыре токена: 4 × 4 = 16 элементов, 64байта.

Шесть токенок: 6 × 6 = 36 элементов. 36 × 4 байта = 144 байта.

А еще слои. В итоге все это дожлно работать на ГПУ. Миллион токенов это два террабайта инфы. То есть да - ограничение в железе в первую очередь. Квадратичная сложность O(n^2). Каждый новый токен увеличивает сложность вычислений лавинообратно и нелинейно.

То есть мы не можем наращивать контекстное окно просто добавив памяти. Ну нету такого железа и не предвидится, кстати. Поэтому разрабы идут на хитрости. Где то год назад (?), когда вышел дипсик, в старых моделях контекст просто отрезался. Вот добавлялась новая инфа, а старая просто исчезала. В итоге модель просто не знала о чем вы общались 10 минут назад. Средний контекст был в 4-8 тысяч токенов. Тогда можно было без потери контекста работать со скриптами 100-300 строк кода.

Сейчас более хитрые подходы. Сжатие информации, вырезание середки и прочее прочее. Когда ИИшка может изучать инфу частями. Но всеравно все упирается в память. Рано или поздно в беседе с ней ты накопишь столько инфы, что большую часть оно видеть не будет.

И тогда она начинает фантазировать. То чего она не видит, она просто выдумает. И начинается трэшатина.

И вот тут главный вопрос: как это стабилизировать? Вот представь, ты помнишь все из своего детства? Или всетаки большую часть ты уже забыл, а вспоминаешь обрывками? Но ведь в целом ты работаешь на гигантских объемах информации. Вот так и с ИИшками надо научиться работать с большим объемом памяти, не теряя критично контекст. Не отрезая окончательно «лишнее», чтобы можно было возращаться к нему. Тут или наращивать мощность железа, что сомнительно или же какие то хитрые алгоритмы, что еще более сомнительно.

Сейчас они уже могут работать не с сотнями строк кода, а уже на нескольких тысячах. Но это тоже капля по сути. Для полноценного «интеллекта» надо работать с объемами в сто тысяч раз больше. Причем сейчас чтобы нормально восстановить работу, надо полностью обнулить контекстное окно и залить инфу для работы заново. А это бред.

Вот ты можешь представить, чтобы внезапно объемы VRAM выросли в сто тысяч раз?

Ты еще спроси его почему ИИшка не может эти баги увидеть. Удивительное рядом.

Память не квадратично растёт от контекста. Ты не прав.

KV кэш растёт линейно.

А квадратично растёт О-большое по вычислениям на блоках самовнимания.

Но проблема роста KV-кэша тоже есть, да. Хоть и линейная.

Поэтому блоки самовнимания в современных реализациях частично заменяют на Mamba-2 с фиксированной длиной состояния.

Но такая замена делает удержание внимания в длинных контекстах еще более спорным.

И самое важное. Качество инференса падает намного раньше, чем достигается предельная длина контекста для заданной архитектуры.

В теории у тебя может быть миллион токенов контекста, а на практике уже на сотне тысяч качество проработки деталей улетит ниже допустимого уровня.

В общем, советую посмотреть мою статью, я там описывал эти детали.

Вам приходилось когда-нибудь видеть картинку на экране классического аналогового радара? Я когда-то видел(РЛС «Наяда»), и опытный оператор мне пальцем показывал как выглядит например моторная лодка или стая птиц. Без его подсказок я бы ни то ни другое не обнаружил. Но и он говорит что к концу смены глаз изрядно замыливается и эффективность обнаружения сильно падает. Понятно, что у ИИ глаз замыливаться не будет.

Работать надо сейчас, не когда кто то там все сделает правильно.

Это не значит что не надо стремиться постепенно всё сделать правильно. Современные тракторы уже куда более правильные чем примитивные железные монстры полувековой давности. И ремонтируют их не кувалдой и ржавыми гаечными ключами как тогда.

без потери контекста работать со скриптами 100-300 строк кода.

Типичный объем отдельно взятой функции в сишной программе кстати.

вспоминаешь обрывками? Но ведь в целом ты работаешь на гигантских объемах информации. Вот так и с ИИшками надо научиться работать

Вполне вероятно что это реализуемо.

Вот ты можешь представить, чтобы внезапно объемы VRAM выросли в сто тысяч раз?

Один из первых видеоадаптеров MDA имел память в четыре килобайта. Сейчас четыре гигабайта это даже и не много считается.

Понятно что еще в сто тысяч раз больше в настольный комп не запихать. Но можно вспомнить времена когда комп занимал целое здание и поступить так же. Если раньше можно было строить компы размером с дом то можно и сейчас.

ЦОДы уже и так есть, чем это не «комп размером со здание»?

В принципе ни в чём само по себе, но это ведёт к тому, что придут SJW и начнут рассуждать о нарушении прав железки, эксплуатации и прочей ахинеи.

Обязательно придут и одержат победу, просто по праву сильного. Я полагаю, что после изобретения сильного ИИ за ним будут признаны «права человека» и юридическая субъектность. И биологические люди не смогут ничего сделать потому что невозможно контролировать и ограничивать то, что лучше и сильнее тебя во всех отношениях. Роботы с сильным ИИ – это следующий неизбежный этап эволюции после биологического человека.

Память не квадратично растёт от контекста. Ты не прав.
KV кэш растёт линейно.

А разве длина контекста, и соответственно размеры матриц(и соответсвенно занимаемая ими память), не задаются на этапе «дизайна» модели?

Как я уже писал, шахматы – довольно примитивная в плане математического описания задача от навыка решения которой мало толку (и это было изначально понятно вопреки тому, что говорит CrX). В реальной жизни нет полного знания об окружении, правил по которому это окружение развивается, величины не дискретные, существенное влияние случайности.

https://ns.fiber-gate.ru/uploads/images/img_1778061244562_25b82287.png

Я сейчас пишу бота для шахмат, шашек и вот таких вот кубиков с различными правилами. Знаешь, не такая тривиальная задача, как казалась с самого начала. Я думал - сделаю что то простенькое на пару десятков строк, ага…

Уже полторы тысячи строк бот и основные ограничения, к которым я пришел - железячные. Даже просчет на 2-3 хода вперед занимает в рамках игры на луа5.1 до минуты реального времени.

В итоге нужен компромис между умностью бота и нагрузкой на железо. Если бы бы можно было внедрить ИИшку самую простую на эту задачу, я был бы тааааак счастлив.

Архитектурно длина контекста не вшита жестко в размеры матриц параметров. Ограничение вида «128K токенов» в карточке модели вытекает из тренировочных данных и позиционного кодирования, а не из размеров матриц параметров.

В большинстве моделей сейчас используется RoPE для кодирования позиций токенов. Значения K и Q поворачиваются в многомерном пространстве непосредственно в блоке самовнимания для того, чтобы модель понимала расстояния между токенами. Так как угол поворота оказывает прямое влияние на значение скалярного произведения, модель буквально чувствует расстояние между токенами как меру «ослабления сигнала» между ними.

Модель была тренирована видеть и генерировать тексты длин некоторого размера, не бесконечных. На этих длинах она показывает себя хорошо. Ограничения:

• На больших длинах её гаджеты, формирующиеся в ходе обучения, могут работать некорректно, потому что она таких длинных тестов не видела (или видела редко), не тренировалась на них.
• На длинных текстах связь между отдельными частями текста может стать слишком слабой (упомянутое ослабление на скалярном умножении), чтобы модель могла надежно связать друг с другом факты.
• При превышении некоторой длины контекста происходит выход за пределы тренировочных позиционных вращений. Это жесткий лимит.
  • Его можно побороть, отмасштабировав все вращения, чтобы они вращались медленнее. Но тогда модель, опять таки, выходит в режим, в котором она не обучалась работать.

А если дать ИИ протокол для сохранения/загрузки из внешней памяти? Грубо говоря LLM записывает в файл что не помещается в контекст и отдельно решает задачу поиска релевантной информации в этом сохранённом файле.

Ты изобрёл RAG. :)

Мне на этом фоне интересна работа человековской памяти. Особенно когда забываешь банальные слова. Ну это слово, овощ который. Зеленый такой. С семечками. хрустит. Ах да - огурец.

Ведь в какой то момент ты это слово как бы не помнил. Но чуть чуть подумал - что то там произошло и ты его вспомнил.

А что там с Асей Казанцевой?

Ну это слово, овощ который. Зеленый такой. С семечками. хрустит.

Это поиск в ассоциативной памяти.

Но чуть чуть подумал - что то там произошло и ты его вспомнил.

Найден семантическоий кластер «огурец».

Что-то делать, что-то говорить и даже что-то думать - это еще не признак разумности.

Критерий разумности - саморефлексия.
«Что я делаю?», «что я говорю?», «что я думаю?».

«Умное лицо - это еще не признак ума, господа. Все глупости на земле делаются именно с этим выражением лица. Улыбайтесь, господа. Улыбайтесь!» (с)

Я к тому, что у человека несколько уровней памяти. Причем в дальние уровни уходят вполне повседневные слова иногда и их приходится вспоминать некоторым усилием иногда - доставать оттуда.

Причем, чем чаще ты со словом работаешь, тем проще его вспомнить и проще с ним работать.

Недавно в игрушке онлайновой с одной девочкой блондинкой общались и я на автомате заюзал слово «Корреляция». Так ее чуть не порвало от такого сложного слова. А у меня как то на автомате использование. Тут от круга общения зависит, от использующихся терминов в этом круге.

https://i.kym-cdn.com/entries/icons/facebook/000/056/466/iaalivecover.jpg

– Say ‘I am Alive’.
– I AM ALIVE.
– Oh my god.

Нет там разума. За счёт брутофорса появилась возможность находить связи между смыслами. Даже находить сложные взаимосвязи. Но не без ошибок. Поэтому технология получилась 50 на 50. Вроде и круто находит взаимосвязи, но и затупливает частенько при их нахождении.

Что касается погроммирования. То ничего удивительного. Библиотеки, фреймворки, операционные системы и т.д. находятся в зачаточном состоянии. По сути мы работаем с легаси 90-х. У нас по прежнему си, кресты, джавы, питоны - древние, убогие системы 90-х. Из-за, которых приходится писать множество дублирующего кода. Поэтому вот эти Клоды и блистают в этом болоте легаси. Могут находит взаимосвязи в повторениях и быстрее человека их повторять.

Поэтомы разрабы до сих пор работащие в Vi и подобных кусках пищат от счастья. Я же смотрю на это всё брезгливо.

Когда получится создать новые ЯП, новые IDE, фреймворки и ОС соответсвующие 21 веку, все эти Клоды будут не нужны. Любой погроммист с такими инструментами сможет решать задачи быстрее, чем с Клодом.

Но сейча да, можно сидеть в Vi и писать от счаться, когда Клод дублирует смыслы, избавляя от рутины легаси древних ИТ технологий начала 20-го века.

Когда получится создать новые ЯП, новые IDE, фреймворки и ОС соответсвующие 21 веку

…на дворе будет уже 23.

Я же смотрю на это всё брезгливо.

Оно на тебя тоже, в общем, без восторга.

Так я не удивлён, что подобные вам собрались до 23 века на сях, жавах и крестах работать. Вас таких 95%, некоторые утверждают 99.9% В противном случае, мы к звёздам сейчас летали, а не на ЛОР-е сидели.

Получили очередные костыли к своим палкам-копалкам и бегаете писаетесь от восторга.

Так мы тебя не держим, лети к своим звездам. Чо не летишь?

Нет там разума. За счёт брутофорса появилась возможность находить связи между смыслами. Даже находить сложные взаимосвязи. Но не без ошибок. Поэтому технология получилась 50 на 50. Вроде и круто находит взаимосвязи, но и затупливает частенько при их нахождении.

не описывает ли это среднего человека?

Что касается погроммирования. То ничего удивительного. Библиотеки, фреймворки, операционные системы и т.д. находятся в зачаточном состоянии. По сути мы работаем с легаси 90-х. У нас по прежнему си, кресты, джавы, питоны - древние, убогие системы 90-х. Из-за, которых приходится писать множество дублирующего кода. Поэтому вот эти Клоды и блистают в этом болоте легаси. Могут находит взаимосвязи в повторениях и быстрее человека их повторять.

не описывает ли это среднего программиста?

не описывает ли это среднего человека?

Вполне. Поэтому эта технология имеет потенциал заменить большинство людей (точнее 95 или как некоторые утверждают 99.9%). Но универсальные модели не годятся. Необходимы специализированные модели. Думаю это будет следующим шагам в ИИ стартапах.

не описывает ли это среднего программиста?

Тут сложнее. При росте кодовой базы необходимо уметь абстрагироваться и выстраивать иерархии. На текущий момент ИИ в это не умеет. Но как я и говорил выше, вполне могут начать появляться специализированные ИИ в будущем, которые в это смогут. Тогда да, средний погромист, который может держать в голове цепочки абстракций и иерархий уйдёт на покой.

Тут сложнее. При росте кодовой базы необходимо уметь абстрагироваться и выстраивать иерархии. На текущий момент ИИ в это не умеет. Но как я и говорил выше, вполне могут начать появляться специализированные ИИ в будущем, которые в это смогут. Тогда да, средний погромист, который может держать в голове цепочки абстракций и иерархий уйдёт на покой.

говорят оракл уволил 30к сотрудников (программистов). объяснил тем что заменил их ИИ. любопытно конечно, 1) правда ли заменил или банально уволил 2) если таки заменил, то интересно знать какой будет результат. но вообще у оракла дела с деньгами не очень. вероятно банально уволиил, но чтобы не расстраивать инвесторов, сказали что заменили на ИИ.

Уоррен Баффет, в каком-то интервью утверждал, что он употребляет по 2л кока-колы в день. При этом держал крупный пакет акций данной компании.

Я давно новостям не доверяю. В них ложь, шизофрению и замануха. Журналистика умерла. Поэтому, когда пишут 30к уволили из-за ИИ - я просто пролистываю дальше, потому что это замануха, ложь и шизофрения.

гм. тут сложнее - увольнение то факт скорее всего. остаётся догадаться о причинах.

Так реальную причину тебе и не назовут. Поэтому здесь правда только про 30к уволеных (если это факт конечно). Остальное ложь.

Так реальную причину тебе и не назовут. Поэтому здесь правда только про 30к уволеных (если это факт конечно). Остальное ложь.

не факт что ложь, или можно было бы делать от обратного. в том и сложность. остальное , скажем так, под вопросом.

Ричард Докинз - британский ученый… теперь ясно

Подумалось, что он теперь буквально этолог – логирует это.