Написал тут статью по анализу проблем современных LLM

Многобукафф. Добавил пока в закладки, на днях почитаю. На очень диагональный взгляд выглядит вменяемо. За что зацепиться, чтобы возразить, не нашлось, а это уже хорошо (часто бывает, что и читать не надо, сразу видно всё). Дальше надо уже нормально читать.

А как ты тут-то на русском пишешь, а?

не уверен в необходимости переводить это на российский язык.

Ничто не выдавало в нём гарного хлопца...

Исправил тебе одно слово в сообщении. Для справки: никакого российского языка нет, есть русский, а также другие языки народов России. В другое время это было бы незначительной ошибкой, которую никто бы не заметил, но сегодня это может выглядеть как политическое высказывание и триггерить соответствующие нарушения правил.

Спасибо, что заметил. Но не возбуждайся так и посмотри, какой город у него указан в профиле.

Ух ты как много букв. Да ещё и не на русском.

Главная проблема что они платные, вон google ai studio и запросы в веб-морде стали ограничивать ( осваиваю теперь жидкий grok, нравится меньше

Вся полностью на ангильском, не уверен в необходимости переводить это на русский язык

Оно и так наполовину на русском выглядит, хоть слова и английские.

Из хороших новостей — работа кожанных мешков всё ещё нужна, ИИ-сингулярность отменяется.

Сколько у нас еще времени?

Пять лет до безработицы, десять лет до отсутствия необходимости женщин и мужчин

Из хороших новостей — работа кожанных мешков всё ещё нужна, ИИ-сингулярность отменяется.

Сколько у нас еще времени?

Вопрос неожиданно интересный, но не в том плане, что он технический, а в том, что он таки по большей части политический.

Кожанные мешки уже сейчас не сильно нужны, большинство онных в развитых странах занимаются абсолютно бессмысленным провождением времени, по сути живут на дотации, даже если это формально называется «работа» или «мелкий бизнес».

При этом есть замечательные страны азии, где живут миллиарды кожанных мешков, которые просто некуда девать. Даже в самых промышленно развитых регионах.

Казалось бы, при чём тут ИИ? Людей нужно было сильно меньше, чем есть, уже 5 лет назад, и сейчас нужно меньше, и картина особо не меняется.

There are so much noise about AI going on…

И я решил присоединиться :-)

Transformer is fundamentally unreliable, small fluctiations of input can lead to unpredictable results;

А грамматику с орфографией он проверять может?

Вся полностью на ангильском, не уверен в необходимости читать.

Число, делённое на 10, равно 6. Юнги получил результат, вычитая 15 из определённого числа. Каков результат он получил?

Человек и его собака находятся по разные берега реки под сильным дождём. Единственный путь через него — мост. Человек зовёт собаку, которая переходит, не промокнув и не пользуясь мостом, а человек промокает. Что более вероятно: река замёрзла или собака лысая?

С таких тестов и надо было начинать статью, чтобы увлечь. А потом кратко объяснить причину ошибок в тестах.

Самый большой грех современной индустрии ИИ в том, что она притворяется, будто Трансформер — это не просто переводчик, что он может выполнить целую практическую задачу за вас, или, что точнее, выполнить задачу без вашего участия! Трансформеры хорошо умеют притворяться людьми, но на самом деле не являясь людьми, притворяясь, что понимают объект, не понимая его на самом деле.

Проблема в том, что большинство людей и есть такие трансформеры. И в будущем, находясь под влиянием трансформеров, они совсем будут неотличимы от LLM-ок.

при таком объеме её осилят три калеки, которые и так владеют языком.

Но ты же сам говоришь, что языком уже не надо владеть, раз LLM-ки являются хорошими переводчиками.

Либо нужно уточнять «российский государственный». Такой язык есть.

Прально. Не стоит требовать хорошего знания русского языка от иностранца.

не уверен в необходимости переводить это на русский язык.

Хозяин-барин, конечно, но я бы на месте автора перевёл. Я, например, по-английски читаю, но в разы медленнее, чем на родном. И на родном могу сначала бегло просмотреть текст и что-то из него извлечь, если зацепит – вернуться. С английским такой вариант исключён, там придётся либо погрузиться полностью, либо пройти мимо. И подозреваю, что таких, как я, достаточно много.

Стоит ли популяризировать своё разложение по полочкам среди такой аудитории – решать тебе.

Попроси уже llm ужать текст до 3х страниц и перевести на русский, чо ты как неграмотный?

И на родном могу сначала бегло просмотреть текст и что-то из него извлечь, если зацепит – вернуться. С английским такой вариант исключён, там придётся либо погрузиться полностью, либо пройти мимо.

Странно. У меня скорее наоборот с подобными текситами. На английском как-то проще ориентироваться и просматривать по диагонали. В том числе поэтому я считаю man-страницы на английском намного удобнее, чем на русском. (При этом русский язык я правда люблю, особенно художественную литературу на нём. А поэзия на английском вообще в подмётки не годится не только русской, но и многим другим.)

Людей нужно было сильно меньше, чем есть, уже 5 лет назад, и сейчас нужно меньше, и картина особо не меняется.

Тут вопрос – кому нужно и как определяется нужность. Если исходить из того, что люди нужны людям же, то идеальный случай это полное отсутствие людей.

А все эти «сильно меньше», как я подозреваю, высчитываются исходя из невидимой руки порешавшего рынка, которая совсем не законы Ньютона в части бесспорности и однозначности. То есть да, вопрос во многом политический, жизнь может быть организована очень по-разному.

На английском как-то проще ориентироваться и просматривать по диагонали. В том числе поэтому я считаю man-страницы на английском намного удобнее, чем на русском. (

Есть такое. Видимо привычка, потому что с зари интернета в россии почти все технические статьи или на английском или в плохом переводе были.

… или карго культ

С таких тестов и надо было начинать статью, чтобы увлечь. А потом кратко объяснить причину ошибок в тестах.

Разумное предложение. Скажем так: исходный вариант был ещё хуже, но статью на 9000 слов весьма трудоёмко перекроить. В какой-то момент у меня был пункт TODO, который матерными словами призывал к формулировке краткого вступления для мотивирования читателя.

Проблема в том, что большинство людей и есть такие трансформеры. И в будущем, находясь под влиянием трансформеров, они совсем будут неотличимы от LLM-ок.

Справедливо. Более того, уже сейчас по способности воспроизводить бессмысленные ритуалы большие языковые модели обошли человека. Проблема бездумного повторения была и без БЯМ, но БЯМ ускоряют процесс. Ну то есть если раньше система образования хотя бы как-то пыталась выдавить из человека текст какой-то дипломной работы, то теперь эти тексты уже мало кто пишет, да и мало кто читает.

Я где-то видел исследование, по которому где-то с 2010 года наблюдается непрерывная интеллектуальная деградация молодежи по мере адаптации к гуглу и инстаграму — никаких ИИ тогда ещё не было.

Вполне возможно, что тренд этот даже глобально координируется — если кто-то посчитал, что не нужно мировой экономике столько белых воротничков. Ну то есть 1 из 1000 будет офисным сотрудниками, а все остальные — грузчики, строители, курьеры, и инстаграм-блогеры.

Но ты же сам говоришь, что языком уже не надо владеть, раз LLM-ки являются хорошими переводчиками.

Если делать норм перевод, то нужно перевести картинки и адаптировать примеры — БЯМ такого сделать не сможет. А машинный перевод типа каждый на свой риск делает. Ну и у забугорных БЯМ уровень владения русским языком так-себе. Может Yandex GPT лучше умеет — я не пробовал.

потому что с зари интернета в россии почти все технические статьи или на английском или в плохом переводе были

Думаю, не только в этом дело. Хотя отчасти в этом тоже может быть. Просто большинство технических терминов появилось в английском языке, а в русском имеют больше одного перевода, что добавляет когнитивной нагрузки. Ну и грамматика английского проще для такого рода текстов, предсказуемее. Это менее важно, чем лексика, скорее всего, потому что как раз это должно бы нивелироваться родным языком против неродного. Но думаю, что тоже имееь некоторое значение.

Тут вопрос – кому нужно и как определяется нужность. Если исходить из того, что люди нужны людям же, то идеальный случай это полное отсутствие людей.

Нужны тем, кто типа управляет государствами. Да, если машины будет выполнять работу лучше людей, то люди станут просто бессмысленной статьёй расходов.

Даже при всеобщей безработице всегда можно перейти к натуральному хозяйству, если возраст позволяет. Земли вдали от городов как правило стоят символические суммы или бесплатны.

Проблема в том, что большинство людей и есть такие трансформеры.

Да, тоже замечал, к сожалению. И вообще по их поведению видно что они именно что «угадывают как бы в этой ситуации повёл себя человек», а не проявляют свою собственную волю.

Людей нужно было сильно меньше, чем есть, уже 5 лет назад

Нужно для чего? Разве то, зачем они нужны, что бы это ни было, не скейлится с количеством людей?

Трансформеры хорошо умеют притворяться людьми, но на самом деле не являясь людьми, притворяясь, что понимают объект, не понимая его на самом деле.

Мне одному это кое-какое религиозное описание очень напоминает?

Ну, у него на хобре написано, что он с Окраины.

Да, тоже замечал, к сожалению. И вообще по их поведению видно что они именно что «угадывают как бы в этой ситуации повёл себя человек», а не проявляют свою собственную волю.

Я мельком написал в конце статьи, но у меня была рабочая теория о том, что цели обучения БЯМ (то есть target loss function) были выстроены так, чтобы с минимальными затратами скопировать поведение тех, кто с минимальными затратами копирует поведение. То есть, подобное тянется к подобному. Целей достичь понимание механизмов не было в принципе, ни понимания нейросеткой мира, ни возможности интерпретировать эту самую нейросеть.

Разве то, зачем они нужны, что бы это ни было, не скейлится с количеством людей

Люди нужны были для производства и инфраструктуры. Вот раньше были телефонистки, потом были огромные этажи с релейными комутаторами — а сейчас это просто одна крошечная АТС. Так-то может быть оно скейлится, но 200 млрд телефонных абонентов у тебя нет.

большинство онных в развитых странах занимаются абсолютно бессмысленным провождением времени, по сути живут на дотации, даже если это формально называется «работа» или «мелкий бизнес».

В неразвитых абсолютно то же самое, если не хуже. Достаточно приехать, и посмотреть там на любые работы со стороны.

Но ты же сам говоришь, что языком уже не надо владеть, раз LLM-ки являются хорошими переводчиками.

Почитай Хабр (бяка, но ради эксперимента можно). Там 99% статей - непричёсанный ИИ-перевод. Общий смысл понять можно, но есть целые абзацы, не поддающиеся расшифровке, противоречащие друг-другу. Потому что механическая замена слов всё же неспособна понять контекст.

Там 99% статей - непричёсанный ИИ-перевод. Общий смысл понять можно, но есть целые абзацы, не поддающиеся расшифорвке, противоречащие друг-другу. Потому что механическая замена слов всё же неспособна понять контекст.

Я тогда подумал, что не стоит касаться этого вопроса, но таки, видимо, стоит.

Вот есть замечательный пример с распознаванием английских рукописных текстов, те же датасеты MNIST и прочее. Казалось бы, оно уже доведено до совершенства, совершенно нечитаемый текст нейросетка может распознать и превратить в дискретные бинарные символы. Но я недавно столкнулся лицом к лицу с обратной стороной «прогресса»: половину грузинских шрифтов этот замечательный ИИ принципиально не может распознать. Потому что нейросеть на самом деле выучила миллионы начертаний шрифта, но она не выучила общие принципы распознания шрифта, и теперь для каждого нового языка ей нужны миллионы примеров, чтобы этот язык освоить.

Например, переводы en-de или en-fr у нейросетей сильные — потому что есть огромные датасеты с примерами перевода, на которых БЯМ надрессированы. Но даже просто владение русским языком, не перевод, у большинства англоязычных БЯМ не на топовом уровне. Вот у яндекса их GPT именно целенаправленно на русский натаскана, ещё вроде китайские нейросети сильно тренируют на русский — всё, все остальные БЯМ русский знают по остаточному принципу, для них это один из 50 известных языков.

Потому перевод/не перевод, а качество вывода будет страдать на малознакомом языке.

Если говорить про сам механизм перевода из текста в скрытое представление и обратно в текст, то это не механическая замена всё же, но есть в этом процессе большая доля запоминания соотношений слов и их возможных значений. То есть, многоуровневое, многоэтапное запоминание. Уже в скрытом пространстве формируется долгий контекст, и на его баще нейросеть тоже может распознать некий паттерн, чтобы адаптировать позднейший вывод — но все подобные тригеры механически заучиваются, пусть и на уровне скрытого представления, то есть, высокоуровневого сжатого представления фраз.

В любом случае, я бы не успокоился, пока не разложил современный нейросетевой положняк по полочкам.

Как ты считаешь, нейросеть, например, для распознавания голоса может быть однопроходовой? То есть сначала мы обучили нейросеть, а затем она за один проход выдаёт нам смысловое текстовое содержание голосовой речи. Или для работы голосораспознавательной нейросети потребуется подавать результат распознавания с выхода нейросети на её вход несколько раз? Заранее можно сказать сколько проходов расчёта будет выполнено?

По Хабру видно, что нейросеть не понимает, о чём контекст статьи, и в переводе на одну техническую тему, подставляет перевод слова из другой области.

Допустим, статья о каком-нибудь процессе в металлургии, а ИИ при переводе абзаца заменяет перевод какого-нибудь термина, имеющий специфическое значение именно в металлургии, на синоним, который в контексте металлургии звучит абсурдно.

Я конкретные примеры не собираю, но на том же Хабре таких косяков перевода - в каждой второй статье.

Спасибо, почитал.

Не нашёл упоминаний такого механизма, когда вместе с результатом базовая нейронка выдаёт некоторый коэффициент уверенности в своём результате, с которым потом «думающая надстройка» что-то сможет сделать. В БЯМ принципиально нет такого механизма?

По опыту обучения примитивнейших малослойных нейронок для распознования текста с фото - обучение вместе с основной нейронкой дополнительного отростка, который оценивал вероятность ошибки [без планов на её исправление] - давала адекватный механизм для перевода ошибочных результатов в «не знаю ответ, так как принципиально не похоже на то на чём учили» при условии наличия в обучающей выборке какого-то процента примеров с сильными отклонениями от нормы, которые нейронка и не смогла выучить.

Если коэффициентов слишком много и на обучающей выборке нейронка не ошибается - оценку вероятности ошибки получить не выйдет. Также, оценка верооятности ошибки полностью не работает, если на вход подать что-то на что не было ничего похожего даже в обучаяющих примерах с отклонениями от нормы, но это всё же гораздо более редкая ситуация.

Потому что нейросеть на самом деле выучила миллионы начертаний шрифта, но она не выучила общие принципы распознания шрифта, и теперь для каждого нового языка ей нужны миллионы примеров, чтобы этот язык освоить.

Это известная проблема.

Как ты считаешь, нейросеть, например, для распознавания голоса может быть однопроходовой?

Распознавание голоса не является одноэтапным процессом в любом случае. Ну то есть, например, чтобы сделать Mel спектрограмму тебе нужен ненулевой буфер входного сигнала. А напрямую звук в классификатор даже 40 лет назад никто не подавал.

Или для работы голосораспознавательной нейросети потребуется подавать результат распознавания с выхода нейросети на её вход несколько раз?

Нужно конкретизировать, что ты понимаешь «подавать результат распознавания на вход». Вот человеки в умах повторяют звуки, которые они пытаются распознать. Нейросетки очень часто смотрят на некий протяженный участок спектрограммы, прошлые и будущие значения, но они не подают результат распознавания на вход. Хотя бы потому, что «вход» у нас звуковой, а выход текстовой.

Если ты имеешь в виду Whisper, то там выходной декодер вообще не занимается распознаванием звуков — он пересказывает звук текстом. В том числе он может пересказать французский звук английским текстом — собственно, это и был смысл архитектуры Whisper.

Трансформерному декодеру нужно подавать выходной текст на вход просто для того, чтобы понять «на чём мы остановились» и начать следующее слово распознавать. То есть он в принципе не может по другому прогрессировать. Mamba и более простые RNN/LSTM «текстовики» не нуждаются в «напоминании» о предыдущем выводе, потому что они и так помнят этот самый предыдущий вывод.

Допустим, статья о каком-нибудь процессе в металлургии, а ИИ при переводе абзаца заменяет перевод какого-нибудь термина, имеющий специфическое значение именно в металлургии, на синоним, который в контексте металлургии звучит абсурдно.

Есть очень много разных инструментов для перевода нынче, разной степени говнистости. Если попросить у сверхбольшой современной БЯМ перевести текст, потом вычитать его и исправить замечания, то она может очень даже неплохо всё уловить (по крайней мере в пределах её знания русского языка). Но такой перевод большой статьи может обойтись в несколько долларов.

Скорее всего упомянутые тобой тексты какой-то самой дешманской переводилкой сделаны, может быть даже тупо гугл транслейтом каким-то.

«Не можешь петь — не пой.» ©

потом вычитать его и исправить замечания, то она может очень даже неплохо всё уловить (по крайней мере в пределах её знания русского языка). Но такой перевод большой статьи может обойтись в несколько долларов.

Возможно. Но на Хабре сотрудники (авторы) не вычитывали свои переводы никогда.

Более того, очевидно, что если целыми днями сидеть на конвеере «Статья на HN -> ИИ -> хабр», получая деньги за Ctrl-C/Ctrl-V, то способность к пониманию текста полностью атрофируется.

Через несколько лет будет невозможно вычитать текст и увидеть в нём ошибки, даже при большом желании.

Не нашёл упоминаний такого механизма, когда вместе с результатом базовая нейронка выдаёт некоторый коэффициент уверенности в своём результате, с которым потом «думающая надстройка» что-то сможет сделать. В БЯМ принципиально нет такого механизма?

Есть базовый механизм вывода БЯМ, скрытое представление, из которого потом тем или иным образом выбираются наиболее вероятные токены/слова. У гугла есть какая-то разработка, которая работает напрямую со скрытым представлением при думании, но это всё прототипы прототипов пока что.

Надо заметить, что вероятности токенов не имеют никакого отношения к точности/корректности ответа. Она будет тебе на серьёзных щах нести полнейшую пургу, выдавать те же вероятности токенов и выбирать наиболее вероятный токен. В этом как бы и проблема — у неё на выходе и близко к выходу всегда имеется чудовищная каша, из которой она каждый раз чудом достаёт что-то похожее на правильный ответ.

Но индустрия подаёт этот результат как «легчайше, даже не вспотели... а мы можем решать и намного более сложные задачи».

В принципе, можно спросить у нейросетки её мнение по поводу точности ответа, но, как и для всех остальных функций, на более сложных задачах любая БЯМ ломается и начинает выдавать бред.

У современных БЯМ в принципе не существует никаких механизмов и никакого обучения на оценку точности ответа. «Я не знаю» плохо продаётся на рынке.

Более того, очевидно, что если целыми днями сидеть на конвеере «Статья на HN -> ИИ -> хабр», получая деньги за Ctrl-C/Ctrl-V, то способность к пониманию текста полностью атрофируется.

Грамотный машинный перевод агентом с итерациями исправлений тоже нужно уметь делать.

Давай возьмем пример.
Оригинал:
https://www.power-eng.com/gas/siemens-building-electroysis/

Siemens Gas and Power has been contracted to build a 2.2-MW electrolysis plant that will be powered by wind turbines and ultimately produce hydrogen.
Salzgitter Flachstahl GmbH (SZFG) plans to use the proton exchanged membrane (PEM) electrolysis plant as a key step toward hydrogen-based steelmaking in its German facility. The plant is expected to be in operation by the fourth quarter of 2020.
The necessary electrical power will be generated by seven wind turbines with a capacity of 30 MW. These will be erected by Avacon AG on the Salzgitter Group site and will likewise enter service from 2020.

Перевод хабра https://habr.com/ru/articles/476596/

С Siemens Gas and Power был заключен контракт на строительство электролизной установки мощностью 2,2 МВт, которая будет работать на ветряных турбинах и в конечном итоге будет производить водород.
Salzgitter Flachstahl GmbH (SZFG) планирует использовать электролизную установку с протонообменной мембраной (PEM) в качестве ключевого шага к производству стали на водородной основе на своем немецком предприятии. Ожидается, что завод будет введен в эксплуатацию в четвертом квартале 2020 года.
Необходимая электрическая мощность будет генерироваться семью ветряными турбинами мощностью 30 МВт. Они будут установлены Avacon AG на площадке Salzgitter Group и также будут введены в эксплуатацию с 2020 года.

Перевод Gemini 3 с chain of thoughts и промтом на сохранение стиля:

Подразделение Siemens Gas and Power получило контракт на строительство электролизной установки мощностью 2,2 МВт, которая будет работать на энергии ветра для производства водорода. Компания Salzgitter Flachstahl GmbH (SZFG) планирует использовать установку на базе технологии протонно-обменных мембран (PEM) в качестве ключевого этапа перехода к производству стали с использованием водорода на своем предприятии в Германии.
Ожидается, что установка будет введена в эксплуатацию в четвертом квартале 2020 года. Необходимая электроэнергия будет вырабатываться семью ветряными турбинами суммарной мощностью 30 МВт. Они будут возведены компанией Avacon AG на территории группы Salzgitter и также начнут работу в 2020 году

Есть разница? Или вот очень долгое размышление от Qwen3-Max:

Компания Siemens Gas and Power получила контракт на строительство 2,2-мегаваттной электролизной установки, которая будет работать за счёт энергии ветровых турбин и в конечном итоге производить водород.
Salzgitter Flachstahl GmbH (SZFG) планирует использовать электролизную установку с протонообменной мембраной (ПЭМ) в качестве ключевого этапа перехода к производству стали на основе водорода на своём предприятии в Германии. Ввод установки в эксплуатацию запланирован на четвёртый квартал 2020 года.
Необходимая электроэнергия будет вырабатываться семью ветровыми турбинами общей мощностью 30 МВт. Турбины будут установлены компанией Avacon AG на территории группы Salzgitter и также будут введены в эксплуатацию в 2020 году.

По крайней мере нет вопиющих затупов плана «электролизной установки... , которая будет работать на ветряных турбинах» и «семью ветряными турбинами мощностью 30 МВт» (7 турбин по 30 МВт или суммарно 30 МВт?).

На самом деле думающая Алиса сделала околоидеальный перевод на русский на первом шагу (быстрая версия сделала перевод заметно хуже):

Компания «Siemens Gas and Power» получила контракт на строительство электролизного завода мощностью 2,2 МВт. Завод будет работать на энергии ветряных турбин и в конечном итоге производить водород.
Компания «Salzgitter Flachstahl GmbH» (SZFG) планирует использовать электролизный завод с протонообменной мембраной (PEM) как ключевой этап на пути к производству стали с применением водорода на своём предприятии в Германии. Ожидается, что завод начнёт работу в четвёртом квартале 2020 года.
Необходимая электрическая энергия будет вырабатываться семью ветряными турбинами общей мощностью 30 МВт. Их установит компания «Avacon AG» на территории предприятия группы «Salzgitter», и они также начнут функционировать с 2020 года.

Я ничего не вычитывал, я просто скопировал вывод нейросетей, я никак их не исправлял и никак не модифицировал свои запросы.

Я надеюсь статья писалась с помощью LLM?

Если попросить у сверхбольшой современной БЯМ перевести текст, потом вычитать его и исправить замечания, то она может очень даже неплохо всё уловить (по крайней мере в пределах её знания русского языка).

Короче ЛЛМкам нужен человек-переводчик который всё сам переведёт и исправит за ними 😭

Помнится из-за того что всякие DeepL тренировали на субтитрах, они галлюцинировали копирайты к субтитрам посреди текста

Сколько у нас еще времени?

Курцвейл на 2042 год ставил. Потом сингулярность. В принципе, вполне.

Люди нужны были для производства и инфраструктуры. Вот раньше были телефонистки, потом были огромные этажи с релейными комутаторами — а сейчас это просто одна крошечная АТС. Так-то может быть оно скейлится, но 200 млрд телефонных абонентов у тебя нет.

А, я понял о чем ты, чтобы кормить лысых обезьян уже нужно меньше человеко-часов чем раньше, и какая-то часть этой оравы может просто бездельничать. Если. Если илиты примут такой путь и иишечка останется им подконтрольна)

А, я понял о чем ты, чтобы кормить лысых обезьян уже нужно меньше человеко-часов чем раньше, и какая-то часть этой оравы может просто бездельничать

Человечество проходит через такие этапы постоянно с ростом уровня автоматизации и вроде ничего не произошло, освободившиеся руки обычно занимают себя чем-то другим. Раньше большая часть населения земли работала в полях, теперь люди строят карьеру в том что едят еду на камеру. Ну и плюс предпосылок к тому что LLM-ки начали решать реальные задачи я пока не видел.