Что такое искусственный интеллект, как он работает?

Сотни индусов работали за нейросеть Natasha, в которую вложилась Microsoft

НЁХ, которая пока никак не работает.

Мах, у тебя опять все сломалось. Это хорошо, это значит жизнь.

Строим LLM с нуля
Год издания: 2025
Автор: Рашка С.
Издательство: Питер
ISBN: 978-5-4461-4325-2
Язык: Русский
Формат: PDF
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 384
Описание: «Строим LLM с нуля» — это чрезвычайно занимательное путешествие в основы генеративного ИИ. Не полагаясь на существующие библиотеки LLM, вы реализуете в коде базовую модель, превратите ее в классификатор текста и в конечном счете создадите чат-бот, который сможет следовать вашим инструкциям в диалоге. И вы действительно поймете LLM, потому что создали ее сами!

https://search.rsl.ru/ru/record/01014656493

Предисловие……………………………………………………………………………………………………………. 11
Глава 1. Знакомство с большими языковыми моделями…………………………………. 22
Глава 2. Работа с текстовыми данными………………………………………………………………. 40
Глава 3. Программирование механизмов внимания…………………………………………. 76
Глава 4. Создание GPT-подобной модели для генерации текста с нуля……… 122
Глава 5. Предварительное обучение на неразмеченных данных…………………… 160
Глава 6. Тонкая настройка по классификации………………………………………………… 204
Глава 7. Тонкая настройка по инструкциям…………………………………………………….. 242
Приложение А. Введение в PyTorch…………………………………………………………………. 292
Приложение Б. Ссылки и дополнительные источники…………………………………. 335
Приложение В. Решения упражнений……………………………………………………………… 347
Приложение Г. Добавление новых возможностей в процесс обучения……….. 359
Приложение Д. Эффективная настройка параметров с помощью LoRA……. 368

Спасибо, не надо реакций.

Где граница разума?

До и после пятницы

«ИИ» это неграмотное название для вероятностных языковых моделей. Их суть в том, что к уже имеющемуся началу текста они выбирают наиболее вероятное следующее слово (букву, слог), затем повторяют данную операцию до тех пор, пока наиболее вероятным следующим не окажется окончание текста. Иначе говоря, это движок автодополнения, но с гигантской базой статистических данных по всевозможным текстам и разными оптимизациями для того, чтобы все эти терабайты собранных статистик ужать в что-то чуть менее огромное и с доступным быстрым просмотром.

Ёмкий и бессмысленный ответ.

Какой пост, такой и коммент.

Простыми словами, они предоставляют множество ответов в сети.

Это графы, простые, которые требуют вычислений, которые забили в железо. Или глубже, если глубже то как? Это память плюс графы, или что? Где граница разума?

Диалоги Платона у тебя вышли

Зачем тогда участвовать? Давай лучше соберем что нибудь, если хочешь диалог.

У вас все сводится к древней Греции.

Это графы

это база данных с которой работает машина, если в базе данных гитлер хороший - значит он хороший, никаких границ разума тут нет - все зависит от человека который управляет базой данных.

Что такое программирование и как оно работает?

Это команды, простые, которые требуют вычислений, которые забили в железо. Или глубже, если глубже то как? Это память плюс команды или что? Где граница {{случайное пафосное словечко}}.

где граница, случайное пафосное словечко?

нет ты неправ.

Спроси у ИИ

Сообщения не обновляются.

Он работает на основе твоих постов.

Не совсем.

Ответ не содержит информации.

Содержит. ИИ работает на основе моих постов в той же мере что и ты.

тавтология.

софистика

ты лжешь.

опровергни

софистика

У вас все сводится к древней Греции (c)

ну что ты сказал. а - первая буква алфавита. Ты скучный.

Зачем? Тебе придётся нудно и долго мучить ИИ вроде Алисы или Чатгопоты, чтоб она вспомнила какой-то мой комментарий. И вспомнить самому. Как бы не вышло, что ты ещё больше зависишь от моих постов, чем ИИ которые учатся на всём интернете на всех языках мира.

Перестань сыпать цитатами. Скажи слово.

Скажи слово

Это к LLM

Воду льешь. Но мне нравится общаться с тобой, это помогает мне еще оставаться в этом мире.

Так Одиссея вышла. Гомер вроде как грек был. Пусть и древний. Почти 3000 лет прошло, а киношку по нему всё ещё снимают.

Я согласен, с началом Греции. Но если их послать на, как там. Это не важно, я просто пьян.

Границы нет, так оно даже рядом не стоит. Текущие генеративные сети которых называют ИИ, к разуму и интеллекту отношения не имеют, это просто огромные линейно масштабированные системы, созданные методом грубого лобового, но управляемого брутфорса, результатом которых являются блобы данных, содержащие в себе миллиарды корреляций относительно данных на основе которых они созданы. Внутри там всё работает примитивно, реально, там вообще нет ничего сложного. Но, из за повторюсь огромного линейного масштабирования того как это создаётся и работает, это нереально уложить в голове, и моделька может продолжить текст (а только продолжить и может, иное невозможно), если это текст, а не пикча. Сотными тысяч различных способов, не меняя смысл, а лишь меняя подходящие под корреляцию наборы других слов, (оно не оперирует словами, но слова там есть просто в ином предствлении) И дальше уже наш разум воспринимает это с некой долей иллюзорности, аля крякает как утка, ну значит утка.

Так что само слово разум, это и есть тут пафосное словечко. Разума нет тут. Он и не нужен, тут потянуть за одну верёвочку будет это, за две будет то, за обе будет другое, потянуть на половинку будет третье, всё ок вроде, но уже запутанно, а теперь вот тебе миллиард верёвочек и миллиард умножить на миллиард на миллиард комбинаций того как их можно потянуть, всё осталось так же примитивно и просто, но масштаб вермишели из верёвочек такой что ты не способен просто взять и сказать что будет если потянуть 12000 верёвочек и каждую чуть по разному, но так как действий выполнится много то и результат будет настолько комплекстным что покажется что ну не может же оно просто так, там есть что-то разумное. Нет не разумное, просто масштабное и за ним не уследить вот и всё.

Советую взять любой язык, взять где-то сводки погоды за пару лет, и выделить из них когда меняется погода, времена года, когда ливни стабильно идут, когда ветра, в какую сторону, ну такие масштабные периодические явления по датам. А затем просто взять и руками написать перцептрон с парой слоёв и 100 «нейрончиками», затем натренеровать, тоесть брутфорсом подогнать веса нейрончиков к данным о погоде, тем самым создашь модель, и вуаля, если ранее ты вводил дата+температура+ветер+кудадует+влажность то теперь вводишь будущую дату и ничего более и получаешь предсказание на всё остальное или вводишь температуру и получаешь наиболее вероятную дату. Понял суть? Весь воспрос в масштабе, а теперь вместо погоды возьми миллиарды диалогов людей, из книг, форумов, радио и так далее, создай гигантскую модель, добавь в неё трансформеры для трансляции из/в и механизмы внимания, короче вещи сбоку под задачу и вуаля, едрить колотить разум. Не разум, а просто масштаб, когда висят миллиарды верёвочек и дёргая любую происходят миллионы действий приводящие к чему-то из того на чём всё тренировалось, к одному из вариантов того чем оно могло быть.

Ты это сгенератинил.

Нет

не индусы, а индоутки

Что такое

Это «зоопарк думателей с неонкой» © (asimovinstitute.org), который может быть представлен графами и/или матрицами, например: 1 (ifmo.ru), 2 (ifmo.ru), 3 (ifmo.ru).

как он работает?

Греет окружающую среду электричеством, дурит народ галлюцинациями, грабит корованы базы знаний, выдавая ихние ответы за свою умность.

Их суть в том, что к уже имеющемуся началу текста они выбирают наиболее вероятное следующее слово (букву, слог), затем повторяют данную операцию до тех пор, пока наиболее вероятным следующим не окажется окончание текста.

Неверно, вернее это только часть правды. Это этап первоначального обучения GPT - получение такой предсказательной модели. Далее, для моделей вроде chatgpt её доводят до кондиции обучением на правилах, которое может занять намного больше ресурсов и времени. И только тогда получается то, что стали сейчас называть ИИ.

Современные модели научились решать даже не самые простые логические задачи. Это уже на тупое продолжение текста не спишешь.

Спишешь ещё как. Они из материалов обучения научились выбирать правильное (логичное) продолжение текста. Дальше, комбинируя такие логичные продолжения, можно имитировать логику более высокого порядка. У них очень много вычислительных ресурсов, это надо учитывать, им не надо за 1 шаг выбрать правильный ответ, они могут, условно, «проанализировать» миллиард возможных ответов разной степени тупости и выбрать тот, который больше всего похож на известную им из обучения «логику».

Ну так из неё европейская цивилизация и вышла.

Это нормально.

Где граница разума

Открой для себя панпсихизм.

наиболее вероятное следующее слово

Наиболее вероятное где? Какова область определения этой вероятности?

Логика формальна, описывается так же как и любой порядок символов в словах и порядок слов в предложениях, хоть в существующем хоть в выдуманном бессмысленном языке. Продолжить логику, тоже самое что продолжить любую последовательность чего либо. Так как любая последовательность включая логическую это набор корреляций. Не самые простые логические задачи, это всегда просто более комплексные задачи, где определённым образом взаимозависимых частей просто больше и/или они имеют более экстремальные взаимосвязи, например экспоненциальные.

Логика к разумности и интеллекту отношения не имеет, это лишь частное его порождение (в виде её описания), в рамках манипуляций с логикой, а так на деле вообще простое следствие буквально физического факта существования простых причинно следственных связей, если-то.

Я выше сказал про масштаб. Он с толку и сбивает, как и сейчас тебя. Смотри на данные и то как они формируются, а не что в них находится.

они таковы были, тож так думал. но сейчас уже нет :)
но вот даже яндекс-чат бот делает вычисления по введенному тексту.
и именно вычисления, а не подбор текста. ибо вводимых мной циферок нигде в тырнетике явно не встречается. в случае подбора была бы хрень текстообразная.

к примеру сколько длин волн 1,2 мгц уложится в 13 сантиметров воде таких слов не найдется в тырнетике…

Никакого ИИ нет. Есть Генеративный предварительно обученный трансформер (англ. Generative pre-trained transformer, GPT)

Наиболее усреднённо-вероятное в том множестве текстов, на котором модель обучалась.