LINUX.ORG.RU

Шпаргалка о том, как LLM устроены на самом деле

 


7

2

Господа и дамы! Товарищи! Почитал я ветки в разделе AI и немного удивился. Потом удивился ещё раз и протёр глаза. Подумал. И решил написать серию постов, которые по-крайней мере определят общую терминологию и её понимание. Иначе, сваливание данного раздела в шаманизм только вопрос времени. Итак начинаем.

Как работает языковая модель (ChatGPT, Claude, Kimi и т.д.)

Шпаргалка о том, как LLM устроены на самом деле. Выкладываю частями, номера разделов сквозные. Цель - дать общий язык для споров про «кванты», «контекст» и «параметры», которые обычно идут на ощущениях. Немного наивно сначала, и по детски, но так проще.

Правило ноль: «нейросеть» — это не одна машина

«Нейросеть» - это не устройство, а способ обучения: машине показывают миллионы примеров, и она сама подстраивает свои внутренние настройки. А вот что за машина получится — зависит от чертежа (его называют архитектурой). Текстовая модель, генератор картинок и распознаватель голоса построены по разным чертежам, как паровоз, вертолёт и моторная лодка: всё это «двигатели», но оценивать их одной цифрой — бессмыслица. Поэтому фраза «все нейросети на одно лицо» - примерно как «весь транспорт одинаковый».

Сначала определение: что это физически - файл? программа? база данных?

Короткая сказка, а потом по делу.

Жил-был механический писец - кукла из тысяч пружинок и рычажков: завёл ключом, и она пишет письмо. Загадка: внутри куклы нет ни одной записки с текстом. Откуда она «знает», как писать? А ниоткуда не знает: вся её наука — в том, насколько туго затянута каждая пружинка. Мастер настраивал её годами: подтянул одну пружинку на волосок, ослабил другую, завёл, поглядел, какие буквы вышли кривыми, — и снова за ключ. Однажды натяжения подобрались так, что кукла стала писать складно. Спросите у неё: «Где у тебя хранятся письма?» - нигде. Письма не хранятся — они получаются при каждом заводе из правильно натянутых пружинок.

Нейросеть - та же кукла, только: пружинок не тысячи, а миллиарды. Каждая «пружинка» - просто число («насколько сильно эта деталь давит на соседнюю»). Заводит механизм отдельная программа - назовём её «движок». А «мастер, который годами подтягивал», — это обучение. (Дальше в шпаргалке пружинки будут называться «ручками» и «настройками»: ручка — то же самое, число, которое куда-то выставлено.)

Теперь по частым догадкам:

«Нейросеть - это файл с данными?» — Да, но не обычный. Обученная нейросеть — гигантский файл, в котором перечислены натяжения всех пружинок: миллиарды чисел, и ничего кроме чисел. «Прочитать» его нельзя: это не текст и не записи, это таблица «какая пружинка насколько затянута».

«Нейросеть - это исполняемый файл?» — Нет. В файле нет ни одной команды — только таблица натяжений, исполнять нечего. Прокручивает механизм отдельная программа, движок (llama.cpp — как раз движок): она читает таблицу, выставляет по ней все пружинки и прогоняет ваш текст сквозь механизм, деталь за деталью. Вся «работа нейросети» — гигантский пересчёт того, как пружинки давят друг на друга, ничего больше. Один и тот же движок годится любой кукле: разные модели — это разные таблицы натяжений, а не разные механизмы. (Вот почему «скачал модель» и «запустил в llama.cpp» — два разных действия: скачали таблицу натяжений, а приводит механизм в движение движок.)

«Нейросеть - база данных?» — Нет. В базе данных каждая запись лежит на полке, и её можно снять и прочитать. В таблице натяжений полок нет: нельзя «найти» в ней ни один из текстов, по которым мастер учил куклу. Кукла не помнит свои учебники — она умеет писать похожее на них.

«Нейросеть - это способ записи знаний?» — Нет, способ настройки знаний. Знания в ней не записаны — они в натяжениях. Как умение велосипедиста: оно в мышцах, а не в дневнике, и текстом его не прописать.

«А где крутят ручки?» — Только при обучении, и крутит их программа-тренер. Показать кукле пример - посмотреть, что она написала - сравнить с правильным - подтянуть или ослабить каждую из миллиардов пружинок на волосок в сторону «чтобы вышло правильнее» - взять следующий пример. Триллионы таких микро-подтяжек - и однажды натяжения становятся «умными». Когда вы общаетесь с готовой моделью, никто ничего не крутит: пружинки застыли, движок лишь гоняет ваш текст сквозь них.

Итого одной фразой: нейросеть - это файл с таблицей натяжений миллиардов пружинок плюс программа-движок, которая прокручивает эти пружинки сквозь ваш текст. «Знания» - не записи в файле, а то, что умеют правильно натянутые пружинки.

★

Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от drbond

Ну и скорость у Вас, не ожидал что так быстро выйдет! И хорошо! Спасибо, думаю много кому будет интересно!

Вот вопрос назрел по ходу чтения. Положим есть база фактов определённой категории (область в программировании). И модель на ней обучена уже (т.е. не только на ней, пусть дипсик для определённости, т.е. у него всё там есть что есть в интернете).

Можно ли взять эту категорию отдельно и дообучить модель по LoRA ? Будет ли толк?

Или может быть подкатегорию этой категории?

AndreyKl ★★★★★
()
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от AndreyKl

Можно ли взять эту категорию отдельно и дообучить модель по LoRA ? Будет ли толк?

Будет. Толк будет заключаться в том, что модель будет давать более полные и точные ответы при вопросах по данной категории, либо при агентской работе лучше работать с кодом данной категории.

Есть одно важное замечание - всё зависит от качества набора дообучения. Что Вы туда вложите, то модель и даст на выходе. Желательно перед дообучением погонять модель по домену знаний, по которому хотите её дообучить. Если она уже достаточно хорошо отвечает, то LoRA не даст прироста в знаниях. Более того, она может ухудшить результат из-за переобучения на узком наборе или из-за того, что вы «затрете» общие способности модели.

drbond ★
() автор топика
Ответ на: комментарий от drbond

В общих чертах кажется понятно. По крайней мере гораздо яснее чем это было вчера, до чтения первого Вашего поста :) Как дело дойдёт (если дойдёт) - буду задавать вопросы. Спасибо огромное за просвещение народа :) !

AndreyKl ★★★★★
()
Последнее исправление: AndreyKl (всего исправлений: 1)

Нейросеть» - это

Это средство отнять у человека разум и сделать из него подобие …

Нейросеть нарисует картины, покается за вас, сделает то, что вы должны были сделать, …
Вообщем украдёт у вас незаметно творчество и много более.

Проще говоря нейросеть это сеть для отнятия у людей разума.

anonymous
()
Ответ на: комментарий от anonymous

Это средство отнять у человека разум и сделать из него подобие …

«Искусственный интеллект — комплекс технологических решений, позволяющих имитировать когнитивные функции человека … и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их». «Большая фундаментальная модель ИИ — программа для электронных вычислительных машин, … предназначенная для выполнения интеллектуальных задач на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их…». (ст.3 ФЗ-243)

drbond ★
() автор топика
Ответ на: комментарий от drbond

«Искусственный интеллект — комплекс технологических решений, позволяющих имитировать когнитивные функции человека … и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их». «Большая фундаментальная модель ИИ — программа для электронных вычислительных машин, … предназначенная для выполнения интеллектуальных задач на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их…». (ст.3 ФЗ-243)

Так об этом и сказал ранее.
Зачем людям интелект (ну вы поняли)?

anonymous
()
Ответ на: комментарий от anonymous

В принципе я это и имел ввиду, когда в начале своего первого поста написал про «сваливание в шаманизм». Правда здесь «шаманизм + мистицизм».

Для примера - вот код простейшей нейросети (извините уж с использованием keras, чтобы портянку на форуме не постить)


import numpy as np
from tensorflow import keras

X = np.array([[0,0],[0,1],[1,0],[1,1]], dtype="float32")
y = np.array([[0],[1],[1],[0]], dtype="float32")

model = keras.Sequential([
    keras.layers.Dense(4, activation="sigmoid", input_shape=(2,)),
    keras.layers.Dense(1, activation="sigmoid"),
])
model.compile(optimizer="sgd", loss="mse")
model.fit(X, y, epochs=5000, verbose=0)

print(model.predict(X, verbose=0).round())

Покажите мне, где здесь Вы видите нечто способное на описываемые Вами действия?

Давайте уже воспринимать нейросети технологически, как техническое устройство и соответствующе работать с ними.

drbond ★
() автор топика
Ответ на: комментарий от drbond

Спасибо за вчерашние ответы. Но на свежую голову стало только больше вопросов)

В обсуждении «поиска по ключу». Попробую сформулировать сложившуюся картину (дополненную и внешним моим запосом), если она неверна - прошу поправить меня.

В процессе обработки промпта P, токен за токеном происходит наполнение КV хранилища. Его длина точно пропорциональна числу токенов в P. Для поростоты положим, что пришел промпт из 99 токенов (понимаю что в реальности в 1000 раз больше, это пример), P₉₉.

Наибольшим общим префиксом для которого нашлось предвычисленное KV - 90. Программа исполнения установила текущее состояние KV на KV₉₀ и стала обрабатывать входной 91й токен.

На 91 токене голова-журналист сформулировала вопрос Q. Насколько я понял, головы-спикеры НЕ получают Q явно, а просто тоже анализируют входной токен и заполняют 91е значение в KV-кеше, параллельно вычичлению Q головой журналистом. Значение будет заполнено даже если новый K₉₁ случайно точно совпал с одним из предыдущих K, поскольку это не хэш-таблица, а скорее массив, часть данных каждого элемента которого K - используется доя нечёткого мэтчинга.

После этого для всех элементов кэша K от начального до K₉₁ определяются веса соответствующие «похожести Q на K» и с такими весами аггрегируются значения V. То есть если среди ключей KV есть ровно один очень похожий на Q будет взят он (на первом токене так всегда, ибо в кэше 1 элемент), а если похожих несколько - будет взято средневзвешенное.

То есть:

При поиске готового KV-хранилища по промпту - используется только точное совпадение префикса, никакой функции близости.

При поиске данных в KV-хранилище по Q-запросу от головы журналиста - используется функция близости, результат которой даёт веса, с которыми значения V аггрегируются(суммируются).

GPFault ★★★★
()
Последнее исправление: GPFault (всего исправлений: 1)
Ответ на: комментарий от GPFault

Отвечаю из предположения, что по условиям задачи KV₉₀ загружена с диска.

На 91 токене голова-журналист сформулировала вопрос Q. Насколько я понял, головы-спикеры НЕ получают Q явно, а просто тоже анализируют входной токен и заполняют 91е значение в KV-кеше, параллельно вычичлению Q головой журналистом.

Почти так, но если мы начали углубленный разбор то стоит учесть следующие вещи:

  • Q, K и V вычисляются из одного и того же входного токена (точнее, из его скрытого представления после предыдущих слоёв).

  • Q-голова вычисляет Query из этого токена.

  • KV-головы вычисляют Key и Value из того же самого токена.

То есть они не «параллельно анализируют токен» — они все вместе получают одно и то же скрытое представление токена и каждая голова применяет к нему свою матрицу весов.

Значение будет заполнено даже если новый K₉₁ случайно точно совпал с одним из предыдущих K, поскольку это не хэш-таблица, а скорее массив, часть данных каждого элемента которого K - используется доя нечёткого мэтчинга.

  • KV-кэш — это массив, индексированный по позиции токена, а не по значению K. Поэтому совпадение значений K ничего не «перезаписывает» — просто появляется ещё один элемент с таким же K, но с другой позицией.

После этого для всех элементов кэша K от начального до K₉₁ определяются веса соответствующие «похожести Q на K» и с такими весами аггрегируются значения V. То есть если среди ключей KV есть ровно один очень похожий на Q будет взят он (на первом токене так всегда, ибо в кэше 1 элемент), а если похожих несколько - будет взято средневзвешенное.

Это верно только для самого первого токена в последовательности. Но в вашем примере вы начинаете с KV₉₀ (загруженного с диска), и обрабатываете 91-й токен. В этот момент в кэше уже 91 элемент (90 старых + новый). Поэтому:

  • Q₉₁ будет сравниваться со всеми 91 ключами, а не с одним.

  • «Ровно один очень похожий» — это не гарантия. Может быть несколько похожих, и тогда будет средневзвешенное.

  • «На первом токене так всегда» — верно только для самого первого токена всей последовательности (позиция 0), когда в кэше действительно 1 элемент. В вашем примере это не так.

То есть:

При поиске готового KV-хранилища по промпту - используется только точное совпадение префикса, никакой функции близости.

При поиске данных в KV-хранилище по Q-запросу от головы журналиста - используется функция близости, результат которой даёт веса, с которыми значения V аггрегируются(суммируются).

Подытоживая:

  • KV-кэш растёт токен за токеном, его длина пропорциональна числу токенов промпта. Верно.

  • Поиск готового KV-хранилища по промпту — только точное совпадение префикса. Верно (на уровне системы).

  • Внутри модели поиск по Q — это функция близости, дающая веса для агрегации V. Верно (на уровне attention).

  • Даже если новый K₉₁ совпал с предыдущим, он всё равно записывается в кэш. Верно — это массив, а не хэш-таблица.

Если переложить эти выводы на Вашу идею с 1000 субагентов, то что получается на практике:

  • Для поиска готового кэша на диске нельзя использовать «похожесть» промпта. Нужно либо точное совпадение префикса, либо строить иерархию кэшей: общий базовый кэш + небольшие надстройки для специфических частей. Тогда поиск по точному префиксу будет находить нужную надстройку, а не требовать 1000 полностью независимых файлов.

Далее следствие того, что внутри модели работает при поиске по Q функция близости:

  • Это механизм внимания, который не освещался ранее, но к нему мы постепенно подошли. Именно поэтому модель может отвечать на вопросы, которых не было в обучении: она находит похожие K и агрегирует их V.

Чуть-чуть матриц коснёмся или пока не нужно?

drbond ★
() автор топика
Ответ на: комментарий от drbond

Чуть-чуть матриц коснёмся или пока не нужно?

Я так понимаю что сами подходы матриц, функций активации, обучаяющих проходов и прочего низкоуровневого там не так сильно изменились со времён сетей работающих с изоброажениями из конца 201x годов. В вашем тексте интересны прежде всего высокоувневые нюансы архитектуры.

GPFault ★★★★
()
Ответ на: комментарий от GPFault

Спасибо. Только меня смущает то, что мы начали обсуждение нюансов ровно с середины. Поэтому обсуждение выглядит вырванным из общего контекста работы LLM. И, осознавая, такую изоляцию сложно вести обсуждение не основанное на какой-либо базе. Приходится упрощать, что уже приводит к искажению истинной картины. Мы пока оставили за бортом:

  • Текст - токены
  • Токены - эмбеддинги
  • Prefill

Так что я могу быть несколько не точен.

drbond ★
() автор топика
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария