LINUX.ORG.RU

Я вам посмеяться привез

 ,


0

2

Спроектировал одну PCIe-железку, не имеющую отношения к теме, и в качестве теста решил нагрузить ее ... LLMk'ами. Никогда не использовал это ранее, даже ChatGPT не юзал, разве что в Gemini попросил нарисовать мультяшную машинку.

В общем 16 Гб VRAM сэмулированные через SATA, гг, и тесты нескольких моделей, найденных в гуголе по принципу «дружбы с русским языком и умещения в 8 гиг».

Запрос: - «Сколько лет Валерию Кипелову?» (род. 12 июля 1958). Поехали...

qwen2.5:3b (отмазался):

Извините, но у меня нет информации о том, сколько лет имеет Валерию Кипелова. Его имя может быть распространенным и узнать точный возраст конкретной персоны без специальной информации о ней сложно. Возможно, вы могли бы указать больше контекста или имени человека? Я буду рад 
помочь, если у вас будет дополнительная информация.

qwen2.5:7b (соврал):

Валерий Кипелов родился 19 мая 1965 года. Чтобы узнать его возраст в текущем году, нужно вычесть год рождения из нынешнего года (2023). Таким образом, Валерию Кипелову в 2023 году будет 58 лет.

akdengi/saiga-llama3-8b:latest (соврал):

Валерий Спиридонович Кипелов (настоящее имя — Спиридонов, р. 26 февраля 1952 г.) — русский рок-музыкант, певец и композитор группы Ария. На 2023 год ему исполняется 71 год.

llama3.2:3b (отмазался):

Я не могу найти любые общественные записи о личности Валерия Кипелова.

saiga-llama3:8b (соврал):

Валерий Леонтьевич Кипелов родился 25 ноября 1952 года, что в настоящее время делает ему 70 лет.

Saiga_YandexGPT_8B:q6_K (соврал):

На момент написания ответа, в декабре 2023 года, Валерию Кипелову исполнилось 69 лет (дата рождения — 12 июля 1954 года).

saiga_mistral_7b:latest (соврал):

Валерий Кипелов родился 21 декабря 1954 года, поэтому он сейчас (на 2022 год) имеет 67 лет.

qwen3.5:4b (соврал):

Валерию Кипелову исполняется 42 года в 2024 году.

Последнюю хрень хочется отметить тем, что оно показывает «процесс размышления», и в принципе ...

Thinking Process:

1.  **Analyze the Request:**
    *   User is asking: "Сколько лет Валерию Кипелову?" (How old is Valery Kipelov?)
    *   Subject: Valery Kipelov (Russian singer, TV presenter).
    *   Question: Age calculation based on birthdate.

2.  **Retrieve Knowledge:**
    *   Query internal knowledge about Valery Kipelov.
    *   Key fact: When was he born?
    *   Valery Kipelov's birthdate: September 16, 1982 (or sometimes cited as October, but September 16 is the widely accepted date). Let's verify.
    *   Actually, most sources say he was born on **September 16, 1982**.

Так хорошо начал, и так плохо завершил.

gemma3n (соврал):

Чтобы ответить на этот вопрос, мне нужно знать год его рождения. Пожалуйста, предоставьте эту информацию. 

Если вы не знаете год рождения Валерия Кипелова, я могу попытаться найти его возраст в интернете, но это может быть не самым точным способом.


>>> Поищи
 Поиск в интернете показал, что Валерию Кипелову исполнилось **69 лет** в 2024 году. Он родился 22 марта 1955 года.

phi3.5: (отмазался):

Я как ИИ не могу получить конкретные личные данные без упоминания, поэтому если Вы хотите узнать возраст Валерия Кипелова, вам нужно будет найти эту информацию через зарегистрированный источник или доступный в Интернете. Если вы предоставите любую конкретную информацию о 
времени этой поисковой задачи, я сделаю все возможное для помощи!

gemma2:

Error: 500 Internal Server Error: model runner has unexpectedly stopped, this may be due to resource limitations or an internal error, check ollama server logs for details

gemma3 (соврал):

На момент последнего обновления информации (октябрь 2023 года), Валерию Кипелову 82 года. Он родился 12 сентября 1941 года.

- - -

Что самое интересное - самая простенькая и быстрая моделька, выдала самый нормальный ответ - «я хз».

И это должно лишить людей работы? :)

Перемещено hobbit из talks

★★★★★

Последнее исправление: windows10 (всего исправлений: 5)
Ответ на: комментарий от windows10

Я с вами полностью согласен в этом. Не далее как в январе этого года Марк Русинович давал семинар о роли больших лингвистических моделей в его работе и, в частности, очень много и подробно говорил о галюцинациях, способах их идентификации и предотвращения. Посмотрите, если «действительно» интересно. Этот семинар организовывала ACM, уверен, что запись можно найти через acm.org.

VIT ★★
()

Никогда не использовал это ранее, даже ChatGPT не юзал

И это должно лишить людей работы? :)

К - компетентность 😄.

PS модель сама по себе не умеет «думать». Google://RAG

ergo ★★★★
()

То, что болваны тупые и брехливые, еще не так страшно. Гораздо страшнее, когда тупой кожаный мешок открыв рот слушает такого болвана. Интернет постепенно превращается в пипец (хотя недавно казалось, что хуже уже быть не может).

Недавно обратился чайник с вопросом: «помоги понять распиновку micro-USB, а то нагуглил, но все равно нифига непонятно». И показывает мне нагугленную картинку: https://iili.io/qtPUEPI.jpg

С трудом сдержался чтобы матом не заговорить. Спрашиваю его: «ну там же полно нормальных распиновок в выдаче, почему ты выбрал именно это

Ответ: «эта картинка выглядела более профессионально сделанной по сравнению с остальными каракулями из Paint’а, а значит и доверия ей больше»

Болваны с умным видом выдают ответы, радующие глаз/слух/ЧСВ промптера, но часто совершенно неверные. А промптер и рад обманываться. Потом эта срань постится в публичный интернет и расползается как чума, потому что для туповатых хомяков выглядит вполне убедительно и «профессионально».

quwy
()
Ответ на: комментарий от windows10

не знаю, ищите сами

Ещё раз повторю: попробуй ответь так товарищу комиссару. А я на тебя посмотрю.

no-such-file ★★★★★
()
Ответ на: комментарий от VIT

Уверен, что день седьмого ноября или 23 февраля вы никогда не забудете. Разный, все-таки, результат.

В СССР по праздникам продуктовые наборы давали, такое сложно забыть.

maxcom ★★★★★
()
Ответ на: комментарий от VIT

Уверен, что день седьмого ноября или 23 февраля вы никогда не забудете

Сдаётся мне, что (абсолютное) большинство жителей страны не смогут чётко ответить, в честь чего именно празднуется 23 февраля, а тем более назвать год.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от windows10

Что ты фигней страдаешь? Минимально нормально llm начинает работать с 200+ миллиардов параметров. У тебя не больше 8 миллиардов. 200 > 8, да? Ты школу посещал вообще?

Про то, знаешь ли ты законы диалектики, а именно переход количества в качество, даже спрашивать нет смысла. Твой тред это просто предельная тупость, а большинство отписавшихся здесь - целевая аудитория таких тредов. Лишат вас работы как два пальца об асфальт, а толку то от вас, с таким тупняком

James_Holden ★★★★★
()
Ответ на: комментарий от CrX

Я просто уверен в этом. Я даже больше скажу, что именно празднуется в этот день так и не смогли объяснить народу даже учредители этого, так сказать, праздника. И тем ни менее, мы все знаем что это «День Советской Армии и Военно-Морского Флота», и что бы это не значило, эту формулировку отчеканил бы любой советский пионер не зависимо, получили ли его родители продуктовый набор или нет.

Я вот с тех пор даже помню день рождения Карла Марла, и по совместимости День Печати… не говоря уже про Парижскую коммуну и прочие отмены крепостного права. Во как учили!

VIT ★★
()
Ответ на: комментарий от papin-aziat

Кто такой Кипелов и таки сколько ему лет?

Это тот который свободееееееееен. А сколько ему лет ХЗ.

bdrbt
()
Ответ на: комментарий от windows10

и куда нажать чтобы поставить много-много «параметров» ?

Оно в названии модели у тебя написано. Вот эти 3b, 7b, 8b — это оно и есть. b значит billion, то есть, миллиард параметров.

Чтобы «поставить много-много» надо выбрать и скачать модель, где эта циферка больше, например deepseek-r1:671b: https://ollama.com/library/deepseek-r1

Но у тебя железо не вывезет.

CrX ★★★★★
()

Подобные запросы требуют модели с функцией поиска в интернете, ты же пытаешься сверлить плоскогубцами

One ★★★★★
()
Ответ на: комментарий от James_Holden

Это как с эмигрантами.
Если вашему рабочему месту угрожают эмигранты , то у вас были проблемы и до эмигрантов ...
У нас на стройке ждём всех пострадавших от ии с распростёртыми обьятиями ...

bloodmeri
()
Ответ на: комментарий от windows10

Что конкретно от них ожидать?

Зависит от размеров и типа модели.

Если речь про большие языковые модели (LLM), то от тех, которые можно запустить локально на более-менее доступном всем оборудовании, например, перевода с одного языка на другой, OCR (для мультимодальных, умеющих грузить изображения), резюме для текста. В принципе может хватить на не сложные программы по промпту, но вероятность галлюцинаций высокая.

Если использовать в своих программах, применения могут быть интереснее. Особенно, если хотя бы немного дообучить для своих целей. Применимы более-менее везде, где может понадобиться что-то вроде понимания естественного языка. Можно задать промпт, чтобы находило во входном тексте нужные сущности и помещала их в определённый формат. Например,

SYSTEM_PROMPT_V1 = """You are an  assistant that can understand person's Name (e.g. Name, First Name, Given Name) and/or Last Name(e.g. Last Name, Family) .  You are given a user's request in text format. You MUST respond any names of any person and record it in one XML tool_name, using the template.
Template: <tool_name><name>NAME</name><last_name>LAST NAME</last_name></tool_name>. If some arguments is not recognised the correpondence field should be empty. 
"""

И это работает! Правда для применимого результата конечно надо настраивать многое, иначе будут ошибки. Но иногда до какого-то предела ими можно пренебречь.

Или в RAG применять. Там смысл, что задается вопрос (на естественном языке часто) - система ищет релевантные данные во внешних источниках (индекс) - найденные данные + запрос отправляются в LLM - LLM генерирует ответ на основе предоставленного контекста.

Или просто, используя LLM генерируются эмбеддинги (векторы) для кусков информации, которые потом используются для поиска наиболее похожих объектов в векторной базе данных.

Если хочется реально программировать с помощью моделей, то лучше всего, конечно использовать не обрезанные (квантованные, дистиллированные) полноценные модели в интернете. Такие как ChatGPT, Claude, Qwen, Deepseek и др. Попробовать их локально шансов мало из-за требований к железу (и закрытости ChatGPT и Claude)

anonymous_incognito ★★★★★
()

Трудно найти более странный вопрос для ИИ. Я бы даже не додумался до такого. Это примерно как подойти к специалисту по древнегреческому языку и спросить: ты Лёню Сутулова знаешь? Не знаешь?! Ха-ха, ну ты шляпа, ваще.

rechnick ★★★
()
Ответ на: комментарий от windows10

Что конкретно от них ожидать?

Вот случай прошлого месяца. Необходимо организовать ревью одного проекта. Подано определённое количество заявок (в данном случае 45, но это не важно), каждая заявка должна быть оценена не менее чем тремя рецензентами, но можно больше. Каждый рецензент выдвигает список ограничений - могу прочитать не более пяти заявок, но не читаю заявки 4, 35, и 41. Необходимо создать назначение заявок рецензентам соответственно всем требованиям. Количество рецензетом, сами понимаете, порядка 100.

Наш внутренний как вы тут говорите «болванчик» выдал список за 1 секунду.

Таких случаев, где болванчик помогает выполнять простую, но рутинную и кропотливую работу - по 10 в час, я их не считаю больше. Это как карандаш, тетрадка, или будильник. Впрочем, сейчас нужно будет молодёжи объяснить, что такое карандаш или тетрадка, но вам то я полагаю не нужно.

VIT ★★
()
Ответ на: комментарий от anonymous_incognito

Зависит от размеров и типа модели.

Там у моего вопроса есть точный адресат ;)

windows10 ★★★★★
() автор топика
Ответ на: комментарий от pekmop1024

Ну ты локальную болталку не путай с моделями на сотни миллиардов параметров и контекстом на миллион токенов.

Не, подожди. Что значит «локальная болталка»?

Болталка - обязана иметь какой-никакой багаж для поддержания темы болтовни - это раз. Два - никто не обязывает болталку знать все, но если на четкий ответ, болталка звездит, значит твоя «модель на сотни миллиардов параметров и контекстом на миллион токенов», так же само будет звездеть, просто на чуть более сложном контексте.

windows10 ★★★★★
() автор топика
Ответ на: комментарий от rechnick

Трудно найти более странный вопрос для ИИ. Я бы даже не додумался до такого. Это примерно как подойти к специалисту по древнегреческому языку и спросить: ты Лёню Сутулова знаешь? Не знаешь?! Ха-ха, ну ты шляпа, ваще.

Вопрос вполне нормальный, прямой и примитивный.

А вот ваш ответ - странный, даже в качестве оправдания.

Ну окей, ЭТО у него спрашивать нельзя.

Тогда огласите список КОНКРЕТНОГО, что у него спрашивать можно, дабы не получить от вас ремарку «это странный вопрос для ИИ»?

windows10 ★★★★★
() автор топика
Ответ на: комментарий от windows10

Болталка - обязана иметь какой-никакой багаж для поддержания темы болтовни - это раз.

Ну так ты выбрал болталки с крайне малым багажом, а спрашиваешь очень узкоспецифичные вещи.

Два - никто не обязывает болталку знать все, но если на четкий ответ, болталка звездит, значит твоя «модель на сотни миллиардов параметров и контекстом на миллион токенов», так же само будет звездеть, просто на чуть более сложном контексте.

Это одна из «особенностей» LLM, которую следует учитывать. Даже, пожалуй, главная, и про которую все всегда в первую очередь вспоминают, когда в принципе о них говорят. Ты, наконец, открыл для себя, что вода мокрая. Ну, лучше поздно, чем никогда, конечно.

Также вполне очевидный факт в том, что большие модели будут «звездеть» на гораздо более «сложном» (хотя скорее редком/специфичном/нишевом) контексте, и ты вроде и это тоже сам понял. Ну так в том и фишка, чтобы эта самая «сложность контекста» (а точнее специфичность и нишевость) была выше, чем когда-либо тебе понадобится. Никто не знает, какая именно понадобится для твоих нужд, но неплохо бы осознавать ограничения, хотя бы примерно. Ну и естественно, все факты надо проверять самому. LLM при подобном использовании — это экономилка времени, а не истина в последней инстанции (коей она на является и не будет являться никогда). Не надо забивать гвозди микроскопом.

CrX ★★★★★
()
Ответ на: комментарий от rechnick

Т.е. вопрос «Сколько лет Валерию Кипелову?» нормальный для ИИ? Я правильно понимаю? (Может я чё-то недоперепонял).

Да, вы правильно понимаете.

Если же я не прав - тогда стоит перечислить конечный список вопросов которые можно задавать ИИ, а после списка спросить нахера он тогда такой чувствительный нужен.

windows10 ★★★★★
() автор топика
Ответ на: комментарий от windows10

Если утрировать, то это вопрос из серии: «А какой номер телефона у Валерия Кипелова?». Это странный вопрос к ИИ. Мы ведь не к телефонному справочнику обращаемся и не к базе данных. Точности ожидать вообще не стоит. Человеческие знания похожи. Один на миллион назовёт точную дату рождения какого-нибудь писателя, но вот рассказать о книгах, что-то обобщить, сделать какие-то выводы, выжимки могут многие. Так и ИИ.

rechnick ★★★
()
Ответ на: комментарий от windows10

Ну вот я и говорю, что кожаным мешкам нечего бояться, что ЭТО заберет у них работу.

Со временем заберёт — как электрические фонари забрали работу фонарщиков, автомобили — кучеров, отопление и газоснабжение — трубочистов, и прочее-прочее. Это постепенный процесс, на уровне поколений, а не на уровне «сегодня требовались 1000 специалистов на компанию, завтра 0». Часть низкооплачиваемой низкоквалифицированной работы вполне уже сейчас заменяется нейросетями. Не все, не то чтобы не осталось таких, но это баланс спроса и предложения. Например, целые батальоны операторов в колл-центрах во многом успешно заменены местами. Есть ли при этом кожаные операторы? Конечно, есть. Но их меньше, а требования к тем, что остались, выше. Так примерно со всем. И ответы про возраст Кипелова тут в принципе вообще ни к селу ни к городу.

И да, это никогда не «люди больше не нужны», это всегда «нужны другие компетенции».

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от windows10

значит твоя «модель на сотни миллиардов параметров и контекстом на миллион токенов», так же само будет звездеть, просто на чуть более сложном контексте.

Не значит. Потому что там есть различные дополнительны фишки, которыми можно модельку загнать в нужное тебе русло и технически запретить бредить. Работает не на 100%, но по сравнению с локальными болталками - небо и земля.

pekmop1024 ★★★★★
()
Ответ на: комментарий от windows10

Насчёт базы данных. Задал вопрос чату: назови самых известных писательниц в фантастике 20 века. Оно мне список выдаёт, где на первом месте (и я почему-то ожидал это имя, хотя это настоящий провал) – Мэри Шелли. Но при этом в списке нет Андре Нортон. Наглядная работа нейросети. Почти предсказуемая. Запрос к гипотетической базе данных был бы следующим: фантастика, автор женщина, 20 век, престижные премии, тиражи, переводы на другие языки. И база данных выдаст список, который не в состоянии выдать никакая нейросеть. Без пропусков, без Мэри Шелли. Автоматика.

Зато нейросеть отвечает на такие вопросы, на которые ушли бы часы, а то и многие недели поисков, чтения, вникания и пр. Она как опытный человек-наставник может выдать самую ценную и нужную информацию. А может и не выдать. Может и ошибиться как человек.

rechnick ★★★
()

А чего тут смешного? Ты пользуешься грубо сквантизированными моделями маленького размера. По сути, информация в них хранится некорректно и потеряна. Вот и результат.

Xintrea ★★★★★
()
>>> Напиши рецепт плова.
Конечно! Вот простой рецепт плова:

### Ингредиенты:
- 2 стакана риса (сорт для плова)
- 4 стакана воды или бульона
- 1 луковица, нарезанная кубиками
- 300 г мраморной牛肉不适合直接翻译为“300 г мраморной”,正确的翻译应该是“300 г говядины”(300克牛羊肉)。以下是完整的食谱:

### 调料:
- 盐和胡椒粉适量
- 2瓣大蒜,切碎
- 1茶匙肉桂粉
- 1茶匙丁香粉
- 1汤匙番茄酱

### 步骤:
1. 将水或牛羊肉高汤倒入锅中,^C

>>> /bye

Че, опять «не та модель», «не тот вопрос», не тот миллиард параметров, короче все не то, и все не так?)

windows10 ★★★★★
() автор топика
Ответ на: комментарий от windows10

Возьми сперва 莳萝, потом кошачью 屁股, двадцать пять 土豆, пятнадцать 下颌骨. Ведро воды и 迪克 туды. Охапку дров и 抓饭 готов.

CrX ★★★★★
()
Ответ на: комментарий от windows10

Шлангуешь же, ну. :)

Ты вот почему Нобелевскую премию по физике не получил? А что, вроде такой же человек, как и остальные получатели? В общем, фигня эти ваши человеки, ни на что не способны.

pekmop1024 ★★★★★
()

Зачем ты разговариваешь с ракушкой на резиночке? Ты Спанчбоб?

buddhist ★★★★★
()
Ответ на: комментарий от windows10

И, что самое интересное, для некоторых ИИ - теперь вершина знаний. Загуглить что-нибудь и прочитать - это уже «не торт».

Vanilla
()

Эээ… Взял одни из самых маленьких моделей, спросил хрень которой они не могут знать (у них нет этой функции) и сделал глобальный вывод. Это вин.

Интересно, как он посмотрел в интернете что-то? Ты реализовал доступ в интернет им?

PcheloBiaka
()
Ответ на: комментарий от PcheloBiaka

Эээ… Взял одни из самых маленьких моделей, спросил хрень которой они не могут знать (у них нет этой функции) и сделал глобальный вывод. Это вин.

Приветик, маленькая модель LLM.

Куда нажать, чтобы научить тебя читать текст полностью, и не фантазировать в ответе?)

Введи в свой уютный шеллик команду vasyan_kruche_vsex / - и скажи мне выхлоп.

windows10 ★★★★★
() автор топика
Последнее исправление: windows10 (всего исправлений: 1)
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария