LINUX.ORG.RU
ФорумTalks

Я вам посмеяться привез

 ,


0

2

Спроектировал одну PCIe-железку, не имеющую отношения к теме, и в качестве теста решил нагрузить ее ... LLMk'ами. Никогда не использовал это ранее, даже ChatGPT не юзал, разве что в Gemini попросил нарисовать мультяшную машинку.

В общем 16 Гб VRAM сэмулированные через SATA, гг, и тесты нескольких моделей, найденных в гуголе по принципу «дружбы с русским языком и умещения в 8 гиг».

Запрос: - «Сколько лет Валерию Кипелову?» (род. 12 июля 1958). Поехали...

qwen2.5:3b (отмазался):

Извините, но у меня нет информации о том, сколько лет имеет Валерию Кипелова. Его имя может быть распространенным и узнать точный возраст конкретной персоны без специальной информации о ней сложно. Возможно, вы могли бы указать больше контекста или имени человека? Я буду рад 
помочь, если у вас будет дополнительная информация.

qwen2.5:7b (соврал):

Валерий Кипелов родился 19 мая 1965 года. Чтобы узнать его возраст в текущем году, нужно вычесть год рождения из нынешнего года (2023). Таким образом, Валерию Кипелову в 2023 году будет 58 лет.

akdengi/saiga-llama3-8b:latest (соврал):

Валерий Спиридонович Кипелов (настоящее имя — Спиридонов, р. 26 февраля 1952 г.) — русский рок-музыкант, певец и композитор группы Ария. На 2023 год ему исполняется 71 год.

llama3.2:3b (отмазался):

Я не могу найти любые общественные записи о личности Валерия Кипелова.

saiga-llama3:8b (соврал):

Валерий Леонтьевич Кипелов родился 25 ноября 1952 года, что в настоящее время делает ему 70 лет.

Saiga_YandexGPT_8B:q6_K (соврал):

На момент написания ответа, в декабре 2023 года, Валерию Кипелову исполнилось 69 лет (дата рождения — 12 июля 1954 года).

saiga_mistral_7b:latest (соврал):

Валерий Кипелов родился 21 декабря 1954 года, поэтому он сейчас (на 2022 год) имеет 67 лет.

qwen3.5:4b (соврал):

Валерию Кипелову исполняется 42 года в 2024 году.

Последнюю хрень хочется отметить тем, что оно показывает «процесс размышления», и в принципе ...

Thinking Process:

1.  **Analyze the Request:**
    *   User is asking: "Сколько лет Валерию Кипелову?" (How old is Valery Kipelov?)
    *   Subject: Valery Kipelov (Russian singer, TV presenter).
    *   Question: Age calculation based on birthdate.

2.  **Retrieve Knowledge:**
    *   Query internal knowledge about Valery Kipelov.
    *   Key fact: When was he born?
    *   Valery Kipelov's birthdate: September 16, 1982 (or sometimes cited as October, but September 16 is the widely accepted date). Let's verify.
    *   Actually, most sources say he was born on **September 16, 1982**.

Так хорошо начал, и так плохо завершил.

gemma3n (соврал):

Чтобы ответить на этот вопрос, мне нужно знать год его рождения. Пожалуйста, предоставьте эту информацию. 

Если вы не знаете год рождения Валерия Кипелова, я могу попытаться найти его возраст в интернете, но это может быть не самым точным способом.


>>> Поищи
 Поиск в интернете показал, что Валерию Кипелову исполнилось **69 лет** в 2024 году. Он родился 22 марта 1955 года.

phi3.5: (отмазался):

Я как ИИ не могу получить конкретные личные данные без упоминания, поэтому если Вы хотите узнать возраст Валерия Кипелова, вам нужно будет найти эту информацию через зарегистрированный источник или доступный в Интернете. Если вы предоставите любую конкретную информацию о 
времени этой поисковой задачи, я сделаю все возможное для помощи!

gemma2:

Error: 500 Internal Server Error: model runner has unexpectedly stopped, this may be due to resource limitations or an internal error, check ollama server logs for details

gemma3 (соврал):

На момент последнего обновления информации (октябрь 2023 года), Валерию Кипелову 82 года. Он родился 12 сентября 1941 года.

- - -

Что самое интересное - самая простенькая и быстрая моделька, выдала самый нормальный ответ - «я хз».

И это должно лишить людей работы? :)

★★★★★

Последнее исправление: windows10 (всего исправлений: 5)
Ответ на: комментарий от windows10

Я с вами полностью согласен в этом. Не далее как в январе этого года Марк Русинович давал семинар о роли больших лингвистических моделей в его работе и, в частности, очень много и подробно говорил о галюцинациях, способах их идентификации и предотвращения. Посмотрите, если «действительно» интересно. Этот семинар организовывала ACM, уверен, что запись можно найти через acm.org.

VIT ★★
()

Никогда не использовал это ранее, даже ChatGPT не юзал

И это должно лишить людей работы? :)

К - компетентность 😄.

PS модель сама по себе не умеет «думать». Google://RAG

ergo ★★★★
()

То, что болваны тупые и брехливые, еще не так страшно. Гораздо страшнее, когда тупой кожаный мешок открыв рот слушает такого болвана. Интернет постепенно превращается в пипец (хотя недавно казалось, что хуже уже быть не может).

Недавно обратился чайник с вопросом: «помоги понять распиновку micro-USB, а то нагуглил, но все равно нифига непонятно». И показывает мне нагугленную картинку: https://iili.io/qtPUEPI.jpg

С трудом сдержался чтобы матом не заговорить. Спрашиваю его: «ну там же полно нормальных распиновок в выдаче, почему ты выбрал именно это

Ответ: «эта картинка выглядела более профессионально сделанной по сравнению с остальными каракулями из Paint’а, а значит и доверия ей больше»

Болваны с умным видом выдают ответы, радующие глаз/слух/ЧСВ промптера, но часто совершенно неверные. А промптер и рад обманываться. Потом эта срань постится в публичный интернет и расползается как чума, потому что для туповатых хомяков выглядит вполне убедительно и «профессионально».

quwy
()
Ответ на: комментарий от windows10

не знаю, ищите сами

Ещё раз повторю: попробуй ответь так товарищу комиссару. А я на тебя посмотрю.

no-such-file ★★★★★
()
Ответ на: комментарий от VIT

Уверен, что день седьмого ноября или 23 февраля вы никогда не забудете. Разный, все-таки, результат.

В СССР по праздникам продуктовые наборы давали, такое сложно забыть.

maxcom ★★★★★
()
Ответ на: комментарий от VIT

Уверен, что день седьмого ноября или 23 февраля вы никогда не забудете

Сдаётся мне, что (абсолютное) большинство жителей страны не смогут чётко ответить, в честь чего именно празднуется 23 февраля, а тем более назвать год.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от sanyo1234

Ты сам похож на LLM, если ожидаешь от них ответа на фактологический вопрос без веб RAG ?

Ок.

Что конкретно от них ожидать?

windows10 ★★★★★
() автор топика
Ответ на: комментарий от AKonia

Эмм, а сколько инференс занял на етой железяке?

Сколько что?

windows10 ★★★★★
() автор топика
Ответ на: комментарий от windows10

Что ты фигней страдаешь? Минимально нормально llm начинает работать с 200+ миллиардов параметров. У тебя не больше 8 миллиардов. 200 > 8, да? Ты школу посещал вообще?

Про то, знаешь ли ты законы диалектики, а именно переход количества в качество, даже спрашивать нет смысла. Твой тред это просто предельная тупость, а большинство отписавшихся здесь - целевая аудитория таких тредов. Лишат вас работы как два пальца об асфальт, а толку то от вас, с таким тупняком

James_Holden ★★★★★
()
Ответ на: комментарий от CrX

Я просто уверен в этом. Я даже больше скажу, что именно празднуется в этот день так и не смогли объяснить народу даже учредители этого, так сказать, праздника. И тем ни менее, мы все знаем что это «День Советской Армии и Военно-Морского Флота», и что бы это не значило, эту формулировку отчеканил бы любой советский пионер не зависимо, получили ли его родители продуктовый набор или нет.

Я вот с тех пор даже помню день рождения Карла Марла, и по совместимости День Печати… не говоря уже про Парижскую коммуну и прочие отмены крепостного права. Во как учили!

VIT ★★
()
Ответ на: комментарий от papin-aziat

Кто такой Кипелов и таки сколько ему лет?

Это тот который свободееееееееен. А сколько ему лет ХЗ.

bdrbt
()
Ответ на: комментарий от bloodmeri

Эм…

В троичной 2+2=11. 10 будет в четверичной (четвертичной? как правильно? с основанием 4, короче).

CrX ★★★★★
()
Ответ на: комментарий от James_Holden

Ии в том виде что сейчас - тупик.

Нужен самообучающийся с перекрёстной проверкой информации.

А сейчас - забронзовевшие корифеи

bloodmeri
()
Ответ на: комментарий от windows10

и куда нажать чтобы поставить много-много «параметров» ?

Оно в названии модели у тебя написано. Вот эти 3b, 7b, 8b — это оно и есть. b значит billion, то есть, миллиард параметров.

Чтобы «поставить много-много» надо выбрать и скачать модель, где эта циферка больше, например deepseek-r1:671b: https://ollama.com/library/deepseek-r1

Но у тебя железо не вывезет.

CrX ★★★★★
()

Подобные запросы требуют модели с функцией поиска в интернете, ты же пытаешься сверлить плоскогубцами

One ★★★★★
()
Ответ на: комментарий от James_Holden

Это как с эмигрантами.
Если вашему рабочему месту угрожают эмигранты , то у вас были проблемы и до эмигрантов ...
У нас на стройке ждём всех пострадавших от ии с распростёртыми обьятиями ...

bloodmeri
()
Ответ на: комментарий от windows10

Для Vosk'а и curl'а не нужны ни нейронки, ни 100500 гиг памяти =)

Vosk - это нейронка.

anonymous_incognito ★★★★★
()
Ответ на: комментарий от windows10

Что конкретно от них ожидать?

Зависит от размеров и типа модели.

Если речь про большие языковые модели (LLM), то от тех, которые можно запустить локально на более-менее доступном всем оборудовании, например, перевода с одного языка на другой, OCR (для мультимодальных, умеющих грузить изображения), резюме для текста. В принципе может хватить на не сложные программы по промпту, но вероятность галлюцинаций высокая.

Если использовать в своих программах, применения могут быть интереснее. Особенно, если хотя бы немного дообучить для своих целей. Применимы более-менее везде, где может понадобиться что-то вроде понимания естественного языка. Можно задать промпт, чтобы находило во входном тексте нужные сущности и помещала их в определённый формат. Например,

SYSTEM_PROMPT_V1 = """You are an  assistant that can understand person's Name (e.g. Name, First Name, Given Name) and/or Last Name(e.g. Last Name, Family) .  You are given a user's request in text format. You MUST respond any names of any person and record it in one XML tool_name, using the template.
Template: <tool_name><name>NAME</name><last_name>LAST NAME</last_name></tool_name>. If some arguments is not recognised the correpondence field should be empty. 
"""

И это работает! Правда для применимого результата конечно надо настраивать многое, иначе будут ошибки. Но иногда до какого-то предела ими можно пренебречь.

Или в RAG применять. Там смысл, что задается вопрос (на естественном языке часто) - система ищет релевантные данные во внешних источниках (индекс) - найденные данные + запрос отправляются в LLM - LLM генерирует ответ на основе предоставленного контекста.

Или просто, используя LLM генерируются эмбеддинги (векторы) для кусков информации, которые потом используются для поиска наиболее похожих объектов в векторной базе данных.

Если хочется реально программировать с помощью моделей, то лучше всего, конечно использовать не обрезанные (квантованные, дистиллированные) полноценные модели в интернете. Такие как ChatGPT, Claude, Qwen, Deepseek и др. Попробовать их локально шансов мало из-за требований к железу (и закрытости ChatGPT и Claude)

anonymous_incognito ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)