LLM - замена мозгу, небольшой опыт

На след №-летие ЛОРА, Максиму нужно вынести предложение написать скрипт, банящий на полгода за словосочетания «нейросеть», «LLM», «ИИ», «gemini», «chatgpt», «grok» и тд.

Реально притомили уже этой затычкой в каждую жопу.

Можно нейросетью анализировать посты, и банить за использование или упоминание нейросети, чтобы нейросеть отслеживала пользователей нейросетей и банила за нейросеть из нейросети через нейросеть, чтобы нейросети шли отсюда сидеть в нейросетях через нейросети, получая сгенерированные ответы нейросетью от нейросети, читая в нейросетях.

несмотря на дурь и несуразицу американской медицины, как-то так получается, что польза есть

Они живы скорее вопреки. Слышал такое выражение «хорошая генетика»? Это оно. Оставь в покое этих счастливчиков, и поразмышляй о тех, кто уже ушёл или стоит на пороге, хотя последнее не всегда очевидно.

Например, много ты видишь мужчин за 60? Женщин таких довольно много, но обрати внимание на их состояние… А проще прогуляться в поликлинику, где как раз тусуются «выжившие», отнюдь не на лыжных курортах или хотя бы в спортивных залах.

Проблема не в медицине, она развивается и это прекрасно, а то, что она основной частью развивается не туда — это нормально, так все делают. Проблема в самой нашей цивилизации и никакая наука проблем с болезнями и ранней смертью не решит никогда по определению.

Вот такая аналогия. Ты доверишь чинить свой автомобиль человеку, который не может его ни разобрать, ни тем более собрать назад?! А здоровье своё доверяешь… Никакие врачи не могут ни разобрать самую маленькую клеточку, ни тем более собрать её назад в живое состояние. Однако эти люди уверенно берутся «лечить» организм, состоящий из миллиардов таких клеток и являющийся системой.

Медицинская наука — это пятилетний ребенок, возомнивший себя способным рулить космическим кораблём. Я не утверждаю, что это плохой ребенок, нет.

«Да, человек смертен, но это было бы еще полбеды. Плохо то, что он внезапно смертен. Вот в чем фокус.»

Да все ништяк с медициной, в смысле, немало она умеет. Но человек же кривой, монолитный, вкусный для бактерий, грибов и паразитов, и к тому же сам старательно лезет в могилу, и других к этому склоняет. Откуда ж тут ждать чудес.

человек же кривой

Вот когда на Марсе начнут жить, вот тогда действительно будет кривой.

Да всегда были.

Какие аргументы?

Пацаны в падике так говорят, которые анатомию и физиологию изучали по-настоящему.

Ещё одни дети, возомнившие о себе…

А чего там пацаны про большой взрыв говорят, он-то хоть удачно бахнул или сразу криво пошло?

Видишь ли, я не против демагогии, но она должна быть либо веселой, либо умной.

А твоя вечная заунывная песнь вокруг «мы не знаем, как возникла вселенная, поэтому и гонорею лечить мы тоже не умеем» - это мгновенно как-то навязло и стало скучным, давно еще.

Пацанам не нравится, что некоторые органы устроены не самым удачным образом, и тому они находят объяснение — эволюция. Она не создаёт заново, а лепит из говна и палок одно поверх другого.

Я правильно понял твой первый посыл?

Теперь объясняю свой. Дети, потому что думают, что сделали бы лучше. Скорее всего и взрыв у них был кривой, иначе дела пошли бы иначе и всё было бы зашибись.

О возникновении вселенной я ещё не начинал.

Ага, правильно.

Дети, потому что думают, что сделали бы лучше.

Дык они так и не думают. Лишь мечтают. И то - не сделать лучше, а влезть в гены поглубже, чтобы хотя бы совсем кривое не вылезало.

Дык они так и не думают.

Если бы не думали, то никогда бы не отзывались о данной архитектуре, как о неудачной.

Лишь мечтают. И то - не сделать лучше, а влезть в гены поглубже, чтобы хотя бы совсем кривое не вылезало.

Здесь, к сожалению, мы в тупике разговора, что касается этих мечтаний. Нельзя сказать, что это надо прекратить, потому что хз, а вдруг. А я могу лишь противопоставить свои убеждения твоим, но мы не узнаем, кто оказался прав.

Я считаю, что это пустая трата времени, однако проблема не в этом, а в том, что подаётся обществу это всё не как, скажем, полет на другой край вселенной, а как уже серьезные шаги в известном и надёжном направлении.

Пример, как раз про гены и чебурашки. Ролик в ютубе, где тётка учёный читает лекцию беременным или около того, о генах и как эти знания можно применить, чтобы дети хорошие получились… Короче, долго вещала про последние открытия, оговариваясь каждый раз, что мы пока с этим или тем ничего поделать не можем, но вот вам пару советов… В результате «мы пока ничего не можем» и кучка советов, которые можно получить от бабулек на скамейке у подъезда совершенно бесплатно.

А чего там пацаны про большой взрыв говорят, он-то хоть удачно бахнул или сразу криво пошло?

Криво конечно. Иначе как объяснить, что вокруг всё через задницу сделано.

Если бы не думали, то никогда бы не отзывались о данной архитектуре, как о неудачной.

Да схреналь.

Ролик в ютубе

Ах, ролик в ютубе. Ты б еще карточку товара на алиэкспрессе предъявил. Ну написано же, что мазь от всего, а я намазался и только чешусь почем зря. Говно эта ваша наука!

Сообщение не читал, но заголовок впечатляет.

Мне кажется это самый главный подвох нейросетей: какая бы она умная не была, сколько бы ресурсов не было, она не может работать самостоятельно и принимать решения, т.к. ее надо постоянно перепроверять.

IMHO LLM лишь галлюцинируют на базе прочитанного в тырнете, а степень их галлюцинаций зависит кривизны промпта?

LLM — это многоуровневый паттерн матчер. Вопросы механистической интерпретации в массовых публикациях обычно не затрагиваются потому, что если бы вы поняли, как она принимает решения, то вы бы упали в обморок на месте. Этот процесс больше похож на студента со шкафом упорядоченных шпаргалок, и на каждый вопрос студент аккуратненько перебирает шпаргалки из каталога.

Другое дело, что нужно ли вам «самостоятельное решение»? В айти всего 4 года назад самым писком моды было копипаста бойлерплейта не приходя в сознание — все процессы разработки были под это заточены. Эдак 90% всех работ — это так называемое bullshit jobs, людей просто занимают для того, чтобы они не шатались по улицам просто так.

на каждый вопрос студент аккуратненько перебирает шпаргалки из каталога.

Именно этим LLM мне и нравится, с одной стороны тупая как пробка, с другой стороны идеальный поиск по чужим шпорам.

Для того, кто понимает написанное в шпорах, - это просто супер инструмент. Для непонимающего - китайская грамота в перемежку с ошибками.

Ну так то оно обучено на наборе данных, который взят в интернете, размечен специальным образом людьми. Данные из интернета взяты из жизненного опыта.

Если ты живешь в дружественных к англосаксам странах второго-третьего мира, то ты можешь поучаствовать в ручной разметке данных и дрессировке нейросетей. Специалистам по IT, химии, математике, медицине платят очень большие деньги за это дело, но даже простым людям платят зараплату мидл разработчика за дрессировку ИИ.

Вызвано это тем, что предел нынешних технологий LLM уже несколько лет как достигнут (у гугла была модель на 400 миллиардов параметров ещё в 2022), всё дальнейшее развитие пока что идёт по пути удешевления, многомодальности (фото, видео, звук), но сами трансформетры и принципы обучения не поменялись.

Галлюцинации это когда модель плохо обучена или работает в некорректном окружении

Галлюцинация — это в принципе единственный способ инференса в LLM. Усовершенствование нейросеток приводит к тому, что точность ответа повышается с 60% до 90%, до 95%, до 99%, но она никогда не сможет со 100% вероятностью дать точный ответ, даже на довольно простой вопрос.

Говно эта ваша наука!

…вчера весь город обегал, плашек три восьмых дюйма достать не мог. Нету. Нет! А трамвай собираются пускать (c)

LLM и local LLM это совершенно два разных мира. В первом случае это серьёзный помощник (сужу по google AI studio), во втором баловство на уровне минимальных задач подстановки ФИО и склонений в письмах

написать скрипт, банящий на полгода

А вот консольные команды без оформления можно и сразу не пропускать.

принимать решения вместо меня

Принимать решение придётся тебе, и выдавать агенту задания, потом проверять и выбирать. Поэтому творчество - это про людей. А мозгозаменитель - это инструмент, которым надо уметь пользоваться.

На след №-летие ЛОРА, Максиму нужно вынести предложение написать скрипт, банящий на полгода за словосочетания «нейросеть», «LLM», «ИИ», «gemini», «chatgpt», «grok» и тд.

Ага, и поручить эту работу LLM.

Эдак 90% всех работ — это так называемое bullshit jobs, людей просто занимают для того, чтобы они не шатались по улицам просто так.

А за чей счёт этот банкет?

Ага, и поручить эту работу LLM.

Можно просто grep'у =)

А за чей счёт этот банкет?

За счёт роботов. Вот Маркс мерял работу человекочасами — а что делать, если всю работу делают роботы? Кому должны ресурсы при этом доставаться? ChatGPT?

То есть по вашему вся эта суета вокруг agentic AI - бред сивой кобылы?

Ага, на сегодня это точно бредогенератор и просто чуть прокаченный фильтр данных. Не вижу фундаментальных причин бояться что он сможет действительно решить какую-то стоящую проблему, но вот в перспективе глючить скорее всего будет еще больше, т.к. качество материала, на который опирается ИИ, будет падать в связи с падением качества «специалистов из реального мира» (это как «снежный ком» будет).

Сейчас уже звучат слова, требующие чтобы учителя не опирались на домашнее задание, т.к. эта практика не действенна из-за использования школьниками ИИ (распознать при том кто/что делало домашку - тоже не вариант)… И скоро эти «молодые» специалисты попадут в наш мир - тут думаю много разъяснять не стоит что к чему…

Я вам только один пример приведу, то, с чем вчера работал. Необходимо повысить точность декодирования кубитов, используется для этого нейронная сеть. На начальном этапе данных нет вообще, все кубиты в производстве уникальны, поэтому генерируется набор искусственных данных с характеристиками дистанции для кода, скажем 5. После этого нейронка обучается и натравливается на декодер. Теперь данные начинают поступать реальные, от измерений. Делим кубиты на секции, в одной секции выполняем считывание со старыми параметрами, а в другой - доучиваем нейронку. Время от времени синхронизируем. Оказалось, что точность декодирования начинает улучшаться нелинейно и тем быстрее, чем больше дистанция. Для больших дистанций, порядка 11, появляется плато, но уже сейчас можно говорить про улучшение декодера более чем на порядок.

Это я рассказал то, что можно сказать на открытом форуме. Удачи в вашей борьбе! Повторяется история с кибернетикой, пока вы боретесь с ветряными мельницами, наш Президент подписывает указ о координированном использовании и сборе данных национального масштаба для обучения систем во всех областях науки с бюджетом примерно два триллиона.

Повторяется история с кибернетикой

ИИ - продажная девка… эээ… запада!

Довольно стремно они с агентной работой справляются судя по всему. Большой промт вообще сразу сильно ухудшает качество ответа, даже на топовых моделях.

продажная девка… эээ… запада!

Какого запада? Империализма! Совсем уже классику забыли, а ещё хотят называться домом высокой культуры быта!

Claude Opus по текстовому описанию генерирует программу на питоне размером 340 строк, и она работает без правок. В том числе сразу же реализована работа с конфигом в хомяке и аргументами командной строки.

Ну типа будущее наступило.

LLM и local LLM это совершенно два разных мира. В первом случае это серьёзный помощник (сужу по google AI studio), во втором баловство на уровне минимальных задач подстановки ФИО и склонений в письмах

Я пока нашел 2 задачи, которые адекватно решает local LLM:

• Перевод текстов. В том случае, когда паранойя не позволяет палить переводимое большому брату, Gemma локально справляется удовлетворительно.
• Семантическая индексация изображений (составление текстовых описаний для изображений).

Я пока нашел 2 задачи, которые адекватно решает local LLM

А что насчёт Summary длинных текстов? Или лёгких стилистических правок (а также возможно даже наоборот написания шаблонов) для каких-нибудь «официальных» писем?

И как ты запускаешь LLM? На GPU или CPU?

Итак, и этак. Была возможность запускать на GPU, щас пока нет. Гоняю пока ministral-3:3b на i5 для каталогизации фото. Работает МЕДЛЕННО, собака.

Ну а Клод за меня второй день пишет код на питоне. Я в легком шоке. Код работает. Структурирован не идеально, но терпимо.

А что насчёт Summary длинных текстов? Или лёгких стилистических правок (а также возможно даже наоборот написания шаблонов) для каких-нибудь «официальных» писем?

gpt-oss на 20B плохо работает с русским языком да и в целом с грамотной речью у него не очень, даже на английском. Он и в «большой» версии не очень с русским работает. Чувствуется деревянность даже если логически всё правильно написал.

gemma-3 12B неплохо работает с русским языком и в целом заточен именно на то, чтобы грамотно писать. Но при формально заявленных 128K контекста, на практике ему не хватает глубины связей, чтобы качественно понимать длинные контексты. Чем больше входной объем, тем больше модель становится похожа на чат-бота до-LLM эпохи: начинает прослеживаться хождение по её внутренним «рифмам» смысловых связей, а не по тому, что лежит в контексте, и иллюзия наличия интеллекта и сознания спадает. Результат неудовлетворительный.

Однако для небольших текстов - в принципе вариант рабочий.

gemma-3 4B плохо умеет следовать заданной команде. Например, может пропустить часть текста при переводе. Или не соблюсти указанный формат ответа.

У меня получилось, что ministral-3 3B лучше следует командам, при этом всё еще удовлетворительно переводит на русский и с русского на английский, поэтому для включения в автоматизированные цепочки я её выбрал.

Сделал эксперимент, в этой фразе каждое нечетное слово написано GLM, а каждое чётное - Deepseek. Первое слово задал я, дальше они сами. (отсутствие пунктуации - артефакт формулировки задания, так как требовалось писать только «слова»)

Linux позволяет устанавливать разнообразное программное обеспечение легко и гибко адаптируя систему под конкретные задачи пользователя эффективно автоматизировать рутинные процессы без затрат налицензии

Иногда правильные ответы это скорее прикольный сайд-эффект от разрастания размеров модели

Всегда

такие компании как Google, Microsoft, OpenAI и Anthropic не покупали бы графические карты еще неостывшими с фабрик TSMC, а нашли бы лучшее применение своим деньгам.

Они как бы и нашли лучшее применение своим деньгам вообще-то. Для корпораций - лучшее применение деньгам это когда манагеры могут наплести инвесторам и игрокам на бирже лютой дичи которая приведёт к увеличению количества желающих прикупить акций, что при небольшой помощи владельцев компьютеров бирж приводит к росту акций и обогащению инвесторов.

Если заявление о покупке «графической карты» за $1000 приводит к росту цены миллиона акций торгуемых на бирже на 1 цент (т.е. росту ассетов инвесторов на $10000) - то они будут покупать эти «графические карты» даже если они им ни для чего реально полезного не нужны.

Разумеется, получения какой-либо реальной практической пользы от этих «графических карт» при этом вообще не подразумевается.

По прошествии времени, аккурат перед тем, как пузырь лопнет или рост акций остановится, те кому надо продадут свои акции, и останутся с прибылью намного превышающей затраты на «графические карты». Таким образом деньги компании потраченные на покупку «графических карт» перетекают в личные карманы инвесторов, что и является целью всего этого балагана который ты ошибочно принимаешь за некий технический прогресс и развитие новых технологий.

Ну если CDE станет еще более лучше, то никто не откажется

Ну а Клод за меня второй день пишет код на питоне.

Насколько хороший код? Я пробовал программировать с LLM. С маленькими моделями получается плохо. С большими получается сделать каркас (который все равно требует множество правок), но на своем компьютере я их запустить нормально не могу, отчего приходится пользоваться через браузер посторонними сервисами.

Типа такого, фрагмент. Дальше нужно переходить к классам, так как написание в в стиле лапши из функций дальше уже архитектурно нецелесообразно. Посмотрим, как он справится…

# ============================================================================
# Configuration management
# ============================================================================

def load_config() -> dict:
    """Load configuration from file, falling back to defaults."""
    config = DEFAULT_CONFIG.copy()
    
    for config_path in CONFIG_PATHS:
        if config_path.exists():
            try:
                with open(config_path, 'r', encoding='utf-8') as f:
                    user_config = yaml.safe_load(f) or {}
                config = deep_merge(config, user_config)
                break
            except Exception as e:
                print(f"Warning: Could not load config from {config_path}: {e}", 
                      file=sys.stderr)
    
    return config


def deep_merge(base: dict, override: dict) -> dict:
    """Recursively merge override dict into base dict."""
    result = base.copy()
    for key, value in override.items():
        if key in result and isinstance(result[key], dict) and isinstance(value, dict):
            result[key] = deep_merge(result[key], value)
        else:
            result[key] = value
    return result


# ============================================================================
# Image processing
# ============================================================================

def resize_image(image_path: Path, max_size: int) -> tuple[bytes, str, tuple[int, int], tuple[int, int]]:
    """
    Resize image so longest side is max_size pixels.
    
    Returns:
        Tuple of (image_bytes, mime_type, original_size, new_size)
    """
    with Image.open(image_path) as img:
        width, height = img.size
        original_size = (width, height)
        
        # Calculate new dimensions
        if max(width, height) <= max_size:
            # No resize needed, but still process for format consistency
            scale = 1.0
        else:
            scale = max_size / max(width, height)
        
        new_width = int(width * scale)
        new_height = int(height * scale)
        new_size = (new_width, new_height)
        
        # Resize if needed
        if scale < 1.0:
            img_resized = img.resize((new_width, new_height), Image.LANCZOS)
        else:
            img_resized = img.copy()
        
        # Convert to bytes
        buffer = BytesIO()
        
        # Preserve transparency for PNG, otherwise use JPEG
        has_transparency = (
            img.mode in ('RGBA', 'LA') or 
            (img.mode == 'P' and 'transparency' in img.info)
        )
        
        if has_transparency:
            img_resized.save(buffer, format='PNG', optimize=True)
            mime_type = 'image/png'
        else:
            # Convert to RGB for JPEG
            if img_resized.mode != 'RGB':
                img_resized = img_resized.convert('RGB')
            img_resized.save(buffer, format='JPEG', quality=85)
            mime_type = 'image/jpeg'
        
        return buffer.getvalue(), mime_type, original_size, new_size

Я пробовал программировать с LLM.

Я тоже,для микроконтроллерной поделки на AVR.

получается сделать каркас (который все равно требует множество правок)

Да, примерно тот же результат. Но я всё равно считаю его полезным. ИИ знает «лучшие практики» программирования,как предпочтительно делать то или иное. Я естественно знаю не всё,а во всяких нагугленных примерах чужого кода (и даже в аппнотах от производителей!) далеко не всегда удачные варианты именно «каркаса» встречаются. Иногда это очевидно сразу,а иногда бывает упираешься в ограничения выбранной структуры программы уже после того как довольно много чего понаписал и это весьма обидно.

но на своем компьютере я их запустить нормально не могу

Я тем более не могу уже просто потому что не знаю как это делается.

приходится пользоваться через браузер посторонними сервисами.

Аналогично. Но так как ничего секретного я не делаю то потенциальная утечка данных туда меня не беспокоит. Это был вообще даже не коммерческий проект,а обычное радиолюбительство как хобби.

Кстати, может быть кто-нибудь поделится ссылками на свободно доступные сервисы,ориентированные именно написание кода,а не просто на болтовню?

Гоняю пока ministral-3:3b на i5 для каталогизации фото. Работает МЕДЛЕННО, собака.

Так их человеку-то весьма проблемно каталогизировать просто из-за нечеткости критериев отнесения конкретной картинки туда или сюда. Картинка человека с собакой - это «портреты»,«фото животных» или какие там еще категории для него придумать можно? Теоретически надо бы сразу в несколько категорий картинку помещать,но не очень понятно как это технически делать - раскладывание по подкаталогам тут уже не подходит.

Поэтому и требуется поиск по смыслу.

Жесткие антологии не работают. На этом еще в 2010-х пытались интернет построить. Не взлетело.

Сейчас, когда есть возможность репрезентации смысла как многомерного вектора, мы имеем практический инструмент для работы со смыслами как есть.

не очень понятно как это технически делать

sqlite + комбинированный поиск по ключевым словам и эмбеддингам

sqlite

Картинки что ли в него пихать? А не подавится размерами?

Зачем картинки. Текстовое описание, составленное мультимодальной LLM.