Опенсорсу конец

Я всегда думал, что там нет инкрементального обучения.

Сегодня нет, а завтра есть. Я хз, как оно там юридически оформлено и технически реализовано. Теоретически возможно написанное мной? Возможно. Чайник Расселла, понимаю, спорить на эту тему не стану.

В любом случае чудовищные объемы кода являются публичными, новый код произрастает из них и снова вываливается в паблик. В таких условиях трястись за сраное сокрытие ноу-хау будет приблизительно никто, а соревновательность уходит в область «как можно быстрее навертеть новых финтифлюшек на старый продукт, пока другие не навертели их еще больше».

имеет отношение такое же, как крыло бабочки к крылу боинга

То есть прямое.

Далее, ведь коммерческие конторы активно юзают или начинают юзать публичные сетки, в т.ч. и для разработки закрытых проектов.

у нас в политике использования ИИ стоит явно «никакие коммерческие секреты не должно вводить в промпты». Т.е. если человек загружает часть проприетарного кода в ЛЛМ - это уже нарушение. И теоретичеки, локальные зонды уровня ядра ОС, которые стоят специально, чтобы предотвращать утечку данных, могут такие случаи пресекать.

Я имею в виду не с философской, а с чисто практической точки зрения. Например, учат художника - он берет и пытается копировать работы учителя. Каратиста, стоит и отрабатывает движения, пока не будут получаться максимально похоже на стандарт, то есть копируются движения. И что значит сразу, попробуй без многолетнего обучения скопируй движения балета, например.

Сегодня нет, а завтра есть.

Если при этом не будет страдать общая производительность модели по сравнению с полным переобучением, то это будет день, когда ИИ перестанет быть просто баззвордом.

Это явление непременно подохнет, когда всем станет понятно, что внутри забора тщательно хранится ровно то же говно, которого и за забором навалом.

Скрывать будут только какие-то проприетарные протоколы обмена, ключи, входные данные, но точно не алгоритмы и структуры, выраженные в каком-нибудь петоне или расте, имхо.

К примеру, разработал ты микруху, и не хочешь раздавать всем спецификацию на ее внешнее конфигурирование, да? Сам код там тупой, а непосредственная последовательность и значение битиков, которые ты заливаешь - никому и так нафиг не упали, это вообще не про опенсорц уже, секретничай на здоровье.

Обучение заключается в многократном повторении (использовании встроенной способности) с целью возникновения инсайта, т.е. знания.

Оно тренирует нейросеть, внезапно. Цепочки нейронных связей, которые потом на автомате срабатывают так же.

Смысл обучения в минимизации loss function. И никаких других смыслов там нет.

Паттерн, по которому сначала происходит меморизация данных, а только потом генерализация, называется Grokking. Почитать можно здесь:

https://arxiv.org/abs/2201.02177

Скрывать будут только какие-то проприетарные протоколы обмена, ключи, входные данные, но точно не алгоритмы и структуры, выраженные в каком-нибудь петоне или расте, имхо.

Для стандартных и инфраструктурных вещей это давно уже есть в опенсорсе. В проприетарщине остаётся только то, что нестандартно. Грубо говоря, пока люди идут в магазин и покупают коммерческий миксер, а не DIY посылку дяди Васи, ничего опасаться не нужно. А на нормальный 3Д принтер у дяди Васи с его DIY подходом никогда не будет денег. Как и на топовую ЛЛМ у себя дома.

Физика для всех одна, да. Но проводить прямое сравнение, говоря что это одно и тоже нельзя. Это не одно и тоже.

Так можно сказать что межу камушком и человеком (другим живым существом) нет разницы, в камушке есть всё из чего состоит челик, и можно вместо камушкоф укладывать тротуар челиками. Ну, если ставим знак равно, так уж ставим. Только за такие мысли в дурке запрут и правильно сделают.

Так и тут. Это логическая удочка, и вот этими крючками поймали наши жопы. В смысле запудрили и запутали. Логически всё верно, там как в мозге (типа), но блин, нет.

Для стандартных и инфраструктурных вещей это давно уже есть в опенсорсе

Вот и я об этом же.

пока люди идут в магазин и покупают коммерческий миксер, а не DIY посылку дяди Васи, ничего опасаться не нужно. А на нормальный 3Д принтер

Заметь, это не про код уже. То есть, не про опенсорц или клозед-сорц.

Ну и отдельно еще всякие военные штуки, которые тоже недоступны в паблике. Да и пусть себе дальше будут недоступны. Зачем паблику код управления какой-нибудь системой доставки ядерного заряда со спутника в жопу счастливого адресата? Переживем без него.

он берет и пытается копировать работы учителя

Вообще не так. Сначала учат базовые «движения», потом более сложные, комбинации и т.д. При этом цель обучения не скопировать «движения», а понять как это работает.

Заметь, это не про код уже. То есть, не про опенсорц или клозед-сорц.

я просто даю пример, который нас немного уводит в сторону от ИТ, в которой у нас профессиональная деформация, и мы не всегда адекватно оцениваем ситуации.

Паттерн, по которому сначала происходит меморизация данных, а только потом генерализация

Дяденька, а зачем нужна генерализация, если «Смысл обучения в минимизации loss function». Просто запомни все варианты и loss function будет равна нулю. А может быть всё таки loss function нужно оптимизировать, а не минимизировать? Иди читай учебники дальше.

Но проводить прямое сравнение, говоря что это одно и тоже нельзя.

Ну да, вопрос всегда в проведении границы. На данный момент она не проведена достаточно четко и авторитетно для того, чтобы какой-то суд мог сказать «навалить данных в мясного это СОВСЕМ НЕ ТО, что навалить данных в железного». И имхо лучше даже не пытаться.

но и вероятность её как бы не 100%.

Начинать новый бизнес через GPL, сейчас глупо, когда есть возможность переписать твоё ПО и выдавать его за свой, без судебных последствий. А с учтём что ранее суд Оракл vs Гугле подтвердил, что интерфейсы тоже не подкопирайтом, то можно делать прям полные копии твоего ПО. Вот и всё т.е. всё зависит не от твоей лицензии, а от желания/не желания корпов «переписать» твоё ПО.

Бил такой браузер Конкверор, а нужен был браузер компании Апле и нужен был очень и очень быстро. И они его взяли и начали его переписывать под себя, а результат труда «пришлось» (именно пришлось, из интервью жопса) выкладывать ибо GPL. А потом пришёл Гугель взял продукт Апле ибо GPL и начал его под себя и теперь есть открытый хром. А если бы были нейронки, тогда в ходу то никому ничего бы не пришлось, что было бы сейчас очень даже хз.

Принуждать к свободе больше будет нельзя

Можно! Но для этого нужны старые, дедовские – томагавки

Добавлю ещё, да техничеки допустим можно создать машину которая буквально прям буквально скопирует работу допустим твоего или моего мозга, полная симуляция, абсолютная. Вот когда будет тогда и зададимся вопросом, но то будет уже просто решение наделять ли эту симуляцию равными правами или нет, просто решение, как монетку подбросить, но базируюясь на наших хотелках, а текущие нейросетки даже близко, даже приблизительно ничего общего кроме общих механизмов физических, алгоритмических общих для всего во вселенной от квазара до моей левой пятки, не имеют.

Так и базы данных в постгресе можно наделить тем что они помнят как человек, если в них используется механизм ассоциативных таблиц данных. Когда выборка А делается на основании связи с Б и Ц.

навалить данных в мясного это СОВСЕМ НЕ ТО, что навалить данных в железного

железка это железка, а в ней программа, это значит их владелец пошёл, лично накачал данных, лично всунул в железку и лично что-то делает, железка не сама по себе, у неё есть владелец, весь вопрос в том грубо говоря плевал он на других или нет. Данные в нейросети, да там хранятся (далекооо не всегда) не сами данные, а правила того как они построены. И тут уже возникают манипуляции, но если копнуть, то например свёрточные сети, автогенераторы, другие топологии и архитектеры могут и хранят исходные данные (лишь часть, но всё же) просто во внутреннем представлении, как в архиве сжатом например и при надобности если надо восстановят исходные данные, минуя генеративный процесс. Тупо сжали разжали. Так что тут ещё надо уточнять реализацию их тонны.

Истина где-то всегда посередине. Я не заявляю что я прав в абсолюте, но то что уровень мистификации вокруг сеток просто зашкаливает в этом я уверен.

могут и хранят исходные данные (лишь часть, но всё же) просто во внутреннем представлении, как в архиве сжатом например и при надобности если надо восстановят исходные данные, минуя генеративный процесс

Ну. А у человека не так? Когда ты пишешь int a=1;, ты точно уверен, что это не буквальная копипаста жопаельного кода из твоей памяти?

Истина где-то всегда посередине. Я не заявляю что я прав в абсолюте

Да хрен с ним, с абсолютом. Мы ж про американский суд, в конце концов.

Ну допустим, даже будет некий поток. Поток чего это будет? Поток более глючных и кривых (а прямее нейронка не перепишет) аналогов опенсорсных утилит, ничем в лучшую сторону от них не отличающихся. Кому и зачем это надо?

А кто тебе мешает сделать сеть из только одних автоэнкодеров? Взять, сжать во внутренее представление (аля zip) и разжать латентное пространство (внутренее представление) через трансформер, чтобы тот просто именования поменял. Всё. Абсолютно идентичный код на выходе. Никаких глюков, никакой отсебятины. Тупо перегон года в виде человекочитаемой обфускации.

чтобы тот просто именования поменял. Всё. Абсолютно идентичный код на выходе. Никаких глюков, никакой отсебятины. Тупо перегон года в виде человекочитаемой обфускации.

Вот в этом случае я не уверен, что такое «переписывание» не будет считаться производной работой. Тут многое зависит от того, как тупо эксперты на местах будут решения принимать.

Вот и фиг-то, пока они там примут решение, принять решение найти экспертов которые примут решение. Из проекта А под лицензией Б, сделают 100500 проектов В,Г,Д… под лицензиями Е,Ё,Ж,З… и они ещё переплетутся между собой, а часть их вообще станет стратегической (попадёт в закупки), а изначальная та самая первая автоэнкодерная сеть 100500 раз тупо потеряется или детерминированная среда для её воссоздания будет невозможна. И всё.

Зачем все крупные владельцы сеток, максимально их распространяют? Могли бы все поголовно SaaS делать, зная что у большинства в мире нет ресурсов запускать их модели. А для того и делается чтобы размыть всё это так, что концов не найдешь уже. Кто там чем как и через что генерировал, причём по кругу, даже те кто сгенерировал не помнят уже.

Я тут даже не буду выступать и своё мнение выдавать, мол это плохо, или это переходный период, или ещё что, типа сейчас плохо чтобы было лучше потом, или наоборот сейчас всё так доступно чтобы потом резко наоборот. Тупо как я вижу всё это со стороны в целом в динамике. Что из этого всего родится хрен его знает, может само в некое состояние утрясётся, как интеренет изначально хаотичный и его содержимое, плюс регуляция, может тупо тотальной регуляцией с поркой жопы, если что не так. А может ещё чего, будут авторы платить налогов много, их защитят, будут невронкодержатели налогов давать больше, будут щемить авторов, мол вы ребята молодцы, но ваши творения во славу прогресса! Так что помалкивайте, кроме вон тех вон киностудий и корпораций, их права выше ваших. И так далее. Спекулировать можно бесконечно и книжки писать. Вчера вон кино смотрел, там типа нейросудья вершил суды, только наоборот ты изначально виновен, и доказываешь типа невиновность.

Да, физическое уничтожение под корень ии-датацентров и их сопутствующей инфраструктуры поможет.

Но, мы-то понимаем, что томагавки будут наводить не люди на датацентры, а сам ИИ, хранящийся в этих датацентрах.

Вот чтоб этого не началось, надо успеть превентивно ликвидировать датацентры. Разумные политики могли бы это начать прямо сейчас, но мне кажется они не станут.

Когда ты пишешь int a=1;, ты точно уверен, что это не буквальная копипаста жопаельного кода из твоей памяти?

Да, копипаста, базовые конструкции в коде и слова в речи, копираста. Только вот если я по памяти в своём проекте воспроизведу например генератор ассемблера из gcc и выпущу под mit ко мне придут и засудят, если захотят. Не будет разницы я скопировал вставил, или запомнил, вставил. Да, все восхитятся моей клёвой памятью, но вердикт «виновен» это не отменит. А если воспроизведу int a=1; то ничего не будет, слишком маленькая констуркция, тут уже работает здравый смысл, запрещающий лицензировать примитивные по сути своей вещи, общеупотребительные слова, конструкции и так далее.

Хорошо давай в реальности как всё просиходит. Есть Вася, Вася хочет свой компилятор, вася взял готовый фремфорк для создания невросеток, Вася купил 50 A100 вычислялок, всё собрал, запустил, пишет «сгенерируй мне компилятор!», а оно не генерирует! Ой ой ой, вася делает apt source gcc и грит, на мол жри. Жрёт, и снова пишет «сгенерируй мне компилятор!» и вуаля, оно ему генерирует компилятор!

Вопрос, компилятор что получил Вася, прям весь такой самодостаточный и никак не зависит от gcc? Это буквально производный компилятор от gcc. И сеть тут не как человек, это тупо программа, которая перегоняет данные А в данные Б как и любая другая программа, просто по своему. Вся суть тут в Васе. А не его железе и софте. Это он им рулит. Всё его брахло просто ничто без изначальных датасетов.

Человек познаёт жизнь самостоятельно, многие из наших знаний и умений заложены изначально в топологию мозга, этому никто не учит оно вшито в нас. Да мы узнаём знания, учимся их анализировать и из получившихся кусков синтезировать новые знания. Но следуя здравому смыслу, минимальные части чего либо всегда принадлежат всем и никому одновременно, а значимые вещи уже выхлоп индивида.

Есть фундаментальная разница между созданием, и воспроизведением в другой форме. Человек может и то и то. Текущие популярные сети, физически неспособны что-то создавать, они воспроизводят одно и тоже, но в другой форме, не более чем в тех комбинациях что были основой в тренирующей выборке данных. С току сбивает огромная вариативность. Нейросети не создают, они преобразуют как с коллапсом волновой функции, которая может генерировать целые миры, в последовательности, подчиняющиеся строгим правилам, но рождающие на вид кажущуюся осмысленную вариантивность, лишь потому что оно подчиняется правилам построения, а вся вариативность это тупо подмешивание случайности.

В сети заложены части тех механизмов что происходят у нас, а не мы работает так же как сетки. По этому само выражение «А у человека не так?» не имеет смысла, а будет иметь тогда, и только тогда кода будет физически равнозначный аналог мозга, но это уже будет совсем другая история.

Всё это IMHO конечно. Но вот такое вот оно у меня, в данный момент. Есть ещё над чем думать. В конечном итоге, вне зависимости от развития технологий, если ты и правда сам решаешь что ты == невронка, ну значит ты так решил, ибо даже когда будет прям сильный ИИ прям кабда, реальный мегамозг, копия реального возведённая в степень. Будет тот же вопрос, это инструмент, или он тебе равня? Или может даже оно выше тебя? Это не технический вопрос, не философский, не экзистенциальный, это вопрос выбора.

Это объективное мнение суда, полученное в результате соревнования сторон. Каких-то более объективных процедур пока не придумали.

Это мнение суда, полученное в результате соревнования сторон. Каких-то более менее субъективных процедур пока не придумали.

А если моя нейросеть Perl 5.42 полностью переписывает код, который ничем не отличается от исходного, кроме копирайта?

полностью переписывает код

с перла на раст?

Это объективное мнение суда, полученное в результате соревнования сторон.

Если послушать американских судей, то там конченных over 9000. Иногда они даже не могут определить что такое мужчина и женщина. Про российский суд я даже не говорю.

А пермиссивные лицензии продолжат работать как работают.

Не, у пермиссивных лицензий тоже есть требования, но они будет тоже не выполнены, так же как требования GPL.

Принуждать к свободе больше будет нельзя

Аналогично с пермиссивными, принуждать к указанию авторства будет нельзя у многих есть и другие условия, например у лицензии Apache 2.0

Требование автора указывать себя в пермиссивной лицензии, не отличается от требования использовать туже лицензию в производной работе, и то и то равнозначно ценные требования, просто по факту того что это авторские правила распространения.

Просто если кому не нравится GPL отмывают это в MIT, а кому не нравится MIT отмывают это в WTFPL, а кому не нравится и это в публичное достояние.

Но все они, по факту тупо копирайтозатиратели и не более того. Клеящие шильдики имени себя в итоговую работу, к котрой они возможно пальца даже не прикладывали и понятия не имеют как оно вообще работает.

Столлман напилит GPL4

А смысл, факт использования кода для вброса в ИИ нельзя будет доказать технически. Поэтому нет смысла запрещать это в лицензии.

Можно подумать корпорации когда-либо реально соблюдали GPL. Ну будут не под вранье про «коммерческую тайну» прятать украденный код, а под враньё про «это нам ИИ™ написал», только и всего, с ровно тем же результатом.

Вообще, одной из основных задач ИИ™ является перекладывание любой ответственности за творимую дичь на этот самый ИИ™. «А кто у нас принял решение «поставить ХХХ в YYY» / «принять этот закон» / «выписать это лекарство» / «использовать микроскоп для забивания шурупов» / «выдать 100500 миллионов этому жулику» / etc., что привело к лютому факапу?» - «А это наш продвинутый инновационный ИИ™! Все вопросы к нему!»

Противодействовать несложно, на самом деле. Например, созданием качественных декомпиляторов, которые из закрытых бинарей проприетарщины будут без проблем делать вменяемый код на соответствующем языке. Не как сейчас, лапшу типа той, что выдаёт какой-нибудь Hex-Rays или Hydra, а более готовый к использованию. Чтобы реверс-инжиниринг софта превратился в лёгкую прогулку. Самое смешное, что как раз нейросетки могут в этой задаче помочь, ибо количество паттернов компиляторов и всякой их оптимизации хоть и велико, но всё-же конечно, а вот тренировачная база весьма обширна.

Так что ещё посмотрим, кто от этого решения американского суда выиграет, а кто проиграет. :) Есть совсем ненулевая вероятность что эти дебилы своим решением на самом деле прикончили коммерческий софт. :)

В целом то, такая фигня как перекладывание ответственности на машину была очень давно. Когда я учился, у преподавателей уже как мем было «а это компьютер так посчитал», причем речь шла о программе на паскале. Потом за эту фразу били по голове.

Теперь ИИ просто возводит эту хрень в абсолют, это просто квинтессенция перекладывания ответственности и функций мозга.

Есть совсем ненулевая вероятность что эти дебилы своим решением на самом деле прикончили коммерческий софт. :)

Скорее всего да, потому что опенсорс то вряд ли умрет, все равно будет примерно столько же людей, кто все это пилит. По крайней мере, нормальный опенсорсный опенсорс. А вот что с проприетарщиной будет, это действительно интересно.

Чем куски жопаели в датасете нейросети отличаются от кусков жопаели в твоем мозгу, и почему тебе можно кодить проприетарь, а сетке нет?

Очевидно, тем, что обладатель мозга является субъектом правоотношений, а нейросеть — нет.

и поэтому всё в мире должно быть GPL

Но ведь было бы хорошо.

Недавний компилятор C написанный Claude с нуля, как оказалось, успешно компилировал ядро Linux (потому что это было его тестом), но не мог собрать Hello world (потому что этого не было в ТЗ).

Боюсь представить, что будет с Qt пропущенным через нейронку) А переписанный LibreOffice будет корректно открывать только один файл и в нем будут работать только те кнопки, которыми регулярно пользуется автор (потому что остальные он не проверил).

Либо переписанный упомянутый проект был очень простым, либо автор лукавит и потратил сильно больше сил, чем один промт «перепиши код».

Не конец. По другую сторону баррикад белки-истерички творожатся, что конец коммерческому софту, потому что можно будет попросить ИИ сгенерить любое приложение и выложить нахаляву. Так что это работает и в другую сторону.

но не мог собрать Hello world

…на новых линуксах, потому что у него не был захардкожен путь к стандартным сишным либам в новых линуксах

бесплатный продукт от всемирно известного Оракла с нулевыми затратами на миграцию с гигантской службой поддержки.

Некоторые закидоны своих платных продуктов служба поддержки не может решить годами. Например, программу, использующую БД, нельзя ставить в директорию с круглыми скобками. Включая Program files (x86).

Ну то есть нейросетке и подавно можно.

Абсолютно пофиг. Открытого кода уже насрано столько, что в нем никто не будет разбираться. Для того и иишечку придумали - чтобы без оглядки насирать новый.

Но ведь было бы хорошо.

Хорошо было бы, если бы просто по умолчанию всегда любой софт шёл в виде исходников, и без всяких лицензий. И чтобы никто никому не указывал, что и как ему можно, а что нельзя делать с полученной информацией, тоже было бы хорошо.

Да и вполне возможно, что к этому и придёт. Вон нейросетки уже шатают эту шаткую конструкцию из всех этих авторских прав и лицензий, кому что можно, кому что нельзя. Может и окончательно расшатают, кто их знает. Давно пора всё сломать (возможно, потом построить заново, да и то не факт, что в принципе нужно). Авторское право в том виде, в каком оно есть, сложилось совсем в других условиях и для печати физических носителей. Оно совсем не адекватно современному миру.

Ой ой ой, вася делает apt source gcc и

…и всё, собственно. Непонятно, на кой хрен васе совершать еще какие-то действия.

Есть фундаментальная разница между созданием, и воспроизведением в другой форме.

Да с чего ты взял, что она фундаментальная? Что такого СОЗДАЛИ люди? Огонь? Колесо? Сортировку пузырьком?

В смысле, я понимаю, что мобильный телефон без участия человека вряд ли появился бы, но это настолько итеративный процесс, что как бы отличий от «возьмем то, что есть, и чуточку подогнём» там на каждой итерации не так уж много.

Пришёл условный Оракл и выпустил бесплатную версию Qt полностью совместимую к оригиналом

Ну во-первых нейронки не осилят переписать полностью совместимо. Компилятор вон сделали, так делает код медленнее в несколько раз и глючит и не подлежит исправлению, потому что говнокод. А во вторых, с Qt плохой пример, там и в оригинале багов, как блох на дворовой собаке, при переписывании нейронкой, подозреваю неюзабельное что-то на выходе.

можно просто переписать опенсорсный Qt.

Интересно, как ии это будет делать? Заменит названия переменных. Код же полностью открыт, как он будет изучать функционал.

...«побеждат тот, у кого есть относительно независимая экономика и энное количество воёванных дивизий.»

Пофиксил, не благодари.

ЗЫ По сабжу: текст в топике не показатель.