xAI опубликовала исходный код чат-бота Grok

Но если ты тренируешь нейросеть твиттами, то вряд ли затем ты сможешь обсудить особенности вывода уравнений в какой-нибудь кристаллической химии.

Я очень сильно сомневаюсь, что сырой грок на это способен. Для этого ему нужен файн тюнинг как минимум, который мы может быть скоро тоже увидим в открытом доступе.

И тем более не сама модель, которая лежит отдельно на торрентах, т.к. гит на 300 гигах начинает не очень хорошо работать.

Как я понял, на торрентах лежат веса, т.е. результат тренировки. Где код самой модели, или всё таки он в этих 40К и есть - пока так и не понял.

Дык там что код что модель всё едино. Вон нынче модельки для рисования вообще через браузер подгружаются перетаскиванием мышки. Там всего несколько (может тут я немного утрирую) одинаковых для всех моделек библиотечных функций. Всё что надо знать это какой библиотекой моделька делалась - pytorch(torch) или TensorFlow (более редкий зверь, популярность которого падает год от года), не уверен на счёт совместимости их обученных моделей между собой. А так любая pytorch модель по сути одинакова или почти одинакова, всё что надо знать - сама библиотека pytorch.

Там всего несколько (может тут я немного утрирую) одинаковых для всех моделек библиотечных функций.

А топология самой нейронки-то где задаётся? Именно в тех 40Кб, что на гитхабе? Я просто не понимаю, если топологию можно задать парой сотен строк кода, вызывающего библиотечные функции из pytorch или TensorFlow, то в чём вся мега-разработка?

Или же топология встроена в веса, которые на торренте? Если так, то тогда, по идее, эти же веса можно загрузить и любым другим аналогичным кодом, а именно этот реп с гитхаба можно и не качать?

наверное потому что ФСБшная Калинка человекоподобный LLMs бот научилась успешно предугадывать наши действия 🤠

А топология самой нейронки-то где задаётся?

В тех 300 гигах обученной модельки. Кода которым нейронку учили там нет и не будет по очевидным для меня причинам (такие объемы данных на которых её учили прямо жирно намекают на то что они были украдены, одного твиттера мало, есть мнение что там внутрях либген и ворованный контент с других социальных сетей)

В тех 300 гигах обученной модельки.

Ок, а тогда зачем именно эта гитхабоская репа? Ведь есть, наверное, какой-то «стандартный» формат задания весов и топологии? Если веса и топология на торренте, то в чём специфика данного репозитария, применительно к Grok?

Кода которым нейронку учили там нет и не будет по очевидным для меня причинам

Так опять же, если топология зашита в веса, то, казалось бы, для обучения никакой специфический код и не нужен? Процедура обучения ведь должна быть стандартная, или нет? Вообще, есть что-то ещё, кроме топологии нейронки и массива обучающих данных, что определяет специфику конечного продукта?

Ок, а тогда зачем именно эта гитхабоская репа? Ведь есть, наверное, какой-то «стандартный» формат задания весов и топологии? Если веса и топология на торренте, то в чём специфика данного репозитария, применительно к Grok?

Там остальные детали которые специфичны именно для грока.

нейросети уже научились обучаться на шелухе, которую порождают другие нейросети?)

ждём когда выйдет ФЗ на запрет использования CHAT GPT/GROK и того когда спецслужбы встроят нейронку что обучалась бы на инормации взятой из ВК/Телеграм