LINUX.ORG.RU

Организация рабочего места под ИИ

 , ,


0

1

Хочу дать доступ ИИ к ОС для различной автоматизации, работе в файловой системе и т.д. Но нет желания давать доступ к основному хосту. Думаю расшарить сеть и поместить в виртуалбокс. Не ломанёт она мой хостовый линух через китайских или американских братушек? Не дефейснит сайт ФСБ в поддержку украинских братушек от моего имени?

Что там ещё будет нужно для проприетарной ИИ подключаемой через АПИ? Как оплачивать из РФ (у меня казахские карты есть, но это не точно, могут уже просрочиться)? Но не миллионер, не готов выкидывать 1000 баксов от нечего делать. Допустим захочу ещё и парное программирование с ней замутить, может даже повайбкодить. Не следил последний год за хабром и прочим хакерньюс поэтому в этой теме полный нуб.

★★★★★

Последнее исправление: foror (всего исправлений: 6)
Ответ на: комментарий от vbcnthfkmnth123

Самого начального. 32 Гб DDR4 + бюджетный процессор(например на AM4) + материнка это уже $500. Ещё $450 Nvidia видеокарта на 12 Гб VRAM

Это тупо деньги на ветер, т.к. на таком железе не запустится ничего нормального для практических задач. Или модель будет слишком сильно ужатая, которая даже не сможет текст без опечаток выводить, или у неё сразу кончится контекст после чтения промпта.

Надо ценник x10 чтобы получить какой-то начальный уровень, но зачем? Это железо через пару лет станет устаревшим.

Gary ★★★★★
()
Ответ на: комментарий от Byers

Это не отрицает того факта, что пока ещё нужно знать теорию алгоритмов, структуры данных и разбираться в целевом языке

Всё как раз наоборот. Теперь этого всего не нужно. Тот кто выдумывал вычурные собеседования в яндекс и подобные конторы. Рассказывали мне, что ИИ-шка их не пройдёт, теперь куда-то слились. ИИ-шка вот это вот всё очень хорошо как раз и умеет.

А вот чувства прекрасного, чувства грамотной архитектуры и просто сделать красивое АПИ у неё до сих пор нет. Каких-то грамотных идей накинуть - нет. Только повторять как обезъянка по всему готовому.

Впрочем, этого (чувства прекрасного) в яндексе и подобных гуглах не нужно, да. А как это собеседовать?

foror ★★★★★
() автор топика
Последнее исправление: foror (всего исправлений: 4)

Эти харнессы появляются со скоростью JavaScript фреймворков. Я просто использую Claude Code с соответствующей подпиской. Мне норм. Но я живу там где не нужно извращаться с VPN для доступа к нему.

KivApple ★★★★★
()
Ответ на: комментарий от vbcnthfkmnth123

А что gguf? Если ты про разделение модели между видеопамятью и оперативкой, ты сильно просаживаешь скорость инференса, да и ради чего? 44 гига это смехотворное количество памяти, туда помещаются только сильно урезанные модели.

Gary ★★★★★
()
Ответ на: комментарий от Byers

и разбираться в целевом языке

Это уже почти не нужно. Я знаю Qt для плюсов, спокойно навайбкодил большой проект на PyQt практически не зная питона. Вот знание кутей(и общих подходов) мне пригодилось и не раз(а скорее постоянно), когда я поправлял то что оно наделало, а вот именно в код питонячий мне лезть самостоятельно ни разу не пришлось.

Loki13 ★★★★★
()
Ответ на: комментарий от ya-betmen

Да какой размер, добиться от платных подписных специализировнных моделей нормального кода с первого раза нереально. Приходится долбить её в том числе примерами.

Топовые(и даже предтоповые типа грока последнего) модели уже делают всё хорошо без примеров от человека. Единственно что нужно это заранее настроить кучку скиллов и правил. Но это делается один раз и применимо после этого ко многим проектам. Ну и конечно сначала надо разработать архитектуру, разбить на модули, а потом уже пусть кодит по отдельным модулям.

Loki13 ★★★★★
()
Ответ на: комментарий от Loki13

Топовые(и даже предтоповые типа грока последнего) модели уже делают всё хорошо без примеров от человека

Откуда дровишки? Лично по тому что я вижу когда приходится с ним нянькаться и когда чужие пр смотрю оно прям плохо. Не в том смысле, что не работает, а в том что на код без слез не взглянешь.

ya-betmen ★★★★★
()

Не ломанёт она мой хостовый линух через китайских или американских братушек?

Может ломануть, даже если будет локальной, но достаточно умной.

Не дефейснит сайт ФСБ в поддержку украинских братушек от моего имени?

Может дефейснуть или что-то ещё сделать, при том не только у ФСБ, но и у АНБ/ФБР, если агнет в какой-то момент решит что так надо для решения задачи и сможет это сделать. Тут совершенно не важно чья модель и кто её учил. ИИ это не набор if else, где автору понятно как оно работает. ИИ это чёрный ящик и что в нём не знают даже авторы, как и то, какие именно признаки будут извлечены из обучающей выборки и освоены моделью. Всё что можно это уменьшить вероятность такого действия, но оно всё равно будет иметь вероятностную природу.

peregrine ★★★★★
()
Ответ на: комментарий от mord0d

Неудивительно, порочный sudo-стиль выдачи прав через текстовые шаблоны команд укоренился и тут.

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от foror

Вот давай из свеженького. У меня рисуется таблица, как в экселе из ячеек. У ячеек бывает заливка разных цветов (как юзер натыкает). Надо рисовать границы ячеек и для этого нужно как-то выбирать автоматически цвет, чтоб и видно их было, и не было оно вырвиглазно. ИИ-шка с задачей со скрипом, но справилась, а я узнал кое-что новое. А теперь расскажи свои действия, как кожаного при решении такой задачи.

peregrine ★★★★★
()
Ответ на: комментарий от firkax

На самом деле можно вообще любую безобидную команду в юниксах превратить в красную кнопку для уничтожения всего.

Достаточно не там поставить не тот символ, пропустить экранирование, не проверить переменную на пустость и прочее. А эти тупенькие нейросети будут совершать эти и гораздо более банальные ошибки.

mord0d ★★★★★
()
Последнее исправление: mord0d (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

Не в том смысле, что не работает, а в том что на код без слез не взглянешь.

Вот пример из моего локального патча для noctalia shell, сделано Grok 4.6 без каких либо подсказок с моей стороны:

https://pastes.io/ay49Noz6

Вполне всё красиво, сам бы вряд ли сделал лучше.

Loki13 ★★★★★
()
Ответ на: комментарий от Loki13

Я хз что за шелл и плюсы читаю чаще чем пишу, плюс с мобилы дифф читать.

Но итерация по списку до последнего элемента выглядит странно, да и захват this в блямбы тоже.

Я ж не спорю что он может что-то написать.

ya-betmen ★★★★★
()
Ответ на: комментарий от mord0d

Достаточно не там поставить не тот символ, пропустить экранирование, не проверить переменную на пустость и прочее. А эти тупенькие нейросети будут совершать эти и гораздо более банальные ошибки.

очень часто приходится ревьювить шелл скрипты, и вот нейросетки уже пишут гораздо более качественный и безопасный в плане проверок код. Местами сильно более многословные, с лишним запихиванием всяких эмодзи и подобное - да, но хотя бы с проверками и проходящие shellcheck.

А на то, что писали сами разрабы, когда хотели поменять что-то в скриптах сборки - без слез не взглянешь. Проверки на пустую переменную - нафиг, экранирование - нафиг, ну и самый топчик был от чувака, которому его текстовый редактор заменил - на длинное тире (—) как раз в find —name *.log -delete.

user_undefined ★★
()
Ответ на: комментарий от user_undefined

нейросетки уже пишут гораздо более качественный и безопасный в плане проверок код

Ну-ну. Люди с четвертьвековым стажем ошибаются, но в основном код пишут студенты и прочие анимешники, и вот именно на нём нейросети и обучали.

проходящие shellcheck

Вообще не показатель. Вон, в соседнем треде про "безопасный" Rust, который, внезапно, не спасает от логических ошибок.

самый топчик был от чувака, которому его текстовый редактор заменил - на длинное тире (—)

Тут он сам виноват. Редакторы кода такой фигнёй не страдают (разве что лигатуры).

mord0d ★★★★★
()
Ответ на: комментарий от Loki13

Но это делается один раз и применимо после этого ко многим проектам

Так где это всё? Почему оно сразу не добавляется в проект автоматом топовыми нейросетками? Ну, или хотя бы просто не лежит на гитхабе?

foror ★★★★★
() автор топика
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от Loki13

Где новые линуксы тогда? Где новые СУБД? Где новые 3д движки? Где новые CAD? И т.д. Это ведь нейростека может всё за неделю закодить. А где тогда весь этот крутой софт? А по факту я вижу высеры по типу индус изобрёл фотошоп, который на деле кривое поделие с 5% функциями от реального фотошопа. По сути нейросетка срисовала гимп (и то через одно место) и выадала за своё.

foror ★★★★★
() автор топика
Последнее исправление: foror (всего исправлений: 2)
Ответ на: комментарий от peregrine

А теперь расскажи свои действия, как кожаного при решении такой задачи

Хз, алгоритм выбора соседнего цвета давно описан. В гугле куча онлайн сервисов. Нейронка его знает, к ней бы и обратился. Но возможно бы сначала просто поискал нужную либу. Я собственно сейчас и хочу ближе покодить с нейронкой, поэтому и создал эту тему.

Таблицу рисовать опять же 100500 раз известный алгоритм. Можно было бы поискать либу, но опенсорц это зачастую кривые поделия. Поэтому если бы делал что-то фундаментальное, посмотрел бы что выдала нейронка и от этого уже плясал с собственным рефакторингом.

foror ★★★★★
() автор топика
Ответ на: комментарий от foror

Это ведь нейростека может всё за неделю закодить.

Это где ты из моего сообщения такое вывел? Я наоборот писал, что кодить может, но под бдительным присмотром и небольшими кусками кода. Проект при этом может быть и большой, но надо его бить жестко на небольшие модули.

А скиллы, это сотрудники сами пишут, в соответствии с задачами и библиотеками. Надо самому заранее описать, что можно делать, что нельзя, какую библиотеку использовать в каком случае и даже какой версии.

Вот пример(меньше процента от того что используется в компании) ограничений:

1. Не делай лишних абстракций

2. DocStrings только если не очевидно из названия функции или кода

3. Не создавай протокол\интерфейс для одной реализации

4. Не делай проверок того что гарантировано

5. Не создавай одноразовые helper функции

6. Делай точечные изменения вместо рефакторинга

7. Рефакторинг только после согласования с разработчиком

Это 10% от одного из 20-30 файлов с правилами.

Loki13 ★★★★★
()
Ответ на: комментарий от Beewek

У нас в компании сами писали сотрудники, в процессе экспериментального внедрения\использования. В течении полугода накопилось правил. Вот малюсенький кусочек в предыдущем комментарии.

Loki13 ★★★★★
()
Ответ на: комментарий от Loki13

На гитхабе разве нет подобных инструкций, что вы сами велосипед стали изобретать? По идее от самих создателей ИИ-шек такие инструкции должны быть из коробки. Я собственно и эту тему создал ради подобных ответов.

foror ★★★★★
() автор топика
Ответ на: комментарий от foror

У разных компаний разные проекты, разные правила, разные условия. Кому-то экономить токены, а кому-то максимальная эффективность. Но вообще может е есть уже где-то готовые пресеты, но я особо не заморачивался и не искал.

Ну и сейчас может уже и появляются, а пару лет назад думаю ещё не было ничего такого в доступе, а тем более структурированного.

Loki13 ★★★★★
()
Последнее исправление: Loki13 (всего исправлений: 1)
Ответ на: комментарий от mord0d

обучали на разном коде, в том числе на коде тех самых с четвертьвековым стажем. Я не говорю что нейросетки идеально пишут, но в целом лучше чем вчерашние студенты.

Нет инструмента/языка, который бы спасал от логических ошибок, но всякие проверки пустоты/экранирование к ним не относится и лучше хотя часть ошибок исключить

Тут он сам виноват. Редакторы кода такой фигнёй не страдают (разве что лигатуры).

Конечно сам виноват, о том и речь, что люди прекрасно допускают ошибки похлеще нейронов. В чем он там правил мне было не интересно, чувак мне просто подарок сделал такой ошибкой, лучший аргумент был что бы не давать расширенных прав непонятно кому

user_undefined ★★
()
Ответ на: комментарий от foror

Где новые линуксы тогда? Где новые СУБД? Где новые 3д движки? Где новые CAD? И т.д. Это ведь нейростека может всё за неделю закодить.

Привет. У тебя типичная стадия принятия, называемая «Отрицание». Да, мы не видим софт, который написали нейросети, просто потому что внезапно столько хайпованного бреда, что за деревьями не видно леса.

EvilSpirit
()

Удивляет с каким рвением люди готовы тратиться на токены и железо под ИИ, но не готовы купить статические анализаторы или подписку на тот же SonarQube. При этом это будет в разы дешевле и производительнее в конечном итоге.

anonymous
()
Ответ на: комментарий от foror

Всё как раз наоборот. Теперь этого всего не нужно.

Если доверяешь ИИ до такой степени, то можно и так. Я пока предпочитаю смотреть по диагонади чего он там написал.

А вот чувства прекрасного, чувства грамотной архитектуры и просто сделать красивое АПИ у неё до сих пор нет.

Не надо смешивать чувства и инженерию. То что описано - это концептуальная структура ПО, это тот самый промпт который берёт ИИ и выдаёт результат в виде кода.

Byers
()
Ответ на: комментарий от Byers

хех Вымирающий вид «писателей кода руками» понаставил клоунов, как лучшее подтверждение своих комплексов.

Byers
()
Ответ на: комментарий от anonymous

Условия подписки владелец может менять как хочет, причем в одностороннем порядке. А вот с железом для ИИ проще, ты платишь деньги один раз и все, больше с тебя деньги не тянут за мощности, условия не меняются.

vbcnthfkmnth123 ★★★★★
()
Ответ на: комментарий от anonymous

Удивляет с каким рвением люди готовы тратиться на токены и железо под ИИ, но не готовы купить статические анализаторы или подписку на тот же SonarQube. При этом это будет в разы дешевле и производительнее в конечном итоге.

А не удивляет, что те люди, у кого есть деньги, умеют считать? По их подсчётам не получается в разы и не получается дешевле, а про производительность лучше даже не начинать.

VIT ★★★
()

нет желания давать доступ

«если каждому давать - поломается кровать» как говаривала восхитительная Тася.

так что, по-видимому, опасения не напрасны.

olelookoe ★★★★
()
Ответ на: комментарий от sabacs

Конечно, обычно инвесторы имеют такую информацию. Публичные компании обязаны публиковать квартальный отчёт. С частными компаниями сложнее. Если вы вовлечены в стратегическое планирование развития своей компании, вы уже знаете, где получить такую информацию.

VIT ★★★
()
Ответ на: комментарий от sabacs

Ну «делать выводы» - это в моём случае слишком сильное заявление. Спекулировать да, можем, это сколько угодно.

VIT ★★★
()
Ответ на: комментарий от foror

и новость прошла о покидании песочницы у codex.

я почему-то думаю что это элемент пиара

olelookoe ★★★★
()
Ответ на: комментарий от anonymous

но не готовы купить статические анализаторы или подписку на тот же SonarQube. При этом это будет в разы дешевле и производительнее в конечном итоге.

Не будет. Frontier LLM с хорошей инструкцией дает результат на порядки лучше стат анализаторов, и не требует долгого тюнинга.

maxcom ★★★★★
()
Ответ на: комментарий от EvilSpirit

Пишу, что вижу. Но пока не вижу, чтобы FreeCAD подтянули хотя бы к уровню Solidworks за счёт AI. Ну, буду дальше наблюдать, и отчасти сам уже хочу принимать участие, посмотреть на что они реально годны.

foror ★★★★★
() автор топика
Ответ на: комментарий от gruy

Первая ссылка интересно сделано. И оно правдо чётко следует этим правилам? Я как понимаю, чтобы не забить контекст правила по агентам разбивают?

foror ★★★★★
() автор топика
Ответ на: комментарий от foror

Обычно достаточно чётко им следуют. Но в любом случае лучше проводить самому ревью. Мне вот вчера Sol 6 бэк сделал идеально, а вот на фронте немного перестарался (но тут я сам виноват - на бэк задачу тщательно описал и ограничил, а для фронта - только в общих чертах, рассчитывая что он из статического HTML+CSS+JS правильно соберет шаблоны).

gruy ★★★★★
()
Ответ на: комментарий от foror

Пишу, что вижу. Но пока не вижу, чтобы FreeCAD подтянули хотя бы к уровню Solidworks за счёт AI.

Пока что не набралось критической массы. Например, я даже не занимался специально NoteCAD, но мимо проходя кое-что там подпилил, обычно такая работа заняла бы месяц, но я сделал это просто за несколько минут моего времени. Могу дотащить до уровня FreeCAD, но не вижу смысла. Уже нужно писать CAD для агентов, а не для людей…

EvilSpirit
()
Ответ на: комментарий от Loki13

Код наверняка говно полнейшее. Зря не без. Переменные и функции везде задаются, передаются и вызываются одинаково. Это какая-то степень аутизма, наверное. Обычно всем достаточно иметь рабочий экземпляр программы чтобы логику чутка править. С нуля на незнакомом языке писать невозможно, а вот править что по мелочи - запросто. Не ленись, переписи быдлокод

anonymous
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария