LINUX.ORG.RU
Форум — Talks  

Расстроен ли я? Что вы, я нет! Ну слегка...

 , , ,


0

4

Была такая проблема - LLM писали (и пишут) код не слишком надёжно. Их глючит, почти как людей. И нельзя быть уверенным что написанный LLM код - надёжен. Были нужны программисты, чтобы делать ревью, чтобы нести отвественность за код. Было у этой проблемы решение, называется «формальная верификация». Но оно было жутко дорогое и медленное. И лишь немногие могли себе это удовольствие позволить. Но и этот момент прошёл. Программисты больше не нужны. +- года-двух дело по моему мнению.

https://deepmind.google/blog/introducing-alphaproof-code/

Ребята, не ходите учиться на программиста. Это всё. Полностью. Ещё вероятно нужны будут некоторое время инженеры по формальной верификации, чтобы проверять спеки, но программисты - всё. Даже не могу оценить сколько останется.

По инженерам, буквально вчера узнал что гугл активно тренирует геминея на написание спек (из первых рук практически). Думаю , остальные крупные игроки делают то же. В целом, если вам сейчас не 65 и вы не на пенсии уже, и вы программист или даже инженер по ФВ - вам есть о чём подумать. Они просто верифицируют всё. А не они, так ещё кто нибудь. Это уже совершенно очевидно и дело времени, причём ближайших месяцев (выход технологии в массы я имею ввиду).

// для тех кто не понял, тема топика - цитата из «гадкого Я»

★★★★★

Последнее исправление: AndreyKl (всего исправлений: 7)
Ответ на: комментарий от ugoday

Нейронки увы работают как мультипликатор в реальности: хороший программист -> отличный программист. Говнокодер - shitcode слоператор 9000.

Skullnet ★★★★★
()
Ответ на: комментарий от Skullnet

Нейронки увы работают как мультипликатор в реальности: хороший программист -> отличный программист. Говнокодер - shitcode слоператор 9000.

только сегодня наблюдал ровно обратную картину - полному новичку дали нейросетку и задачу. и он сделал задачу быстро и легко. его коллега - опытный профессионал, который точно в дискуссии легко даст фору новичку и в работе без нейросетки заткнёт того за пояс, да не просто за пояс - там разница десяток лет будет. так вот он делает задачи очень долго. и на выходе получается не фантан.

не всё так просто как вы говорите, как минимум.

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 2)
Ответ на: комментарий от AndreyKl

Чем это принципиально отличается от автоматических решателей теорем, которых писали на лиспе и прологе ещё пол века назад? Сгенерировать миллиард доказательств миллиона теорем давно не проблема. Проблема найти те самые вопросы, поиск путей к решению которых обогатит наше понимание математики. Собственно главное сокровище это наша дружба смысл «нерешённых задач» в нахождении этих самых путей. А теперь предлагается, ни вопросов, ни путей, ни понимания: на входе сотни нефти в ТЭЦ, на выходе простыня нейровывода, которую дивизия математиков будет год читать и не успеет.

ugoday ★★★★★
()
Ответ на: комментарий от liksys

коллаж супер, улыбнулся прям.

AndreyKl ★★★★★
() автор топика
Ответ на: комментарий от ugoday

тем что решатели этого не делали и не делают, очевидно. нет?

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от Skullnet

Нейронки увы работают как мультипликатор в реальности: хороший программист -> отличный программист. Говнокодер - shitcode слоператор 9000.

Вот это прям в самую суть.

liksys ★★★★
()
Ответ на: комментарий от unC0Rr

А значит зарплату 364.4/365.5 программистам платить не надо,

А значит 364.45 программистов не поедут в старбакс на электросамокате и не купят соевый латте в ближайшей кофейне. Поэтому будете платить пособие по безработице этим программистам, барристе и мужикам с электросамокатного завода в придачу. Не прячьте ваши денежки по банкам и углам, несите ваши денежки, иначе быть беде.

ugoday ★★★★★
()
Ответ на: комментарий от ugoday

ИИ не заменит всех, а скорее уровняет всех.

Как Сэмуэль Кольт? Пугаете.

Думается мне что наиболее вероятным механизмом будет «нагенерить тонну Г и заставить опытных людей это ревьюить, отнимая время которое они могли бы потратить на что-то более полезное». Это уже происходит.

bugfixer ★★★★★
()
Ответ на: комментарий от vbr

Но зачем это надо работодателю - я так и не понял.

Эти 10 страниц задания нужны для того, чтобы можно было отдать их агенту. Ты в этой схеме - явление временное.

Manhunt ★★★★★
()
Ответ на: комментарий от AndreyKl

Не вижу принципиальной разницы. И там, и там, автоматически доказывают разные сложные утверждения. Но в одном случае отчего-то возникает вау-эффект, а в другом отношение как обычной скучной ботанской нудятене.

ugoday ★★★★★
()
Ответ на: комментарий от AndreyKl

только сегодня наблюдал ровно обратную картину - полному новичку дали нейросетку и задачу. и он сделал задачу быстро и легко. его коллега - опытный профессионал, который точно в дискуссии легко даст фору новичку и в работе без нейросетки заткнёт того за пояс, да не просто за пояс - там разница десяток лет будет. так вот он делает задачи очень долго. и на выходе получается не фантан.

Вам с такой фантазией фанфики писать. Код конечно же не покажете, поэтому верим на слово.

Skullnet ★★★★★
()
Последнее исправление: Skullnet (всего исправлений: 1)
Ответ на: комментарий от Skullnet

вот те крест. да и зачем мне врать то? это чистая психология если хотите объяснения - опытный сетку пользует как то странно, всё руками проверяет (или почти всё). а там не надо, там и так ок вполне. вот и выходит что новичёк в разы лучше работает, хотите верьте, хотите -нет .

причём опытный уже минимум пол года это делает (с сеткой работает). а новичек вот реально вчера пришёл. т.е. 11 ноября.

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от Skullnet

он проверяет руками, я вам объясняю, время тратит много из за этого и сил. а там реально норм без этого.

AndreyKl ★★★★★
() автор топика
Ответ на: комментарий от ugoday

оттого что солвер написан руками для перебора по заранее известному алгоритму на заранее известном наборе данных, чётко формализованном. а нейронки решают задачи которые считались нерешаемыми никаким перебором. там ведь перебор - соверешнно не перебор. и тем более в 8 петлях и последней математической.

разница принципиальная. а вот с человеком уже принципиальной разницы не видно. а с солвером была принципиальная. оттого и вау эффект. странно что вы не понимаете.

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 2)
Ответ на: комментарий от AndreyKl

Надеюсь вы знаете что если писать код ИИ, то нужно давать код на проверку другому ИИ на пустом контексте. Потому что нейронки «любят» код который они же написали?

P.S. Глазами тоже смотреть надо.

Skullnet ★★★★★
()
Последнее исправление: Skullnet (всего исправлений: 2)
Ответ на: комментарий от VIT

Там не так, в квантовой запутанности - «Кто угодно, везде и одновременно» - но только после того, как вы посмотрите.

Skullnet ★★★★★
()
Ответ на: комментарий от Skullnet

Хорошо, не буду вам мешать.

Никто никого никуда не закапывал. Идёт обычная инженерная работа. Всё как и в других областях.

VIT ★★★
()
Ответ на: комментарий от AndreyKl

оттого что солвер написан руками для перебора по заранее известному алгоритму

На таком уровне обобщений и нейронки просто матрицы пермножают. Что тоже ни разу не новость, перцептрон как бы не раньше лиспа придуман.

ugoday ★★★★★
()
Ответ на: комментарий от bugfixer

которое они могли бы потратить на что-то более полезное

Если честно, у меня в последнее время довольно скептическое отношение к айтишечке. Кризис среднего возраста или ещё чего. Большая часть того, чем мы сейчас занимаемся бесполезно и ненужно. Так что, да, придуман новый механизм генерить тонну говна с неимоверной производительностью. Но и без него мы тут отнюдь не фиалки выделяли из себя. Надеюсь только на две вещи: 1) маловероятно, но кто-то там наверху придумает как сдуть ИИ-пузырь без сильного шока для экономики и 2) милосердие Божие.

ugoday ★★★★★
()
Ответ на: комментарий от ugoday

Так закапывание - один из ритуалов, но далеко не единственный. И ритуал «закапывания» формальный был. Так что пример мимо.

LightDiver ★★★★★
()
Ответ на: комментарий от AndreyKl

Чат сказал, что я имею ввиду коиндукцию, а этот ихний Lean с ней плохо работает. То есть доказуема спецификация вида «программа выдаёт корректный результат или зависает». Как-то так?

ratvier ★★
()
Ответ на: комментарий от AndreyKl

но профессии программиста я думаю больше нет. просто нет и всё. по крайней мере в том виде в каком мы её знаем. это дело года-двух.

Свежо предание…

anc ★★★★★
()
Ответ на: комментарий от AndreyKl

именно это формальная верификация и исключает. не нужно больше ревью если есть доказательство что там всё верно написано.

Это доказательство бредогенератор придумал?

anc ★★★★★
()
Ответ на: комментарий от tcpfinhello

приложения примерно для всего чего можно было - написали.

Ну да, конечно… прямо для всего…

anc ★★★★★
()
Ответ на: комментарий от anc

Ну имелось ввиду «нужного основной массе нормальных людей для решения каких-то повседневных задач». Ну типа ozon там, яндекс-такси. Больше ничего народу и не надо. «НАРОДУ НЕ НАДО» означает «на этом рынке нет денег», т.е. платить за это никто не готов.

tcpfinhello
()
Ответ на: комментарий от no-dashi-v2

заразился AI-лихорадкой и начал придумывать свой язык

Придумывать что-то своё - это вообще-то не самое плохое занятие для человека.

получился очередной убогий язык программирования

Язык Си тоже был весьма убог в момент его первой реализации. И уж точно никто не ожидал что он станет настолько популярен и проживет так много лет.

watchcat382 ★★
()
Ответ на: комментарий от Skullnet

Надеюсь вы знаете что если писать код ИИ, то нужно давать код на проверку другому ИИ на пустом контексте. Потому что нейронки «любят» код который они же написали?

нет, суть технолгии как раз в том что можно математически доказать корректность кода на соотвествие спецификации. это полностью убирает проблему того что ИИ нельзя доверять.

AndreyKl ★★★★★
() автор топика
Ответ на: комментарий от ratvier

это не вполне корректно. несмотря на то что коиндукция в lean муторнотовата «из коробки», два момента

1) на lean свет клином не сошёлся, есть rocq и изабель которые великолепно работают с коиндукцией «из коробки»
2) в Lean есть библиотеки которые проблему решают (например paco-lean с которой мне удобно иметь дело так как я с rocq, но вообще у них есть свои).

AndreyKl ★★★★★
() автор топика
Ответ на: комментарий от ratvier

То есть доказуема спецификация вида «программа выдаёт корректный результат или зависает». Как-то так?

не совсем. Как бы пояснить, в общем случае это недоказуемо (как раз из за проблемы останова). Но штука в том что нам не нужно в общем случае. А все встречающиеся частные - так или иначе решаются. А если что то не решится, ну придётся разбираться.

Мысль такая: если не удалось решить - это вероятнее всего ошибка в программе, а не проблема останова. Это пока немного искусством остаётся. Но ещё раз основная мысль - то на что ушла бы работа команды человек в 20 за пару лет, ребята из статьи сделали за 4 недели силами 5 человек. Т.е. это возможно и эффективно.

И это позволяет сказать что в коде нет багов, т.е. вообще.

Резюмируя, проблема останова на практике не мешает особо, потому что нам решение нужно не для общего случая, а для частного. А частные обычно - решаемые. Вы ведь лично как то можете определить что программа

while(true);
- не завершатся? Хотя казалось бы, а проблема останова? Но вот частный случай и она не мешает. И в других не мешает.

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от ratvier

да, ещё момент - коиндукция используется для рассуждения о «незаканчивающихся программах». те. ну например

int c = 1;
int s = 0;
while(c) {
  printf("Hello! Continue?");
  scanf("%d", c);
  s = s + c;
}

(вводим целое с клавиатуры и если оно не ноль- прибавляем его к сумме и продолжаем, если налажал с синтаксисом, прошу прощения)

Так вот, она потенциально может не завершиться. В таких случаях чтобы доказать математически что сумма будет собственно всегда суммой того что введено с клавиатуры используется рассуждение по коиндукции (тут это конечно очевидно, но это пример упрощенный, в реальности всё далеко не так очевидно). Если программа наверняка завершается (т.е. там нет цикла while условно), то используется рассуждение по индукции.

это просто раз речь зашла о коиндукции.

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 2)
Ответ на: комментарий от Skullnet

Бороться с этой заразой нужно радикально, слоператоров выгонять на мороз, потому что это рак индустрии.

Этого недостаточно. Да, если слоператор - чей-то наёмный работник, то его можно выгнать, защитив от его слопа свою организацию. Но ведь множество слоператоров действуют самостоятельно, кто их и откуда выгонит? Тут надо не выгонять, а сажать за засорение информационного пространства помоями. Но даже этого может оказаться недостаточно, может превратиться в борьбу с ветряными мельницами. Поэтому устранять надо не самоорганизующиеся каналы выхода слопа в мир, а его первоисточники - железо, занятое этими вычислениями, начать с ликвидации крупных слоп-датацентров, а после устранения крупных компаний, которые могли бы мешать дальнейшей регуляции, ввести законы о запрете гражданской эксплуатации подобных штук с наказанием в виде конфискации оборудования.

После этого можно аккуратно и под полным гос. контролем попробовать частично разрешить назад в виде именно экспертных систем, но не факт что это вообще возможно без побочного эффекта в виде неконтролируемых потоков слопа.

firkax ★★★★★
()
Ответ на: комментарий от AndreyKl

В таких случаях чтобы доказать математически что сумма будет собственно всегда суммой того что введено с клавиатуры используется рассуждение по коиндукции (тут это конечно очевидно, но это пример упрощенный, в реальности всё далеко не так очевидно).

Но она же не будет, даже по модулю не будет, тут signed overflow

Manhunt ★★★★★
()
Ответ на: комментарий от ugoday

Если честно, у меня в последнее время довольно скептическое отношение к айтишечке. Кризис среднего возраста или ещё чего.

Да нет, это просто прозрение.

Большая часть того, чем мы сейчас занимаемся бесполезно и ненужно.

Это не только в айти так. Вообще, большинство человеческих усилий (в среднем по обществу) уходит на взаимный обман, защиту от него, переделывание по 100 раз уже сделанного т.к. сделанному другим либо доверия нет, либо они не хотят делиться на адекватных условиях. Слопогенераторы - прекрасный инструмент для генерации обмана и воровства в промышленных масштабах, и на защиту от слопа теперь тоже надо тратить ещё больше усилий.

Весь этот беспредел пытались искоренить про союзе, заставив людей верить друг другу и кооперироваться без дополнительных условий, не тратя 90% сил на взаимно-вредоносную деятельность. И даже во многом получилось, но вредители в итоге победили и беспредел продолжается.

firkax ★★★★★
()
Ответ на: комментарий от anc

Это доказательство бредогенератор придумал?

это доказательство да, в основном, LLM. раньше, когда это делалось вручную, это было жутко муторно , долго и дорого.

штука в том что мы доверяем не LLM , а lean, который проверяет доказательства. а LLM только генерирует доказательтсво, и если оно не доказательство, собственно, то lean его не принимает.

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от Manhunt

Да, спасибо. Стоило конечно упомянуть в примечании, чтобы не вводить в заблуждение, согласен.

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 2)
Ответ на: комментарий от ugoday

Надеюсь только на две вещи: 1) маловероятно, но кто-то там наверху придумает как сдуть ИИ-пузырь без сильного шока для экономики и 2) милосердие Божие.

Я вот никак не пойму, о каком пузыре все рассуждают.

Деньги - штука чисто мнимая. Это или разрисованные бумажки, или вообще не имеющие материального воплощения циферьки где-то в БД. То есть это не более, чем условность.

Что реально - это электростанции, это запитанные от них огромные датацентры с чипами, это ПО которое на них крутится, и даёт абсолютно новое качество автоматизации; это заводы и технологии, позволяющие превращать песок в чипы, массовое производство. И вот эта реальность создана. Не так уж и важно, за счет чего именно.

Пускай, за счет лохов-инвесторов, которым их деньги никогда не вернут, обязательств не выполнят, so what? Если для мелкого лошья это очень обидно и принципиально что их надули, то для хозяев больших денег эти деньги не так уж и принципиальны, а принципиальна власть которую дают новые технические возможности и глобальное доминирование.

Кто-то тут кидал ссылку на подсчеты capex. Да плевать на этот capex: чипы были куплены по люто завышенным ценам (потому что темпы производства были недостаточны), а собранные при продаже чипов деньги как раз должны пойти на расширение производства. Американцы у себя фабы строят, китайцы фабы строят, так что тайваньским и корейским фабам нужно вырученную денежку вложить в поддержание своей дальнейшей конкурентоспособности. В долгосрочной перспективе железо подешевеет, старый capex не имеет отношения к операционным расходам.

Manhunt ★★★★★
()
Последнее исправление: Manhunt (всего исправлений: 4)
Ответ на: комментарий от AndreyKl

firkax ну как ты умудряешься высказать своё веское мнение в теме в которой ну совершенно же ни черта не отдупляешь?

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 2)

Давно пора ввести термин эржентизм. Кто помнит этого нытика, тот поймет.

water_closed ★
()
Ответ на: комментарий от ratvier

т.е. ответ наверное такой по итогу на вопрос о проблеме останова и коиндукции, если кратко и по возможности без неточностей.

мы доказываем конкретные свойства конктретной программы (завершаемость например). Мы можем это либо доказать, либо не доказать. Ну если не докажем - ошибка скорее всего в программе. (или не смогли просто из за интсрументария). Будем разбираться. Если докажем - всё ок, очевидно.

Та же ситуация с незавершающимися (по замыслу автора) программами - мы либо можем доказать их свойства (по коиндукции), либо там где то что то не сходится и надо разбираться что.

В этом смысле проблема останова нам не мешает особо. Вероятно она сводится к тому что мы иногда не можем что то доказать и надо что то как то поменять. Точнее тут не скажу, на практике никто на моей памяти не говорил что мы не можем что то доказать из за проблемы останова. А теорию разбирать лезть не хочу, хотя вопрос «где именно нам мешает проблема останова?» сам по себе - любопытный.


// апдейт

Хотя вот припоминаю что в обычном линуксовом контроле доступа (те что 777 или 755 или 000, на файлах), само по себе свойство вот это, что можно эту систему сделать безопасной как раз упирается в проблему останова. Т.е. вот такое свойство (что система безопасна или надёжна, не помню точно сейчас, как это ИБшники формулируют) доказать просто не выйдет. И упрёмся именно в проблему останова. Но правда это потому что его (этого свойства) просто нет, опять же. Но лично я с этим не встречался.

(Уже не помню термины ИБшников, если интересно, можно посмотреть, за терминологию короче не ручаюсь, но суть думаю , передаю верно)

AndreyKl ★★★★★
() автор топика
Последнее исправление: AndreyKl (всего исправлений: 4)
Ответ на: комментарий от ugoday

Надеюсь только на две вещи
кто-то там наверху придумает
милосердие Божие

Плохая стратегия, слишком пассивная. Должно быть так: "на Бога надейся, а сам не плошай". И вот эта не-плошальная часть, которую каждый должен осуществить лично, мне очень интересна. Судя по разговорам на форумах, пока никто не понимает, куда податься работать после увольнения.

Manhunt ★★★★★
()
Последнее исправление: Manhunt (всего исправлений: 2)
Ответ на: комментарий от Manhunt

Впрочем, судя по разговорам на форумах, пока никто не понимает, куда податься работать после увольнения.

угу. что меня больше всего пугает, так это то что ребята учатся на программистов в вузах. и в этом году был набор. большой довольно (хотя кажется меньше чем в прошлом).

AndreyKl ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.