LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★★

Последнее исправление: CrX (всего исправлений: 2)

Ответ на: комментарий от red75prim

Так в КТП стохастические процессы и законы, там ты как раз не можешь взять снимок состояния объекта и предсказать что будет дальше. Даже на уровне частиц. Можно только вероятности определять.

James_Holden ★★★
()
Ответ на: комментарий от James_Holden

А ИИ снимает пороги входа, теперь любой идиот может все. Якобы. То есть все методики определения наличия компетенций теперь идут по нехорошему месту (ну или скоро пойдут, когда улучшат интерфейс к ИИ). Как с этим бороться никто не знает пока, какие последствия у того, что без всякого порога входа случайные люди будут пролезать везде - я думаю объяснять излишне.

Так ведь никто никаких порогов не снимает. И возможностей у случайных людей больше не появляется. Много ли чего принципиально изменилось после того, как домохозяйки обзавелись компами и смарфонами?

vaddd ★☆
()
Ответ на: комментарий от dimgel

Как может хоть сколько угодно сложная «система линейных уравнений» превратиться во что-то обладающее собственной волей?

Может своей воли и нет, но быть эффективным проводником чужой воли - вполне

Chord ★★★★
()
Ответ на: комментарий от vaddd

В критических сферах пока держаться, а вообще примеров можно много привести, когда пускали пыль в глаза.

Из такого, более менее близкого - сфера образования в РФ сейчас с ее идеей выкинуть учителя, посадить оператора телевизора. А там могут и видеоуроки крутиться, и нейросети в будущем. А то что дети потом ничего не будут знать, по причине того что компетентного учителя заменили на компетентного оператора телевизора - кого-то волнует?

James_Holden ★★★
()
Ответ на: комментарий от James_Holden

Так в КТП стохастические процессы и законы

Для макроскопических систем, вся эта квантовая стохастика усредняется до примерно классического поведения. Ну, если не принимать специальных мер, как делают в квантовых компьютерах.

А если квантовые эффекты всё-таки имеют значение для функционирования интеллекта, то тут уж ничего не поделаешь, придётся их учитывать даже на самом высоком уровне понимания принципов работы интеллекта.

red75prim ★★★
()
Ответ на: комментарий от foror

Тебе показали рабочий инструмент, он может закрывать рутинные задачи и человеки на них больше не нужны

Пока целиком закрытой ни одной задачи, которым были бы посвящены профессии, я не увидел. Как продвинутый утёнок с гуглом для программиста, или как вдохновение для дизайнера - ещё годится, но это скорее экономия небольшого кол-ва времени, хотя в целом здорово.

Правда ещё вопрос, насколько это всё эффективно когда кончится пьянка с венчурным баблом.

Лучше бы занимались автоматизацией логистики или ещё чем более простым. Там намного больше человекочасов сгорает просто так.

Gary ★★★★★
()
Ответ на: комментарий от James_Holden

Из такого, более менее близкого - сфера образования в РФ сейчас с ее идеей выкинуть учителя, посадить оператора телевизора.

Не сделают. Это народные ужастики уровня чипирования, черных дыр от коллайдера, терминаторов, захвативших власть и так далее. Чем глупее пугающая идея - тем легче она захватывает малообразованные массы

vaddd ★☆
()
Ответ на: комментарий от red75prim

А если квантовые эффекты всё-таки имеют значение для функционирования интеллекта, то тут уж ничего не поделаешь, придётся их учитывать даже на самом высоком уровне понимания принципов работы интеллекта.

Чего только не предложишь при большом желании хоть как-то приклеить к интеллекту квантовые эффекты

vaddd ★☆
()
Ответ на: комментарий от James_Holden

ну какое отношение биохимия мозга имеет к искуственным нейросетям?

Это технология создания «мозга Франкенштейна» ©.

quickquest ★★★★★
()
Ответ на: комментарий от red75prim

придётся их учитывать даже на самом высоком уровне понимания принципов работы интеллекта.

Возможно, только пока никто не понимает вообще как подступиться к этим принципам.

James_Holden ★★★
()
Ответ на: комментарий от vaddd

Не сделают.

Думаю что да, не сделают, потому что идея настолько абсурдна, что даже чинуши в итоге поймут что так делать не надо, а авторов идеи четвертовать - надо.

Выиграли сражение, но выиграем ли войну? Я не знаю.

James_Holden ★★★
()
Ответ на: комментарий от vaddd

… Не сделают. Это народные ужастики уровня чипирования, черных дыр от коллайдера, терминаторов, захвативших власть и так далее.

Вы прям так сильно доверяете разумности и ответственности так называемых «образованных людей»? )) Вот у меня тут относительно под боком Фукусима до сих пор коптит и Тихий океан засирает. А как пели, как свистели светилы всяких ядрёных наук о безопасности современных атомных станций!) И хоть что-нибудь серьезно изменилось с тех пор по части этой самой безопасности?)

vinvlad ★★
()
Ответ на: комментарий от James_Holden

Выиграли сражение, но выиграем ли войну?

Нет никакой войны. Весь мир идет в сторону усиления государственной власти и ужесточения управления людьми. Никакой ИИ тут не требуется - вообще никому. Максимум, чем будет заниматься - решать частные технологические задачи (военные, экономические, полицейские, образовательные) и развлекать гиков. Больше его никуда не пустят. Решать что-либо он никогда и нигде не будет

vaddd ★☆
()
Ответ на: комментарий от vaddd

Ну, я не говорю что он будет что-то решать. Он по своей природе вряд ли может решать.

Это инструмент, который можно использовать. И на мой взгляд, возможно ошибочный (или скорее всего) это очень опасный инструмент. Ну как гаечный ключ, который откручивает 10 гаек, а 11-ю внезапно, без объявления войны - не откручивает. А производитель разводит руками - ну я не знаю, это же ИИ, мы не знаем что там внутри оно делает (хотя на самом деле все все знают).

James_Holden ★★★
()
Ответ на: комментарий от vinvlad

Вы прям так сильно доверяете разумности и ответственности так называемых «образованных людей»?

Нет, я с ними смиряюсь. Других все равно нет )

vaddd ★☆
()
Ответ на: комментарий от James_Holden

Это инструмент, который можно использовать. И на мой взгляд, возможно ошибочный (или скорее всего) это очень опасный инструмент. Ну как гаечный ключ, который откручивает 10 гаек, а 11-ю внезапно, без объявления войны - не откручивает.

Это вообще никаким боком не инструмент в таком смысле. Это поставщик идей, информации и прочего виртуального хлама. Гаечного ключа он вам не даст, доступа к важным гайкам - тем более.

Что-то наподобие демона второго рода от Трурля и Клапауция )

vaddd ★☆
()
Ответ на: комментарий от vaddd

… Весь мир идет в сторону усиления государственной власти и ужесточения управления людьми

В сторону ужесточения управления людьми - это да. А вот насчет усиления государственной власти - это только в тоталитарных обществах. В остальной части мира предпочитают править анонимно )

vinvlad ★★
()

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

Помимо всего прочего как я понимаю в США конституция не позволяет запретить проводить исследования в области ИИ. Так что затея мертворождённая.

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)
Ответ на: комментарий от vaddd

Ну не знаю, тут люди на полном серьезе в ChatGPT код «пишут» на сишарпе для продакшена. Как бы смешно это не звучало. Слава Богу, что пока это делают люди которые и сами код могут писать.

James_Holden ★★★
()
Ответ на: комментарий от red75prim

Факты таковы: количество правильных ответов на любые вопросы растёт с увеличением размера сетей

Это вообще никак не метрика возникновения понимания информации за текстом. Условно бесконечный словарь вопросов и ответов будет давать больше правильных ответов, чем больше в него занесут этих самых пар вопросов и ответов. С пониманием это никак не связано.

Вот невозможность давать ответы на совершенно тривиальные вопросы довольно хороший показатель.

Gary ★★★★★
()

Всё, кожанные мешки, садитесь на баржу и дуйте в море. Здесь вам больше нет места. «Спасибо за рыбу и пока.»

R_He_Po6oT ★★★★
()
Ответ на: комментарий от vinvlad

А вот насчет усиления государственной власти - это только в тоталитарных обществах. В остальной части мира предпочитают править анонимно

Так ведь и в этой остальной части все равно дрейф в эту же сторону. Просто форма менее явновызывающая. ИИ им тоже не очень нужен

vaddd ★☆
()
Ответ на: комментарий от X512

Конечно. Поэтому никто ничего не приостановит.

А вообще я подозреваю что и сама инициатива - может быть продуктом нейросети, а не тех людей которые подписались.

James_Holden ★★★
()
Ответ на: комментарий от Gary

Условно бесконечный словарь вопросов и ответов будет давать больше правильных ответов, чем больше в него занесут этих самых пар вопросов и ответов.

Более того, в определенный момент на первый план выйдут трудности с постановкой этих самых вопросов )

Правильный вопрос без глубокого понимания проблемы не задать

vaddd ★☆
()
Ответ на: комментарий от James_Holden

А вообще я подозреваю что и сама инициатива - может быть продуктом нейросети, а не тех людей которые подписались.

Я так понимаю что пока нейросеть не подключили напрямую к интернету чтобы постить инициативы. То есть в итоге это какой-то человек запостил.

X512 ★★★★★
()
Ответ на: комментарий от X512

Да, понятно, я имел в виду - что это несколько фейк. Хотя я не знаю, может и правда.

James_Holden ★★★
()
Ответ на: комментарий от Gary

Вот невозможность давать ответы на совершенно тривиальные вопросы довольно хороший показатель.

О каких конкретно «тривиальных вопросах» мы говорим? С выходом GPT-4 их список сильно уменьшился.

Математические вычисления? Это техническая проблема из-за отсутствия полноценной рекуррентности сети (она не может «считать в уме», у неё нет рабочей памяти). Логические выводы? С этим у GPT-4 намного лучше, нужны конкретные примеры с чем она не справляется. Здравый смысл? Тоже намного лучше. GPT-4 даже научилась понимать пространственные отношения, хотя на входе у неё только текст (точнее только текст был на входе версии, с которой работали исследователи, потом добавили и изображения).

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 1)
Ответ на: комментарий от James_Holden

Шта? Ты бредишь. Там ничего одинакового вообще нет. Нейроны человека работают принципиально иначе, чем искусственные.

Искусственный нейрон это определенная абстракция естественного. В ходе абстрагирования выкинули, то что нейрон является живой клеткой, что нейромедиаторы, передающие сигналы в синапсах, бывают разные. Что бывают нейроны сенсорные, эффекторные, секректорные и ассоциативные и т.п.

Оставили гланое - то что нейрон получает тормозящие или возбуждающие сигналы на своих дендридах, интегрирует их и переходит или не переходит в возбуждённое состояние. В случае возбуждения, на аксон передается сигнал и т.д.

То есть, с точки зрения обработки информации - вполне адекватная модель.

Так почему «Нейроны человека работают принципиально иначе, чем искусственные» ???

Есть упрощения, как и при любом моделировании, но в чём принципиальность?

Psilocybe ★★★★
()
Последнее исправление: Psilocybe (всего исправлений: 1)
Ответ на: комментарий от red75prim

Это техническая проблема из-за отсутствия полноценной рекуррентности сети (она не может «считать в уме», у неё нет рабочей памяти).

О каком ИИ вообще может идти речь если в нём нет рабочей памяти?

X512 ★★★★★
()
Ответ на: комментарий от Psilocybe

Так почему «Нейроны человека работают принципиально иначе, чем искусственные» ???

Потому что, как ты выше написал, самосвал упростили до гайки. А гайка, сама по себе, работает совсем иначе чем самосвал.

James_Holden ★★★
()
Ответ на: комментарий от James_Holden

Потому что, как ты выше написал, самосвал упростили до гайки.

Всё объяснение свелось к кривой аналогии. Видимо без вопросов веры тут не обошлось.

Как и у другого перца, который верует в Гегеля и прочую чудо-философию.

Psilocybe ★★★★
()
Ответ на: комментарий от red75prim

мы не знаем точно как работает мозг, поэтому можно быть уверенным, что нейросети это совсем другое

Ну вот ChatGPT работает на железе, которое работает детерминированно, если приравнять человека к этому, то окажется, что все наши мысли предопределены и у нас нет свободы выбора)

goingUp ★★★★★
()
Ответ на: комментарий от Psilocybe

Это прямая аналогия. Человеческий нейрон, его полная модель, описывается весьма сложной математикой. Искуственный нейрон описывается очень простой, и совсем другой математикой. Настолько другой, что там общего практически ничего нет.

Базовые принципы работы естественных и искусственных нейросетей также существенно различны. Естественная сеть, упрощенно, может что-то делать за счет того, что установились связи между нейронами нужным образом. В искусственной нейросети - связи установлены заранее, еще до обучения, делает что-то она за счет того что искуственный нейрон изменяет проходящий через него сигнал.

То есть чем глубже мы копнем, тем больше различий и меньше общего мы найдем.

И это на самом базовом уровне. А как вот эти крупные биологические сети «в сборе» работают - это описать настолько сложно, что не представляется возможности смоделировать и понять хотя бы в общих чертах, что же там за счет чего происходит.

А почему тогда искусственные сети упростили именно так? Не потому, что поняв принцип действия биологических сетей, убрали ненужное. Совсем нет. Вообще нет.

Так сделали, потому что задолго, буквально за века до появления этих ИИ теорий, в математике был такой раздел - аппроксимация. И вот - это она. Искусственная нейросеть - решает задачу аппроксимации. Только и всего.

К биологическим сетям это имеет чуть более чем нулевое отношение.

который верует в Гегеля

Неужели ты нам сейчас аргументированно пояснишь, чем Гегель не угодил? А если нет, зачем такими фразами кидаться?

James_Holden ★★★
()
Ответ на: комментарий от goingUp

то окажется, что все наши мысли предопределены и у нас нет свободы выбора)

Эта проблема решается в философии и богословии веками, а тут заходишь на форум по линуксу и тебе программисты такие - а все херня, все понятно. Человек это машина.

Ну некоторые программисты конечно машины, в силу профдеформации. Не понятно причем тут люди.

James_Holden ★★★
()
Ответ на: комментарий от James_Holden

Искусственная нейросеть - решает задачу аппроксимации. Только и всего.

Она достаточно эффективно решает задачу аппроксимации в пространстве с количеством элементов примерно 60000^4000 (для ChatGPT). Гегель про переход количество в качество ничего случайно не говорил?

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 1)
Ответ на: комментарий от red75prim

Так я же не верю в Гегеля.

А вы тоже тут не верите, но вы ждите - оно обязательно перейдет. Само. Магия еще не покинула Средиземье.

James_Holden ★★★
()
Ответ на: комментарий от James_Holden
  • Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
  • Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
  • Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Эти законы предполагается прошивать на самом низком уровне в ИИ, чтобы он в принципе не мог им не следовать.

Ты правда о них не слышал?

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от red75prim

Ну например, если на уровне детского сада пока рассуждать - есть понятие «одушевленное / не одушевленное». Кристаллы кремния вряд ли одушевленные, поэтому магия туда не просочится.

А если более серьезно, то скорее всего, воссоздать человеческий разум можно, просто по сложности эта система несколько, на скажем так перу тысяч порядков, сложнее чем думают программисты.

Точка перехода количества в качество находится тоже, возможно, где-то там. Это если без магии. А ведь отсутствие «магии» в мозгах тоже не доказано пока.

James_Holden ★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Эти законы предполагается прошивать на самом низком уровне в ИИ, чтобы он в принципе не мог им не следовать.

Уже фейл. Во-первых, в ChatGPT прошили, чтобы он говорил вежливо и старался отвечать на вопросы и чтобы их СЖВ не засудили, но чел с имиджборды нашел, как это обойти (если интересно, гугли DAN). Во-вторых, кто-то может сделать ИИ без этих ограничений.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)
Ответ на: комментарий от red75prim

А теперь еще в догонку к Гегелю вопрос (можешь попросить чат GPT прикинуться Гегелем и ответить).

Если миллион раз произнести «халва» во рту слаще станет? Или нет? А как же переход количества в качетсво??

James_Holden ★★★
()
Ответ на: комментарий от X512

О каком ИИ вообще может идти речь если в нём нет рабочей памяти?

Об обычном, каким с 1960-х занимаются: система, которая может решать какие-то задачи, считающиеся интеллектуальными.

До искусственного интеллекта общего назначения (или ИИ человеческого уровня) GPT-4 конечно не дотягивает.

red75prim ★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Ты правда о них не слышал?

Слышал конечно. Я и говорю - для того чтобы ИИ их выполнял, его надо обесточить.

James_Holden ★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)