LINUX.ORG.RU
ФорумTalks

О картриджах знаний

 , , , ,


0

0

В фантастических романах можно прочитать о картриджах знаний, во всяких фэнтезийных о поглощениях или вливаниях умений и знаний.
При этом авторы фентези уже чувствуют подвох, описывая поглощения значительных или очкнь чужеродных для эго знаний как мучительный и опасный для рассудка процесс, после которого требуется как правило от и более полусуток восстановления.

Так вот, как выглядит всё это с точки зрения наших текущих знаний о нейросетях?
А то ведь похоже что человечество ни какого другого способа кроме старого и нелюбимого обучения так придумать и не смогло.

Что будет если скажем у сетей с одинаковой топологией, но натринерованных на разные задачи взять и сделать сумму коэфициэнтов?
Получится ли нейросеть умеющая решать обе задачи?

Вообще, намечается появление шаблонов значений коэфициэнтов для математически сходных задач?

★★★★★

Сначала нужно придумать кибернетические имплантаты.

Deathstalker ★★★★★ ()

Получится ли нейросеть умеющая решать обе задачи?

Получится нейросеть, не умеющая ничего. Чтобы коэффициенты можно было складывать, обе нейросети должны быть обучены хотя бы примерно одинаково: скажем, учим мы на кластере независимо 1000 нейросетей, каждые 100 итераций усредняем их веса.

Если уж обращаться к фантастике, то можно представить сотню клонов, которым загружают исходное состояние сознания, а затем синхронизируют их с оригиналом после получения знаний.

Касательно же передачи знаний и умений, куда проще подключать уже готовые модули, выдающие нужные паттерны нашей нейросети в читаемом виде. Скажем, пусть модуль по запросу выдаёт данные прямо в кратковременную память, не дообучая нашу нейросеть напрямую.

Sadler ★★★ ()
Последнее исправление: Sadler (всего исправлений: 2)
Ответ на: комментарий от Sadler

Скажем, пусть модуль по запросу выдаёт данные прямо в кратковременную память, не дообучая нашу нейросеть напрямую.

Но разве кратковременная память не часть нейросети и чем это будет принципиально отлично от обычной книги?
Как не поймёшь одно, так и не поймёшь другое.
С другой стороны езда на велосипеде или решение уравнений методом подстановок являются НАВЫКАМИ, а не знаниями, а значит должны быть не в краткосрочной памяти.

torvn77 ★★★★★ ()

умения — это прикольно, я бы хотел уметь водить вертолёт или ещё какую нибудь дичь.
а вот знания то нафига таким образом передавать? в чём профит?

system-root ★★★★ ()
Ответ на: комментарий от Sadler

Если уж обращаться к фантастике, то можно представить сотню клонов, которым загружают исходное состояние сознания, а затем синхронизируют их с оригиналом после получения знаний.

Не, это надо эксплуататорам или обществу, для души это смысла не имеет.

torvn77 ★★★★★ ()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

чем это будет принципиально отлично от обычной книги?

Скоростью доступа и поиска. Носить такой модуль, условно, с википедией, куда эффективнее, чем забивать в ту же википедию с телефона нужные запросы. Просто отпадёт необходимость учить это наизусть. В первую очередь нейросетям не хватает надёжного хранилища информации: вся наша память с трудом записывается и деградирует со временем, и именно такой модуль я бы добавил первым делом. Далее — математический сопроцессор. После этого обучение само собой станет куда как эффективнее.

являются НАВЫКАМИ, а не знаниями, а значит должны быть не в краткосрочной памяти

Подключайте соответствующие модули к моторной коре. В мозге нет единой точки доступа, наши модули в любом случае являются некой периферией.

Sadler ★★★ ()
Последнее исправление: Sadler (всего исправлений: 3)
Ответ на: комментарий от Sadler

Касательно же передачи знаний и умений, куда проще подключать уже готовые модули, выдающие нужные паттерны нашей нейросети в читаемом виде.

А разве этот модуль и нейросеть недолжны быть в некотором соответствии для осмысленного и правильного восприятия паттерна?
И если модуль и нейросеть согласованны, то не проще усовершенствовать до модуля часть нейросети?

torvn77 ★★★★★ ()
Ответ на: комментарий от torvn77

Касательно соответствия, я надеюсь на пластичность мозга, хотя модуль скорее всего сам будет искусственной нейросеткой и сам будет подстраиваться тоже.

К сожалению, каждое вмешательство в нашу естественную нейросеть — это ещё одна операция на мозге, потому нет, куда проще один раз добавить интерфейс для внешних модулей, чем изменять естественную нейросеть, каждый раз вскрывая череп.

Sadler ★★★ ()

Тег «вещества» добавь.

burato ★★★ ()

Сходи на митап по ИИ уже.

Задача долговременной памяти сейчас не решена и куда ее решать непонятно. Был на митапе на этой неделе. Пиво хорошее, ответы на вопросы и треп после были интереснее доклада. Докладчик работал (работает) Google/Facebook/etc.

В других местах говорят, что замена ТВОЕГО нейрона на механический в принципе чуть ли не решенный кейс, можно и много нейронов поменять. Но задача развития связей сети сейчас не решена и куда ее решать непонятно.

Слава роботам, но захватить мир пока у них не выйдет.

Shaman007 ★★★★★ ()
Последнее исправление: Shaman007 (всего исправлений: 1)
Ответ на: комментарий от torvn77

к являются НАВЫКАМИ, а не знаниями

Вот когда начинают такое разделение - считай всё пропало.

Разве есть какая-то принципиальная разница между ними?

Serg_HIS ()

Думаю что врядли знания можно будет засовывать на подобии как с помощью картриджей.

Но например был случай (я вполне думаю что это было не просто жёлтые новости), когда один человек вдруг стал слышать какие-то голоса и музыку у себя в голове.

Вначале думал что «едет крыша», но потом заметил что что то что он слышит совпадает с некоторыми каналами радио, потом когда пошёл к врачам, оказалось что его пломба или штифт(не помню) в зубе играл роль детекторного радиоприёмника и он отдавал электроимпульсы нейронам поблизости от себя, нейроны подучились и стали выдавать вполне адекватные импульсы сходные как от уха.

Так что в плане каких-то новых дополнительных сенсоров или управление «мыслью» техникой через вживлённый интерфейс в мозг вполне возможны.

Serg_HIS ()
Ответ на: комментарий от Serg_HIS

Да что нейроинтерфейсы будут это понятно, я осознал что знания как и раньше придётся учить.

torvn77 ★★★★★ ()
Ответ на: комментарий от Serg_HIS

слушать радиво через зубную боль

ссанина же. в избирательностью у такого контура будет полный швах. если и будет приём, то услышишь кашу из станций.

n_play ()
Ответ на: комментарий от Serg_HIS

детекторный приёмник делал сам? на двух транзисторах и куска проволоки.

да, и в отличие от тебя, неоднократно делал его в сосничестве. если точнее, то на точечном диоде, коднетсаторе и рулоне проволоки, намотоанным на втулку от туалетной бумаги.

и если ссанину про полупроводниковый эффект в зубе ещё как-то можно состыковать с реальностью, то где найдешь индуктивность и емкость? ок, емкость ладно, может где-то появится. но индуктивность откуда-то?

n_play ()
Ответ на: комментарий от n_play

Не спорю. я же предупредил что это могла быть желтизна.

Но предполагаю, что всё же могло быть.

Serg_HIS ()
Ответ на: комментарий от n_play

но индуктивность откуда-то?

само тело человека вполне себе антенна.

Serg_HIS ()
Ответ на: комментарий от Serg_HIS

но где брать те несколько десятков-сотен витков индуктивности, столь необходимые для создания колебательного контура?

n_play ()
Ответ на: комментарий от Serg_HIS

тушка - это емкость, но не индуктивность. и вдобавок очень плохая антенна (с точки зрения ттх).

n_play ()

Что будет если скажем у сетей с одинаковой топологией, но натринерованных на разные задачи взять и сделать сумму коэфициэнтов?

Получится ли нейросеть умеющая решать обе задачи?

Нет. Но если отрезать голову и пару раз прогнать оптимайзером - в картинках/речи сработает. В NLP сложнее.

Вообще, намечается появление шаблонов значений коэфициэнтов для математически сходных задач?

Word2Vec, Glove, FastText, pretrained сети - уже есть.

Solace ★★ ()
Ответ на: комментарий от n_play

колебательный вполне из тушки получается, так же как и из куска проволоки.

Касался как нибудь пальцем входа усилителя и слышал 50 герц ревущих из колонок?

На нейроны не нужно подавать много вольт. думаю там вполне сработает и в сотни тысяч раз слабее чем подаётся на динамик в радиоприёмнике.

Serg_HIS ()
Ответ на: комментарий от Serg_HIS

Касался как нибудь пальцем входа усилителя и слышал 50 герц ревущих из колонок?

слющай, проффесор ИИ, тебе и этот эффект нужно обьяснять?

вот только с колебательностью контуров никакой связи нет.

n_play ()
Ответ на: комментарий от n_play

вот только с колебательностью контуров никакой связи нет.

может ты и прав. Наверное таки эффект ёмкости.

Но как колебательный контур тело человека тоже может быть. Да - ттх хреновое конечно.

Serg_HIS ()

В своём нынешнем виде получится тыква.

peregrine ★★★★★ ()
Ответ на: комментарий от peregrine

Вот только данные с этого интерфейса используются сугубо зрительным анализатором, и нет контролируемого способа использовать их в других областях мозга. Да и неконтролируемо разве что посредством ЛСД. Опять же, в обратную сторону канал куда скромнее.

Sadler ★★★ ()
Последнее исправление: Sadler (всего исправлений: 2)
Ответ на: комментарий от Sadler

Вот мозг его и «оцифрует». А так, если скажем в той же фантастике пишут про киборгов, то это нерационально. Если у тебя есть думающая машина и ты можешь закачивать и выкачивать знания из черепушки, то проще поменять бесполезную человеческую тушку, которая полна багов и быстро ломается. Даже поломка личности фигня. При такой закачке знаний личность и так поломается из-за несоответствий. Хотя по факту она всю жизнь ломается, только медленно это и называется обучением и опытом.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 2)
Ответ на: комментарий от peregrine

Если у тебя есть думающая машина и ты можешь закачивать и выкачивать знания из черепушки

Слишком много «если». Задача создания киборга намного проще, чем задача массовых считывания и записи состояния произвольного непустого множества нейронов в мозге, включая конфигурацию и текущий паттерн активности. Особенно с учётом того, что состояния эти нестатичны, а потому снимок должен производиться мгновенно или почти мгновенно.

Sadler ★★★ ()
Последнее исправление: Sadler (всего исправлений: 3)
Ответ на: комментарий от Sadler

ну так фантастика же. А ели даже более сложное упрощение брать, то можно выкачивать состояние долгосрочной памяти, ну будет провал в памяти на пару деньков, но если по башке хорошенько приложить и не такое бывает.

peregrine ★★★★★ ()
Ответ на: комментарий от n_play

но где брать те несколько десятков-сотен витков индуктивности, столь необходимые для создания колебательного контура?

А сам то ты прохффесор по «всему», причём тут витки к колебательному контуру?

Магнитная индукция-же! Это просто усилитель.

Резонанс к виткам не имеет отношения. А вот к размеру антенны имеет.

AM диапазон какраз метровый. Сравним с размером человеческого тела.

Serg_HIS ()
Ответ на: комментарий от peregrine

Осталось сделать железную тушку с API совместимым с мясной, и накатить на исходники мозга патч, реализующий DMA к структурам памяти для её последующего копирования в кремний

af5 ★★★★★ ()
Последнее исправление: af5 (всего исправлений: 1)

Эти т.н. нейросети работают совсем не так, как работает мозг. Потому ассоциировать такое вливание знаний некорректно.

Quasar ★★★★★ ()
Ответ на: комментарий от Serg_HIS

Эту байку капитан Врунгель любил рассказывать, потом носители морзянки вымерли и начали травить байку на новый лад про детекторный приемник, благо «Маяк» принимался даже на утюг. Сейчас неактуально, передатчики с АМ вымерли как класс.

ilovewindows ★★★★★ ()
Ответ на: комментарий от peregrine

Электромеханические тушки ещё чаще ломаются, чем естественные органические. И питание для них гораздо критичнее. Проще человеческую тушку проапгрейдить так, чтобы она хорошо регенерировала и очищалась.

Quasar ★★★★★ ()
Ответ на: комментарий от Quasar

Органическую несколько сложнее научить, скажем, питаться от электророзетки, она намертво привязана к пищеварительной системе, содержание которой обходится очень дорого в сравнении с ценой электроэнергии.

Sadler ★★★ ()
Ответ на: комментарий от Quasar

Электромеханические тушки ещё чаще ломаются, чем естественные органические

Скорее не так.

Чаще ломаются/глючат всётаки органические. Но самопочином занимаются тоже органические :(

Serg_HIS ()
Ответ на: комментарий от ilovewindows

Сейчас неактуально, передатчики с АМ вымерли как класс.

Я не уверен, но думаю, что кто-то в AM диапазоне ещё передаёт.

У меня правда из техники в достижении руки, которая с акумами заряженными нет, чтобы проверить амлитудники.

Но в загашнике лежит радиоприёмник для AM. Если не сдох за 20 лет - проверю. Крону правда купить нужно... Вроде продаются.

Serg_HIS ()

тебя же не пучит от использования компа. чем комп с интернетом не картридж знаний? просто интерфейс нужен вменяемый - вот и всё.

Iron_Bug ★★★★ ()
Ответ на: комментарий от Iron_Bug

ну, если зайти в йутуп с незнакомого компа можно и блевануть

af5 ★★★★★ ()
Ответ на: комментарий от af5

впрочем, не только йутуп. я иногда не узнаю некоторые сайты на чужих компах. но, наверное, это и есть вопрос интерфейса: фильтрация выхлопа, очистка данных от лишнего мусора (баннеров всяких).

Iron_Bug ★★★★ ()
Ответ на: комментарий от Quasar

Электромеханические тушки ещё чаще ломаются, чем естественные органические. И питание для них гораздо критичнее. Проще человеческую тушку проапгрейдить

Вот так и начинается война между шейперами и механистами...

tailgunner ★★★★★ ()
Ответ на: комментарий от Quasar

Не, уверен что при таком уровне технологий можно будет клепать тушку которая будет покруче терминатора.

peregrine ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.