LINUX.ORG.RU

Mozilla представила ИИ-бота MemoryCache

 ,


1

1

Mozilla представила экспериментальное дополнение MemoryCache, внедряющее диалоговую систему машинного обучения, способную учитывать контент, с которым взаимодействует пользователь в браузере. В отличие от других AI-чатов, MemoryCache позволяет персонализировать взаимодействие с пользователем и использовать конкретные данные о пользователе при формировании ответов на вопросы. Код проекта распространяется под лицензией MPL. Установка в Firefox в настоящее время поддерживается только вручную через режим «about:debugging» и требует применения патча.

Все компоненты MemoryCache выполняются на устройстве пользователя и не обращаются к внешним ресурсам. Модель GPT4All-J, обученная на англоязычных коллекциях Pile (825 ГБ данных), ShareGPT (13 МБ) и Dolly (660 МБ), используется в качестве базы знаний в MemoryCache. Модель доступна в вариантах с 3, 7 и 13 миллиардами параметров. Для взаимодействия с моделью используется инструментарий privateGPT, оптимизированный для работы с большими языковыми моделями на локальных компьютерах.

Memory Cache сохраняет просматриваемые страницы в каталоге «~/Downloads/MemoryCache». Периодический скрипт извлекает страницы из этого каталога и передает их в обработчик privateGPT (ingest.py) для обновления текущей языковой модели. Таким образом, модель адаптируется к интересам пользователя и может использоваться для обсуждения просмотренного контента в текстовом чате с ботом. Пользователь может естественным образом задавать вопросы боту о сохраненных страницах, например, для уточнения фактов, и бот будет формировать ответ, используя локальную модель, без обращения к внешним сервисам.

>>> Подробности



Проверено: hobbit ()
Последнее исправление: hobbit (всего исправлений: 1)

Кто-то уже ставил?

goingUp ★★★★★
()
Ответ на: комментарий от token_polyak

Рухлядь древнее предыдущего конца света 2012 года всё равно не потянет жирновеб

У меня десктоп из 2000-х и всё норм, не выдумывай. Более новая система (с 6-ядерным Phenom-ом и 16GB памяти, купленная и собранная тоже 10 лет назад) до сих пор так и стоит выключенная по причине отсутствия надобности.

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)

Вот поэтому фаерфокс и загибается. Вместо того, чтобы развивать браузер, мозилла занимается всякой чушью. Причём действительно полезные проекты вроде серво они выкинули, благо хоть раст нашлось кому поддержать.

vbr ★★★
()
Ответ на: комментарий от token_polyak

Ага, и переводить будет как переводчик от Linganex, встроенный в Vivaldi. То вдруг с русского на украинский перейдёт, то на три буквы пошлёт :)

*Это он реально так работает

MrCookie
()
Последнее исправление: MrCookie (всего исправлений: 1)

Сири в Мозилле. Прикольно конеш, насколько это напряжно для компа только? Наверное какие-то домашние облака нужны для всего этого…

special-k ★★★
()
Ответ на: комментарий от vbr

вроде серво

Так он, видать, медленнее чем Мозилла работал. С чего вообще кто-то взял, что переписывание на какой-то новый язык ускорит браузер? Как будто реализация одного и того же алгоритма отличается по скорости, да еще и в пользу раста.

special-k ★★★
()
Ответ на: комментарий от firkax

Так как ИИ в этой системе мне о пиве ответит? Или она ориентирована исключительно на сбор и обработку информации пользователя и о пользователе

One ★★★★★
()
Ответ на: комментарий от One

Во-первых, ИИ сначала обучают на огромном массиве данных, он их «усваивает» и может что-то из них повторить, но вот это состояние после обучения - оно уже исходные данные напрямую не использует, а использует только результат своего обучения. Считай это интеллектуалным сжатием текстов с потерями. Так что если исходный массив был 1ТБ то в «сжатом» виде там вполне может быть 10ГБ или 100ГБ (числа наугад, но то что они сильно меньше ТБ - это точно). Впрочем, 1ТБ это по-моему очень мало для обучения хорошей модели, у всяких chatgpt там на порядки больше.

Во-вторых, да, там ориентация на дообучение по данным пользователя - чтобы бот был именно твоим персональным и лучше всего знал твои интересы, а не всё вообще.

firkax ★★★★★
()
Ответ на: комментарий от special-k

Так он, видать, медленнее чем Мозилла работал.

Нет, он работал быстрей, и кроме того имел на тот момент инновационную архитектуру, когда рендер страницы распределялся на множество ядер (один процессор рисует один прямоугольник, второй процессор - другой). Не знаю, есть ли это сейчас.

С чего вообще кто-то взял, что переписывание на какой-то новый язык ускорит браузер? Как будто реализация одного и того же алгоритма отличается по скорости, да еще и в пользу раста.

Во-первых дело не только в скорости. Браузер это первейшая дверь на компьютер пользователя. Ни одна программа не сталкивается с таким количеством недоверенных данных. И писать браузер на C++ это путь вникуда. Раст тут убирает огромный класс уязвимостей.

Во-вторых раст даёт возможность писать параллельный код без гонок. Это тоже очень важное преимущество и оно ключевое, когда речь идёт про скорость. В теории ты, конечно, можешь написать на С++ то же самое, но на практике оно будет кишеть гонками и багами, а на расте компилятор всё проверит. И тут опять же надо вспомнить про уязвимости, сколько из этих гонок будут приводить к пробиванию браузера?

vbr ★★★
()
Ответ на: комментарий от vbr

Есть такое понятие как разделение труда. Всей Мозилле не надо пилить один браузер. У этого браузера нет проблем, исключая низкую рыночную долю. Вбросить туда ещё сто человек делу не поможет, когда Мозилла в принципе живёт за счёт денег, которые ей дает Гугл. Их задача состоит в том, чтобы развивать разные открытые проекты. Важность этого требуется объяснять на сайте, посвящённом опенсорсу?

Ghostwolf ★★★★★
()
Последнее исправление: Ghostwolf (всего исправлений: 1)
Ответ на: комментарий от Ghostwolf

У этого браузера нет проблем, исключая низкую рыночную долю.

У пациента нет проблем, исключая его смерть. Шикарно.

А знаешь, что будет дальше? Геко просто выкинут. Честно признаться, я удивлён, что это ещё не произошло. Налепят скин на хромиум и назовут это новой версией. Тогда тоже не будет никаких проблем. Главное пилить никому не нужные покеты и интеграции с впнами. Да, и нейросети втюхивать инвесторам. Ещё блокчейна для полного булщит-бинго не хватает.

Mozilla это Firefox. У них нет никаких других проектов, достойных упоминания. Они должны сосредоточиться исключительно на нём. Сосредоточиться на увеличении его рыночной доли. Любой другой путь это просёр компании. Хотя их директор, конечно, не забывает себе миллионные премии выписывать.

vbr ★★★
()
Последнее исправление: vbr (всего исправлений: 2)
Ответ на: комментарий от vbr

Спасибо за этот детальный и логически обоснованный анализ. АИ никогда не дотянуться до дискуссий подобного уровня качества.

Ghostwolf ★★★★★
()
Ответ на: комментарий от Ghostwolf

Да мне грустно, что даже я, будучи фанатом открытого веба, не могу найти ни одной причины тестировать сайты, которые я делаю, под фаерфоксом, т.к. у него юзеров примерно ноль. Любой другой баг важней, чем совместимость с фаерфоксом. Про других я молчу. Угробили хороший браузер.

vbr ★★★
()
Последнее исправление: vbr (всего исправлений: 1)

что за наркомания то? Обсудить ЛОР с ботом? Дедушка Мороз им подкинул мешок снега штоле?

SpaceRanger ★★
()
Ответ на: комментарий от Gonzo
  1. Я нигде не сказал, что это было в школе

  2. Питон же вроде в ЕГЭ даже.

t184256 ★★★★★
()
Ответ на: комментарий от firkax

Ага на спектруме фурри-фокс* мне собери…

* на всякий случай напишу, что фурри запрещенная экстремистская организация, а то после всяких аббревиатур из трех-четырех букв страшно становится, что что-то запрещенное без плашки упомянишь ряяяяяяя

rtxtxtrx
()
Последнее исправление: rtxtxtrx (всего исправлений: 1)
Ответ на: комментарий от rtxtxtrx

Процы 80-х это 386 и 486 имелись ввиду, то есть первые из 32-битных х86.

firkax ★★★★★
()
Ответ на: комментарий от PPP328

Тут хотябы честно говорят. А с людьми общаешься, бывает на все 100% галлюцинируют… Как не новость: СистемДи никому не нужен, Вейланд сделает Линукс виндовсом, Иксы самые продвинутые и крутые… Офигиваешь иной раз)

noc101
()
Ответ на: комментарий от vbr

ФФ уже всё. Этот труп не оживить. Абсолютно. Даже исправь все косяки, ФФ останется аутсайдеров. Я даже не знаю, что нужно сделать, чтобы ФФ стал популярней.

Рекомендую удалять браузер и переходить на любой другой на базе Хромиума. Увы и ах

noc101
()
Ответ на: комментарий от Atlant

Давно. Яндекс переводчик к примеру. Да и другие есть. Тот же ГПТ3,5 переводит вроде как. Гугл не уверен, но вроде тоже.

noc101
()
Ответ на: комментарий от noc101

В вопросе чётко сказано - локального. Но ты суёшь онлайн-сервисы.

firkax ★★★★★
()
Ответ на: комментарий от special-k

Имеет смысл. Выкинуть старые костыли. И заложить многопоточность, про которую при написании прошлого движка даже не задумывались. Поэтому и XUL пришлось выпилить, потому что мешал многопоточности. Конечно плохо в итоге XUL выпилили ради добавления свистоперделок в интерфейс. Ну и плюс переписать на Rust в том что не приходится бегать закрывать CVE, пиша на c++ и обмазываясь санитайзерами.

fuggy
()
Ответ на: комментарий от vbr

Очень боюсь что когда-то и Gecko заменят на хромиум. А какие способы тогда расширения рыночной доли предложишь? Если сосредоточится на Firefox и жить только на подачки гугла, то это и приведёт к стагнации. И что значит сосредоточится?

Если бы всё было так просто, вбросил разработчиков в Firefox и рыночная доля сразу растёт. Более того рыночную долю убивают жалобщики и сами разработчики сайтов, которые ваяют только под хром и электрон. Про другие браузеры не слышали, без мегабайта JS даже кнопку не могут добавить.

Нужно способы диверсификации дохода. Поэтому и добавляют платные впны. Чтобы как раз и оставались деньги на развитие Firefox, если вдруг подачки гугла урежут.

Конечно в последнее время занимаются в основном ненужным интерфейсом, двигают кнопки и предлагают разноцветные темы. Но надо отдавать должное что у Mozilla куча полезных но малоизвестных проектов: Common Voice, Rust, Thunderbird, K-9 mail, принимают участи в стандартизации веб стандартов WebAssembly, WebXR, WebRTC, AV1. Можно вспомнить и один из единственных браузеров на Android с поддержкой дополнений.

fuggy
()
Ответ на: комментарий от fuggy

Очень боюсь что когда-то и Gecko заменят на хромиум. А какие способы тогда расширения рыночной доли предложишь? Если сосредоточится на Firefox и жить только на подачки гугла, то это и приведёт к стагнации. И что значит сосредоточится?

  1. Перестать портить жизнь юзерам. Я ещё помню, как фаерфокс ни с того ни с сего решил отрубить все расширения на старом API. По-мне это одно из худших решений было. Очень внимательно относиться ко всему, что портит UX для старых юзеров, стараться этого не делать.

  2. Пофиксить уже все популярные баги 15-летней давности.

  3. У хрома сейчас направление движения в сторону того, чтобы ограничивать расширяемость браузера. У расширений забирают права, и тд. Вот тут у фаерфокса есть прекрасная возможность предоставить альтернативу - делать браузер для power user-а. В котором расширения имеют доступ ко всему, что душе угодно. В котором нет никакой модерации. Чем больше хром зажимает продвинутых юзеров, тем больше людей, готовых уйти с хрома.

  4. Перестать маяться дурью по поводу всяких privacy и прочей чухни. Никому это не надо. Все радостно сливают всё всем и это никого не заботит. Реализовать webusb, к примеру, это то, что лично для меня - showstopper, не дающий даже думать про фаерфокс.

  5. Вытащить gecko в отдельный проект, сделать альтернативу электрону (а ещё лучше сделать с ним сотрудничество, чтобы разработчик мог выбирать веб движок простой настройкой в файле билда).

  6. Мощно топить в сторону веб-приложений. Могу я из фаерфокса добавить Gmail в пуск? Чтобы он запускался, как обычное приложение? Всё это должно быть максимально отшлифовано. За этим будущее.

  7. Сделать developer tools на голову выше всего, что есть в хроме. У любого веб-разработчика фаерфокс должен быть главным браузером для тестирования просто потому, что там всё удобно. Из очевидного - интегрировать vscode. Почему я не могу по-человечески там программировать? Почему я не могу писать на typescript в repl-е? Да куча всего, никто про это вообще особо не думает.

Если бы всё было так просто, вбросил разработчиков в Firefox и рыночная доля сразу растёт. Более того рыночную долю убивают жалобщики и сами разработчики сайтов, которые ваяют только под хром и электрон. Про другие браузеры не слышали, без мегабайта JS даже кнопку не могут добавить.

Разработчики сайтов ваяют для того, под чем сидят юзеры. Но если пункт 7 сделать, то будут ваять под фаерфокс, просто потому, что это удобно, а под хром только тестить. И проблема отпадёт. Про электрон тоже написал.

Нужно способы диверсификации дохода. Поэтому и добавляют платные впны. Чтобы как раз и оставались деньги на развитие Firefox, если вдруг подачки гугла урежут.

Это негодные способы. Надо собирать донаты и меньше тратить на всякую ерунду вроде зарплаты директорам. Смешно, но последний раз, когда я этим интересовался, способа задонатить на фаерфокс вообще не было. Можно было только задонатить на премию директору мозиллы.

Конечно в последнее время занимаются в основном ненужным интерфейсом, двигают кнопки и предлагают разноцветные темы. Но надо отдавать должное что у Mozilla куча полезных но малоизвестных проектов: Common Voice, Rust, Thunderbird, K-9 mail, принимают участи в стандартизации веб стандартов WebAssembly, WebXR, WebRTC, AV1. Можно вспомнить и один из единственных браузеров на Android с поддержкой дополнений.

vbr ★★★
()
Последнее исправление: vbr (всего исправлений: 1)

Я почему-то всерьёз задумалась о Epiphany.

Kapusha
()
Ответ на: комментарий от vbr
  1. Без выпиливания XUL все жаловались что фаерфокс жрёт память, тормозит и всё прочее. Потому что веб пожирнел, а не потому вдруг ни с того ни с сего начало тормозить. А оно блокировало добавление многопоточности и многопроцесности. Я могу открыть 1000 вкладок и всё работает, да конечно в памяти висит 16 процессов, но сейчас без этого никуда. И сейчас как раз это именно хром жрёт больше памяти и медленнее на тестах.
  2. Не могу сказать. Но такие баги есть везде.
  3. Firefox именно этим и занимается, если не смотреть на «перестановку диванов». Firefox не внедряет manifest v3, about:config (а не огрызок в хроме), дополнения на любой вкус, локальный переводчик без внешних сервисов, не добавляет шпионский Topics API.
  4. Для кого как. Privacy это самое важное. Это заложено в основу манифеста Mozilla. Если от этого откажутся, то эту будет ещё уже не Mozilla. Просто эффективные менеджеры хотят видеть телеметрию, сколько людей отключает телеметрию, вот и приходится поступать. WebUSB - ненужно. Во-первых, это чисто гугл-разработка, которая поди дырявая. Во-вторых, когда наиграются быстренько выпилят, как WebSQL. Хром тоже многое не умеет например MathML полностью.
  5. Электрон и придуман с целью чтобы разрабатывать под одну платформу, не оглядываясь на совместимость. Был бы gecko-электрон, в целом было бы хорошо.
  6. Были попытки, но их забросили. И уж лучше PWA, чем каждое приложение будет таскать с собой копию хрома.
  7. Дело привычки, мне наоборот DevTools в Firefox удобнее, и там есть некоторые функции, которых нет в иных. И для DevTools тоже существую куча дополнений, потому что они написаны на веб-технологиях.

На зарплату директора к сожалению простые люди повлиять не могут.

fuggy
()

Это круто, но с установкой пока что лень разбираться.

anonymous_sama ★★★★★
()
Ответ на: комментарий от fuggy

На c++ нельзя реализовать многопоточность? Опять же, что такое браузер - это

  1. парсер xml, json и т.п.

  2. js виртуальная машина

  3. визуализация DOM-деврева

  4. пользовательская обвязка webview

Нельзя что ли один из этих компонентов реализовать для начала. Например аналог skia запилить, или spidermonkey переписать.

special-k ★★★
()
Ответ на: комментарий от vbr

Могу я из фаерфокса добавить Gmail в пуск?

На андроиде и иос - можешь.

special-k ★★★
()
Ответ на: комментарий от Psilocybe

Не видать. И это стало ясно давно, несколько лет назад, как минимум.

CrX ★★★
()
Ответ на: комментарий от DrRulez

Следить за историей посещения пользователя и выдавать нужное товарищу майору по запросу.

А то «товарищи майоры» в мозилле - это сильно.

В данном конкретном случае выдавать будут господину мейджору по его запросу

BydymTydym
()

внедряющее диалоговую систему машинного обучения, способную учитывать контент, с которым взаимодействует пользователь в браузере

А подсказки в адресной строке как были конченные, так и остались. Есть куча адресов, на которые я захожу ежедневно. И обычная ситуация в Фоксе, когда по первым буквам предлагается какая-то срань, куда я заходил один раз несколько месяцев назад, вместо тех, что я посещаю ежедневно. Можно мне обычную сортировку по ЦЫФРАМ посещений без этого вашего ИНТЕЛЛЕХТА?!

MoldAndLimeHoney
()
14 февраля 2024 г.

очень любопытно) а можно сделать фурифокс без подвязки к Rust?)

maerLLM
()

Но зачем?

для обсуждения просмотренного контента в текстовом чате с ботом.

Ааааа, это. Ну-ну.

grem ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.