Поиск по закладкам и истории. Делюсь годнотой

На нормальное название забыли денег отложить?

Memex? А что не так?

Хорошая штука.
Для Firefox

Worldbrain's Memex.

Поймай случайного человека и спроси, что это.

Сегодня после вечерней пробежки буду ловить, когда домой идти.

Расширение для браузера

позволяет искать по закладкам и истории

работает полностью офлайново

Что-то я не понял какой в этом смысл.

Смысл такой. Ты ходишь по сайтам любым. Можешь сохранять их в закладки, можешь не сохранять (они всё равно в истории).

Потом, предположим на следующий день или через месяц ты хочешь одну из этих страниц найти. Но поиск в Гугле может не справится. Потому что, например, единственное что ты помнишь про нужную страницу, это какое-то распространенное словосочетание (there are a lot of).

Ты вбиваешь это словосочетание в memex и получаешь 5 страниц вместо 5 миллионов. И всё это автоматизированно. То есть эта штука работает как Гугл, но в пределах твоей history и bookmarks.

Слово «офлайново» означает что 1. никакие твои данные никуда не отправляются и 2. расширение работает само по себе, не зависит ни от каких серверов.

Один минус — я могу и не попасть на нужную страницу никогда. А по сайтам целиком он не ищет, как я понял.

Я тебя не понимаю.

Google индексирует сайт целиком, пользователь же не может посетить все страницы сайта. Поэтому, если потребуется что-то найти на сайте, то среди истории может и не оказаться нужной страницы. Было бы лучше, если можно было бы искать по всем посещенным когда-либо сайтам, а не только страницам.

У меня пару раз за последнее время только были попытки найти информацию, которая тонула в тоннах нерелевантной выдачи. Один раз спустя некоторое время я вспомнил ещё немного информации, что позволило сузить выдачу и откопать-таки в ней нужное. В другой раз информация откопалась в wayback machine, но только потому что я в процессе поиска наткнулся на ссылку на удалённую страницу.

Мемекс бы в такой ситуации сильно помог. Жаль, встроенного в мозги нет.

Поймай случайного человека

Большинству людей концепция мемекса покажется бессмысленной.

Отчасти так и есть, если человек помнит содержимое заголовка (допустим, «Рецепт борща»), то ему и поиск никакой не нужен. :-)

Ты вбиваешь это словосочетание в memex

То есть у меня где-то на харде будут храниться все страницы, которые я когда либо посетил? Сомнительное удовольствие. Иначе вся эта история - выдумка. Или может он ищет только по заголовку страницы, по которому у меня браузер сам по себе может искать?

Слово «офлайново» означает что 1. никакие твои данные никуда не отправляются и 2. расширение работает само по себе, не зависит ни от каких серверов.

А еще это означает что у меня не будет никакой синхронизации - у меня несколько девайсов, привязанных к одному браузерному аккаунту, так благодаря этому я могу даже посмотреть какие страницы у меня где открыты и перетянуть их в текущую сессию на том девайсе, за которым я работаю. Сюда же синхронизация закладок и истории.

Или аддон знает что браузер умеет в синхронизацию? Это круто - вместо выкачивания на хард страниц с одного девайса он будет мне тянуть со всех моих устройств? Окей, в случае «локальной работы» он мне только хард засорит, а тут будет еще и канал забивать. И так на каждом устройстве (он у локально работает). Или он ищет только по заголовкам страниц, что мой браузер и так умеет?

Иначе вся эта история - выдумка.

Я удивляюсь с тебя. Там проверить - дело двух минут.

А еще это означает что у меня не будет никакой синхронизации

Ну да, а была бы синхронизация - начались бы (не от тебя, ок) вопли о зондах. Да я и сам не хочу давать свои bookmarks и history сторонним компаниям.

// Ты всё так странно пишешь... Меня сегодня критиковали за агрессивность, но вот, не знаю, как реагировать сейчас.

К слову, его разработку проспонсировало несколько спонсоров, на общую сумму что-то около больше 100 тыс. долларов. (Сумма была актальна несколько месяцев назад).

Мне кажется, переплатили.

// Ты всё так странно пишешь... Меня сегодня критиковали за агрессивность, но вот, не знаю, как реагировать сейчас.

Прости, пожалуйста. Но действительно, посуди сам - либо плагин индексирует все и хранит этот индекс или страницы целиком, либо он не лучше встроенного поиска в браузере. Плюс синхронизация, тоже вопрос.

Там проверить - дело двух минут.

Ну так ты же говоришь что пользовался, я думал ты в курсе как это работает.

Или аддон знает что браузер умеет в синхронизацию? Это круто - вместо выкачивания на хард страниц с одного девайса он будет мне тянуть со всех моих устройств? Окей, в случае «локальной работы» он мне только хард засорит, а тут будет еще и канал забивать. И так на каждом устройстве (он у локально работает). Или он ищет только по заголовкам страниц, что мой браузер и так умеет?

А то, что твой браузер тебе и забивает канал и жесткий диск, если настроена синхронизация, тебя не волнует?

Да, я пользовался, пару месяцев назад. Смотри, оно ищет по полному тексту страниц, не только по заголовкам.

Ты говоришь что это сомнительное удовольствие. Я не особо разбираюсь в особенностях работы браузеров, но читал, что все страницы, которые ты посещаешь, и так хранятся у тебя на диске (ограниченное количество времени) (точнее не сами страницы, а их содежимое).

// Читал я об этом в то время, когда пытался выяснить, почему ранние версии Хрома умели в полнотекстовой поиск по истории (хотя он работал через раз), а потом этот функционал убрали.

Эта версия косвенно подтверждается тем, что никаких задержек расширение не создает.

Синхронизация: если ты зайдешь на официальный сайт, ты увидишь раздел с ценами и фичами. Расширение можно юзать нахаляву, но есть варианты 1.5 и 6 евро в месяц.

https://worldbrain.io/pricing/

iOS and Android Apps
Free Self-Hosting & Open-Source
API
Save with any cloud provider (Soon)
Sync between computers (Soon)
Manual Backup to Google Drive

ptarh Не пропусти тред, для околоакадемических задач и ресерчей может быть годно.

Для Сафари версии нет, но обещают веб-версию. Обещали, правда, в январе.

https://github.com/WorldBrain/Memex/issues/275

vertexua Тебя тоже скастану, а то ты в этом разделе форума редко.

Спасибо!
15 лет ждал.

Ты вбиваешь это словосочетание в memex и получаешь 5 страниц вместо 5 миллионов. И всё это автоматизированно. То есть эта штука работает как Гугл, но в пределах твоей history и bookmarks.

и на это потратили 100 косарей баксов? Серьезно?

Ну да, если наш софт нужен <1% пользователей, теперь просто обязательно равняться по очевидности названия на ncmpcpp?

А между компами оно синхронизируется? А сколько такая база весит?

Там больше фич. Лучше посмотреть на страничке расширения.

проспонсировало несколько спонсоров, на общую сумму что-то около больше 100 тыс. долларов

Это где? На патреоне вижу только 12 баксов.

А у меня для этой цели DEVONthink есть: можно шлепнуть страницу букмарком туда, импортнуть вебархивом или как pdf через print - с индексированием он уж сам разберется. Академических и даже околоакадемических задач у меня уже давно нет, но информации меньше не стало. Вот был бы у меня DEVONthink когда я еще по научным статьям инфу искал, мммм.

очевидности названия

https://ru.wikipedia.org/wiki/Мемекс

хотел что-то подобное, судя по описанию. надо протестировать

Чем, историей и закладками? Да это на порядки меньшие объемы чем требуется если он будет сохранять страницы.

Набрасываю:

https://github.com/jarun/Buku + https://github.com/SamHH/bukubrow (https://addons.mozilla.org/en-US/firefox/addon/bukubrow/ https://chrome.google.com/webstore/detail/bukubrow/ghniladkapjacfajiooekgkfop...)

все страницы, которые ты посещаешь, и так хранятся у тебя на диске

У меня сейчас каталог с профилем браузера занимает чуть больше двухсот метров. Я за день в разы больше выкачиваю. Так что даже если представить что там хранятся какие-то полезные для индексации данные - горизонт очень маленький.

ранние версии Хрома умели в полнотекстовой поиск

Так твои закладки лежат в гугловом облаке, там то эта индексация и выполнялась.

если ты зайдешь на официальный сайт, ты увидишь раздел с ценами и фичами.

Что-то по описанию это три разных вещи, а не вариации одного расширения.

Так твои закладки лежат в гугловом облаке, там то эта индексация и выполнялась.

Во-1х я говорил про историю. Во-2х синхронизацией я не пользуюсь.

Чем, историей и закладками? Да это на порядки меньшие объемы чем требуется если он будет сохранять страницы.

Важен принцип. И да, кому надо, тот готов платить. А если не надо, зачем ты тут борешься за их права?

индексирует все и хранит этот индекс или страницы целиком

Что-то подобное и происходит.

https://worldbrain.io/ FAQ

With 20.000 visited websites you end up with about 1GB of data. If you are a heavy web-user it will be about 4-5GB per year.

https://ru.wikipedia.org/wiki/Очевидность

Я вот тоже не понимаю. На протяжении всего треда впечатление, что мы ему это в рот запихиваем, против его воли. Как говорится, каждый тестирует и решает, нужно ему или нет.

Или тестирует и потом срется. Но сраться до тестирования - это вообще за пределами моего понимания.

зачем ты тут борешься за их права?

За какие права?! Совсем поехали?! Я только спросил как работает расширение. Я не смотрю исходники, не проверяю сам, потому что лично мне оно нахрен не надо. Я прочитал описание топика, и задал по нему вопрос. И вместо того чтоб нормально объяснить или сказать "не знаю" мне впихивают какие-то рассуждения про приватность и плату.

Меня интересовали два абсолютно простых вопроса - хранит ли расширение просмотренные страницы чтоб искать по ним или если не хранит - очевидно что оно не ищет по тексту страниц. И как оно ведет себя в случае синхронизации в браузере. Все. Это элементарные вопросы для того кто пользовался этим расширением.

Если бы оказалось что расширение ничего не хранит локально, ничего не хранит в облаке, ничего не прогружает из истории когда пользуешься поиском, но при этом реально ищет в тексте страницы - это было бы интересно. Но походу все верят в магию и никто даже не задумывается что там внутри.

myLogin

Чо ты кричишь? Посмотри в код. Оно индексирует страницы (убирает все лишнее и оставляет текст), и хранит это в IndexedDB браузера. Потом, по этому индексу и ищет.

Roadmap:
...
    Automatic Backup to Memex Cloud
    Saving & searching social posts and comments on Facebook and Twitter
    Sharing & Discussing Annotations
    Integration with Pocket
...

Они уже запланировали скатиться в сг

Опенсорс же, под MIT.

Меня интересовали два абсолютно простых вопроса - хранит ли расширение просмотренные страницы чтоб искать по ним или если не хранит - очевидно что оно не ищет по тексту страниц. И как оно ведет себя в случае синхронизации в браузере. Все. Это элементарные вопросы для того кто пользовался этим расширением.

Чтобы искать в тексте, надо его где-то иметь. Шокирующие новости! Элементарные вопросы, лол.

Но походу все верят в магию и никто даже не задумывается что там внутри.

Лично я могу посмотреть в исходники. Хотя мне хватило взгляда на список permissions: дополнение просит прав на хранение неограниченного кол-ва локальных данных. Это явное указание на использование локального хранилища для кэша.

Да, хайпнули на опенсорсе :)

«latest commit was 2 year ago». «Please use the advanced commercial version» нас ждет :)

Смотря какие файлы смотреть :)

2 days ago

Я согласен, разработка у них идёт медленно. Ну, хоть что-то. Дело в том, что похожие вещи уже были.

Но они были SaaS, закрытыми и обычно платными. Memex, в этом смысле, это (извиняюсь за пафос) продукт пока что уникальный.

Выше еще писали про Buku, но оно какое-то кривое. Установил, оно не работает, вместо этого требует от меня чего-то скачать и собрать (build).

Смотря какие файлы смотреть

я ванговал что может произойти

Memex, в этом смысле, это (извиняюсь за пафос) продукт пока что уникальный.

да я тоже заинтересовался

междупрочим, если мне не изменяет память, в Opere 12 похожая штука была из коробки :)

в Opere 12

Не сыпь соль на рану! Правда, мои личные извращенные фантазии об Opera 9.

Очевидность

... взывает к предыдущему опыту и знаниям. Чем меньше опыта и знаний, тем меньше будет очевидно.

Впрочем, некоторые люди гордятся тем, что им плохо даётся математика, и вообще мышление. Почему бы и нет? У нас так в обществе принято.

Оно индексирует страницы (убирает все лишнее и оставляет текст), и хранит это в IndexedDB браузера. Потом, по этому индексу и ищет.

Спасибо! Это я и спрашивал.

если человек помнит

Найди мне сайт:

Черный фон, зеленый кислотный текст. Разбавлен картинками на которых деревянный человечек на столе, что-то делает, например с циркулем, под его ногами графики на бумаге. Картинки самобытны, но релевантны содержанию в тексте. Весь сайт посвящен цифровому звуку: мнимые числа, матрицы, FFT, генераторы, эффекты. Всё с формулами и примерами кода. Автор немец (или немка), пишет по англицки.

Ищу!!!