LINUX.ORG.RU
ФорумTalks

Базовый вопрос по хранению информации на ПК


0

2

Как быстро летит время за линуксом, казалось бы только сел за компьютер, а уже ночь... так, о чём это я?

Товарищи, поделитесь мудрыми знаниями по хранению информации на вашем ПК. Я осознал, что храню информацию не так, как бы хотелось, не идеально, не используя современные вычислительные мощности в полную меру, а также неудобно и неэффективно работаю с ней. Хотелось бы изменить это положение вещей.

Имеется информация различного рода, текстовая и мультимедийная.

Источники: всевозможные, основной - интернет.

Деятельность: получение, классификация и упорядочивание информации, хранение её в виде удобном для доступа, а также обеспечение надёжности её хранения и простой переносимости.

Задача: обеспечить максимально возможное удобство, надёжность хранения информации и эффективность при работе с ней.

Примеры информации:

* ссылки на ролики на ютуб.ком, названия прослушанных песен

* да не только ютуб, вообще самые разные ссылки по всевозможным темам

* книги, которые бы хотелось прочитать

* разнообразная инфа по компьютеру, операционным системам, их настройке

* интересные заметки, цитаты, факты (в виде текста или ссылок на веб-страницы), найденные в Сети

* скачанные файлы (музыка, фильмы, установочники программ), а именно хранение моих собственных комментариев к ним

* хранение истории сообщений из IM (icq, jabber)

* хранение паролей ко всему перечисленному

* ведение личного органайзера (календарь, расписание на день, заметки, etc)

и многое другое

Что имею на сегодняшний момент (примеры софта из windows), по пунктам:

* ссылки храню в стандартных закладках Mozilla Firefox. Отдельные части страниц, если надо сохранить, сохраняю в CyberArticle (проприетарная windows софтина). Учитывая неудобство сохранения картинок в CA, иногда просто сохраняю картинки с сайтов в отдельную папку на жестком. Недостатки: неудобно работать с несколькими хранилищами информации, неудобно искать по ним, трачу много времени на поддержку их всех одновременно.

* Список книг, просмотренных фильмов, инфу по настройке компа и ОС (и вообще всевозможную текстовую информацию) храню в windows проге Mars Notebook. В ней благодаря древовидной структуре удобно хранить всё, что надо. Но некоторые моменты софтины не устраивают (не сохраняется время создания записей, нет статистики, об этом ниже).

* С историей сообщений из IM откровенная беда. В поисках наилучшего ICQ клиента мигрирую туда-сюда, различные мессенджеры имеют свои форматы хранения сообщений, с версиями файлов с сообщениями постоянная заморочка, неудобно в общем.

* Скачанные файлы - ещё одна нерешённая проблема. Пользуюсь Download Master, да, в нём можно писать комментарии, но проблема в том, что эти комментарии никуда из программы не идут, и чтобы понять а что за вот этот конкретно файл предо мной приходится лезть в программу, искать... неудобно

Торренты из uTorrent вообще нельзя комментировать в этой софтине - только разбивать по категориям. Стоит ли говорить, что он сохранении комментариев к торрентам и закачкам из Download Master речи вообще не идёт - никаких средств синхронизации между собой у них нет.

* Единственное с паролями вроде разобрался. Остановился на софтине KeePassX, сконвертил для неё базу от Password Commander (PC(win) -> KeePass(win) -> KeePassX(linux)), правда после конвертации надо записи опять по категориями рассовывать, но на фоне всего остального это мелочь.

* Органайзер. Тут вопрос открыт. Мне нужна также синхронизация с моим КПК на Windows Mobile 6.1, так как всё ручками перебивать это сами понимаете, позапрошлый век.

Но это всё было на Windows, сейчас, вместе с попытками обуздать Linux встала проблема поиска альтернативных программ и благодаря ей я решил наконец разобраться со своими принципами и подходами к хранению информации.

Каким я вижу решение этой проблемы. Единая росси... софтина. В ней я в табличном виде вижу список ВСЕХ файлов на моём компьютере, независимо от источника их получения. Список я могу фильтровать, сортировать по любым столбцам. Для каждого файла я могу определить категорию, метки, написать свой комментарий. Могу сгруппировать файлы, если они представляют одно целое (две версии одного фильма). Для каждого файла обязательно сохраняются время создания/редактирования (так как я люблю статистику). Была бы кстати возможность составлять отчёты из статистики, например, график просмотра фильмов в этом году по месяцам (сколько просмотрено). Без экспорта во всякие эксели - нативными средствами. Также могу для каждого файла добавить любую инфу, например для фильмов это будет ссылка на imdb.com или, может быть, картинка от постера.

Софтина сия также отслеживает перемещения файла по диску и поэтому никогда его не теряет (кроме случая с его окончательным удалением, разумеется).

Для торрентов хранится связка .torrent файл+соответствующий ему сам скачанный файл, чтобы легко манипулировать торрентами.

Отдельно (пусть даже в другой проге) хранятся сохранённые мною цитаты или целые куски веб-страниц опять же с информацией о том, когда они были сохранены, с поддержкой категории, меток, ... Добавление информации в программу происходит не маргинально: ктрл+ц в браузере, альтаб в софтину, ктрл+н для создания новой записи, кнтр+в вставка инфы. НЕТ! Всё современно: софтина сама интегрируется в браузер (Firefox), позволяя по единой горячей клавише или из контекстного меню рулить собой.

Что касается органайзера, он должен быть либо внутри этой софтины, либо в виде отдельной. Обязательны широкие возможности по настройке (люблю мощный софт, мне на win понравился монстр GemX doOrganizer, поглядите скриншоты, жаль он денег просит + мне показалось, развивается не динамично + только на windows + синхронизация с win mobile только через посредника (outlook), что плохо). Очень хотелось бы уметь синхронизироваться с КПК на Windows Mobile 6.1 (правда пока не знаю, вообще возможно ли это из линукса).

Софтины НЕ должны быть онлайновыми (НЕ должны быть веб-сервисами то бишь) со всякими модными облаками, только старый оффлайн (допустима разве что синхронизация различных версий через серваки в интернете). Экстремально сильно хотелось бы иметь возможность у софтины хранить свою базу единым файлом + ШИФРОВАТЬ ЕГО заданным мною паролем (чтобы не заморачиваться с TrueCrypt). Очень хотелось бы также функцию самобекапа на указанный мною удалённый сервак (несколько протоколов на выбор) или даже на свой собственный сервер (но обязательно под шифрованием).

Софтина(ы) должны быть иметь версии под linux и, желательно, ещё под Windows с MacOS. Крайне желательно, чтобы бесплатны и свободны. Не хотелось бы повторения ситуации с Password Commander, когда разработка умирает, версий новых нет и код тоже не открыт. Приходится выкручиваться (передаю искренне спасибо тому человеку, который написал конвертер базы PC в KeePass).

Неплохо бы иметь поддержку плагинов и предоставления API для собственных скриптов (на Python!), чтобы юзер мог реализовать нужную ему функциональность вроде слияния и синхронизации хистори от различных IM.

Если это имеет значение: мои исходные данные сейчас это KDE, Linux Mint 10 (на Kubuntu).

Есть у вас идеи по поводу подобной софтины, может быть она уже существует в природе и вы знаете её название? Как вы решаете проблему с хранением разнородной информации из различных источников?



Последнее исправление: D_Lans (всего исправлений: 1)

Ответ на: комментарий от Siado

Давненько таких вбросов небыло.

>> D_Lans>>ID: 24350

Чей-то старый виртуал или вброс сделал тот, кто имеет доступ к базе пользователей.

adriano32 ★★★
()
Ответ на: комментарий от adriano32

Всего две темы. Первая тема - 2006 год, попытка установить мандраку.

Теперь, спустя 5 лет, вторая попытка поставить линукс =)

Siado ★★★★★
()

>Как быстро летит время за линуксом, казалось бы только сел за компьютер, а уже ночь... так, о чём это я?

Всего две темы. Первая тема - 2006 год, попытка установить мандраку. Теперь, спустя 5 лет, вторая попытка поставить линукс =)

Эээ, уважаемый, сейчас не просто ночь, а ночь 17-ого марта 2011-ого года. Вы об этом, я надеюсь, знаете?..

Nebuchadnezzar ★★★★
()

зачетное графоманство!

Объясняю кратко - покупаешь два одинаковых винчестера, форматируешь их под ntfs и хранишь на всем этом информацию.

Deleted
()

Много букв, дочитать не осилил. ТСу необходим курс твиттеротерапии.

поделитесь мудрыми знаниями по хранению информации на вашем ПК.

Делюсь мудрыми знаниями. Заводишь в ~ тематические подкаталоги (~/projects, ~/todo, ~/links, ~/ideas и т.п.) и хранишь там файлы. Если где не хватает древовидного разделения, перелинковываешь элементы дерева симлинками. Натравливаешь на это любой поисковый движок, и получаешь инстант-поиск по содержимому. Всё.

Комментарии к файлам можно делать средствами гномокед, но не нужно.

благодаря древовидной структуре

Древовидную структуру тебе предоставит файловая система. Велосипеды не нужны.

geekless ★★
()
Ответ на: комментарий от Deleted

Вброс так вброс...

Достаточно придерживаться строгой логической структуры ФС. А пароли хранить либо в специальной программке (типа того же «храни зад Х»), либо даже просто в браузере (для сетевых ресурсов).

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от geekless

Какой поисковый движок понимает теги ape ? И не надо про CСЗБ:-) раздачи классики на демоноиде это на 95 % ape. Как индексировать отсканированные дежавю без пдф ? «Файловая система лучший каталогизатор» это прекрасно, но и камней более чем достаточно

SergMarkov
()
Ответ на: комментарий от SergMarkov

раздачи классики на демоноиде это на 95 % ape.

А что, конвертировать в православный flac не хотите?

Как индексировать отсканированные дежавю без пдф?

При чем здесь pdf? Вам нужно все отсканированные jpeg'и скормить какой-нибудь распознавалке, а потом, на стадии формирования отдельных страниц, скормить еще и текст для получения текстового слоя:

djvused(1)
              A powerful command line tool for manipulating multi-page documents, creating or
              editing annotation chunks, creating or editing hidden text layers,  pre-comput-
              ing thumbnail images, and more...

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от SergMarkov

> Как индексировать отсканированные дежавю

Вы так говорите, будто есть магический способ их индексировать хоть как-нибудь.

«Файловая система лучший каталогизатор» это прекрасно, но и камней более чем достаточно

Угу, лучше загнать всё в xml-файл (или в чем там хранит эта программа, которую юзал ТС), ну удачи с таким подходом.

geekless ★★
()
Ответ на: комментарий от SergMarkov

SergMarkov> Как индексировать отсканированные дежавю без пдф ?

nepomuk умеет метки. Вся моя документация в разных форматах прекрасно им ищется.

vurdalak ★★★★★
()

софтина. В ней я в табличном виде вижу список ВСЕХ файлов на моём компьютере, независимо от источника их получения.

$ find ~ -type f | wc -l
147849

И это не считая файлопомойки. В общем, удачи с табличным представлением файлов.

geekless ★★
()
Ответ на: комментарий от geekless

>Akonadi

Судя по описанию весьма любопытная штука. Правда мне показалось, что она имеет слишком сложную структуру для моей цели.

Единственное что смутило, это то, что везде только теоретическая информация, нигде нет списка плагинов/аддонов с предлагаемой кнопкой СКАЧАТЬ, дополняющих функционал для этой программы (хотя я наверное не так понял её суть). Я понял, что Akonadi уже есть в моей системе, я пока не могу понять, как расширить её возможности.

Вообще, вы знакомы с ней? Хотелось бы узнать перед началом знакомства с ней, она точно умеет всё, что мне нужно? И какая часть из требуемого мною функционала в ней уже реализовано? Предстоит ли что-то писать самому?

Чей-то старый виртуал

Не нужно искать троллинг там, где его нет :)

Теперь, спустя 5 лет, вторая попытка поставить линукс =)

Вы правы, так и есть :)

Эээ, уважаемый, сейчас не просто ночь, а ночь 17-ого марта 2011-ого года. Вы об этом, я надеюсь, знаете?..

:D да, действительно, двусмысленно прозвучало. Но нет, вторая попытка поставить линукс пока длится всего лишь третьи сутки.

Объясняю кратко - покупаешь два одинаковых винчестера, форматируешь их под ntfs и хранишь на всем этом информацию.

Стандартная ФС - неудобно.

Делюсь мудрыми знаниями. Заводишь в ~ тематические подкаталоги (~/projects, ~/todo, ~/links, ~/ideas и т.п.) и хранишь там файлы. Если где не хватает древовидного разделения, перелинковываешь элементы дерева симлинками. Натравливаешь на это любой поисковый движок, и получаешь инстант-поиск по содержимому. Всё.

Опять же - неудобно всё это. Вследствие несовершенства функциональных возможностей используемых мною программ и их неспособности организовывать файлы требуемым мною образом, требуется новый слой, обёртка над слоем файловой системы. В файловой системе может быть полный бардак, я может быть вообще не буду работать на уровне ФС, но программа будет предоставлять мне всю информацию в удобном виде. Новый слой даёт столько возможностей по сравнению с просто ФС, что я даже не знаю. стоит ли тратить время и описывать их все, или вы сами догадаетесь.

пароли хранить либо в специальной программке (типа того же «храни

зад Х»), либо даже просто в браузере (для сетевых ресурсов).

С паролями разобрался, проблем нет.

$ find ~ -type f | wc -l

147849 И это не считая файлопомойки.

Эх, если бы всё было так просто...

D_Lans
() автор топика
Ответ на: комментарий от D_Lans

Отвечать лучше на конкретные комменты конкретных пользователей, а не стеной текста разом.

Вследствие несовершенства функциональных возможностей используемых мною программ и их неспособности организовывать файлы требуемым мною образом, требуется новый слой, обёртка над слоем файловой системы.

Чего именно не хватает?

В файловой системе может быть полный бардак, я может быть вообще не буду работать на уровне ФС, но программа будет предоставлять мне всю информацию в удобном виде.

Если у вас в ФС бардак, то нет ни одной причины, почему в обертке над ФС у вас не будет бардака. Будет абсолютно такой же. Потому что никакой искусственный интеллект за вас порядок не наведёт, делать это нужно вам самому. А средств для удобного представления информации более чем достаточно: файловых менеджеров и самых разных плагинов к ним, как говорится, тысячи их.

Новый слой даёт столько возможностей по сравнению с просто ФС, что я даже не знаю. стоит ли тратить время и описывать их все, или вы сами догадаетесь.

Назовите хоть одну.

Эх, если бы всё было так просто...

И как вы рассчитываете в табличном виде упорядочить несколько сотен тысяч файлов?

geekless ★★
()

для себя похожую проблему решил так: не храню ничего локально т.к. есть интернет и поисковик
посмотрев фильм или стираю его или на другой диск перемещаю (в стол), а описание есть в интернет
для небольшого количества записей есть обычный текстовый редактор (kate)
что забыл, то и не нужно в данный момент, а то что нужно обычно не забываю )

x905 ★★★★★
()

Ну и простыня, однако!

drull ★☆☆☆
()
Ответ на: комментарий от geekless

> Потому что никакой искусственный интеллект за вас порядок не наведёт, делать это нужно вам самому.

Зачем бросаетесь в крайности? Я сам немного программирую и осознаю тот объём задач, которые способен выполнять современный компьютер. Сейчас я вижу и понимаю, что ряд рутинных действий при управлении информацией совершаю я, в то время как это можно было бы поручить компьютеру. При написании первого поста этой темы я представлял себе алгоритмы, по которым должна работать искомая программа. Вопрос лишь в том, столкнувшись с такой же проблемой, как и я, решил ли её кто-либо или ещё нет (второй вариант просто невероятен, учитывая тривиальность задачи, а значит решение наверняка уже наверняка существует).

Чего именно не хватает?

Назовите хоть одну.

Вы заставляете меня переписывать первый пост иными словами. Впрочем ради решения этой проблемы я готов на это :)

При работе с несколькими программами от разных авторов нет ни единых стандартов, ни единого подхода к хранению файлов. Очень часто (практически всегда) программы не поддерживают весь объём средств для удобного управления информацией (классификация по группам: фильмы, музыка, поддержка тегов, удобный поиск в том числе регулярками). Иногда приходится вручную выполнять рутинные действия по переносу файла в соответствующую папку,

Средствами ФС нельзя или неудобно вести статистику по файлам (например хочу хранить время закачки из инета отдельно от времени создания/редактирования самого файла в ФС).

Напрашивается .txt файл с моими комментариями, вставленной вручную датой закачки, лежащий в папке с фильмом, но это прошлый век, простите.

Неудобно работать с группами файлов как одним. ФС позволяет только положить их в одну папку, а нужен подход гибче.

Сложно взять и обозреть весь объём фильмов и музыки. Хотя наверное эту функцию предоставит предложенный выше локальный поисковик.

Это всё, что касается софтины для руления файлами.

Но мне нужна, напомню, также софтина для иерархического хранения минимум текстовой информации (лучше также картинок). Хотя для этой цели можно подумать над поднятием своей вики. Правда тут ещё надо разобраться по поводу шифрования базы и автоматизации её бекапа. Правда, насколько я знаю, в вики нет таблиц (а ля эксель) в которые можно было бы вбивать те же просмотренные фильмы с датой просмотра, а потом по ним рисовать графики и выводить прочую статистику.

В принципе это можно реализовать собственноручно, на SQLite например, написав к ней требуемый гуй, но это задача на несколько недель (с учётом всего функционала), сначала хочу поискать уже готовое.

И как вы рассчитываете в табличном виде упорядочить несколько сотен тысяч файлов?

В левой части программы - дерево разделов. Каждому листу дерева соответствует отдельная таблица в правой части программы. При выборе не-листа выводится конкатенация всех таблиц его поддеревьев и листьев. То есть можно выбором интересующей категории (из дерева) мы значительно снижаем объём таблицы. Также доступна фильтрация по столбцам, поиск по тегам и названию (в т.ч. с регулярками).

=========================================== выше можете не читать. =========================================== Тут просто напишу, как я вижу алгоритм работы с программой, может быть станет понятнее.

Нахожусь в Firefox. Нахожу на сайте что-либо интересное (ссылку, текст, текст+картинки, кусок веб-страницы). Нажимаю горячую клавишу, появляется маленькое окошко добавления новой записи в программу, в нём уже автоматически вставленный (выделенный) кусок страницы. Задаю категорию новой записи, пишу метки, жму сохранить. Работаю дальше. При необходимости найти что-то в базе, по другой горячей клавише вызываю окно поиска в базе, использую выбор категории/меток/поиск, нахожу нужную мне запись, ctrl+клик открываю её в браузере, если это ссылка либо копирую и вставляю в текстареа, если пишу что-нибудь на каком-нибудь форуме, к примеру.

Второй случай. Вновь Firefox. Инициирую загрузку файла. Если это .торрент, его подхватывает мюТоррент и качает. Иначе файл качается стандартными средствами Firefox или менеджером закачек, не важно. В менеджере закачек или мюТорренте каталогизацию и упорядочивание НЕ ИСПОЛЬЗУЮ. Моя чудо-программа мониторит определенные папки на диске и при появлении в них нового файла, открывает окно с добавлением новой записи в базу. В этом окне я указываю категорию файла (развлечения/фильмы/боевики), добавляю метку, если надо, жму ОК. Всё, программа теперь следит за файлом и я легко могу найти его, задав поиск по моей базе. В случае с парными файлами (те же торренты) программа отслеживает как сам файл, так и соответствующий ему .торрент, позволяет легко удалять то или другое или оба файла.

Как вариант: отслеживание появления новых файлов идёт не через мониторинг папок, а через взаимодействие через некий API с программами для закачки (это, в отличие от предыдущего случая, позволит также точно отловить момент окончания закачки и уведомить об этом пользователя).

Впрочем можно скомбинировать оба варианта: когда есть программа для закачки - взаимодействуем с ней; если же файл приходит из другого источника (сбрасываю на свой ж/д с DVD/внешнего жёсткого) она ловит появление файла в папке и открывает окно создания новой записи, как и в первом случае.

Итого мне нужны две софтины: 1. Удобное управление файлами и их учёт на жестком диске. 2. Древовидное хранение текстовой информации (+также картинок желательно), с поддержкой своих скриптов, которыми я реализую хранение общей базы сообщений из различных IM. Также желательно чтобы органайзер был также внутри этой софтины, либо реализован отдельно, но с тесной интеграцией.

D_Lans
() автор топика
Ответ на: комментарий от D_Lans

я конечно такой подробной каталогизацией не занимаюсь, но неужели для ваших задач не хватает akonadi+nepomuk+strigi? вроде как раз для таких случаев писалось

e1nste1n ★★★★★
()
Ответ на: комментарий от D_Lans

> Сейчас я вижу и понимаю, что ряд рутинных действий при управлении информацией совершаю я, в то время как это можно было бы поручить компьютеру.

Отлично, так поручите. Для этого не нужен монстр, который вы здесь описываете, достаточно нескольких наколенных скриптов и стандартных утилит.

При работе с несколькими программами от разных авторов нет ни единых стандартов, ни единого подхода к хранению файлов.


Существует единственный общий подход к хранению файлов: файлы хранятся как plaintext и могут быть обработаны штатными средствами ОС. Каждый раз, когда данные невозможно представить текстом, и начинается разнобой. И эту проблему никак не решить в общем виде.

Очень часто (практически всегда) программы не поддерживают весь объём средств для удобного управления информацией (классификация по группам: фильмы, музыка, поддержка тегов, удобный поиск в том числе регулярками).


Это не задача программ, работающих с конкретными форматами. Это задача файлового менеджера, поисковой системы, оболочки.

Средствами ФС нельзя или неудобно вести статистику по файлам (например хочу хранить время закачки из инета отдельно от времени создания/редактирования самого файла в ФС).


Средствами ФС можно хранить что угодно.

Напрашивается .txt файл с моими комментариями, вставленной вручную датой закачки, лежащий в папке с фильмом,


Ну вот вы сами и ответили на свой вопрос. Ничего не мешает завести для каждого filename соответствующий .filename.metadata и хранить в нём дополнительную информацию о файле. Более того, ничего не мешает автоматически добавлять туда дату закачки, например.

Неудобно работать с группами файлов как одним. ФС позволяет только положить их в одну папку, а нужен подход гибче.


1. Хардлинки.
2. Симлинки.
3. И, таки, хранение путей в текстовом файле.
Куда уж гибче?

Но мне нужна, напомню, также софтина для иерархического хранения минимум текстовой информации (лучше также картинок).

В левой части программы - дерево разделов. Каждому листу дерева соответствует отдельная таблица в правой части программы.



А теперь подумайте, чем это отличается от обычного файлового менеджера с деревом на боковой панели.

При выборе не-листа выводится конкатенация всех таблиц его поддеревьев и листьев.


Ну таки да, не интересовался, в какие ФМ встроена такая возможность, не знаю. Вопрос к кдешникам: в кедах есть интеграция инстант-поиска с файловым менеджером?

Нахожу на сайте что-либо интересное (ссылку, текст, текст+картинки, кусок веб-страницы). Нажимаю горячую клавишу, появляется маленькое окошко добавления новой записи в программу, в нём уже автоматически вставленный (выделенный) кусок страницы. Задаю категорию новой записи, пишу метки, жму сохранить.


xbindkeys + любой редактор.

Моя чудо-программа мониторит определенные папки на диске и при появлении в них нового файла, открывает окно с добавлением новой записи в базу.


Наколенный скрипт + любой редактор, опять же.

Вы поймите, сформулированная вами задача эквивалентна разработке интегрированной десктопной среды. Т.е., фактически, переизобретению гномов/кед. Не говоря уж о том , что развесистые приложения не нужны, поскольку на основе обычных мелких утилит (начиная от coreutils и заканчивая всевозможными *box-ами), можно собрать и заавтоматизировать любое рабочее место так, что никакие гномокеды и рядом не валялись. Но за вас этого никто не сделает, поскольку это ВАШЕ рабочее место, а телепаты, как обычно, в отпуске.

Ну и задумайтесь еще над вопросом, что вы будете делать с вашими умными метаданными в неизвестном формате, лежащими неизвестно где, когда эта умная софтина загнётся или когда потребуется поработать с ними из-под другой ОС. Фактически, ваш супер-органайзер будет являться отдельной инопланетной ОС и рабочей средой, несовместимой ни с чем другим в этом мире. Как и другие 100500 попыток прикрутить к ФС сверху обертку, да.

geekless ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.