LINUX.ORG.RU

Haystack


0

0

Наконец-то открыт проект по созданию программы, призванной упростить манипулирование, поиск и обмен информацией.
"Раньше, информация которой человеку приходится манипулировать в повседневности, была разбросана по бесчисленным почтовым клиентам, файлам, огранайзерам, адресным книгам, сборникам избранных ссылок на Web-страницы и тому подобным специальным хранилищам. Haystack устраняет это разделение, чтобы люди могли манипулировать своими данным из одного центра."
Видно, что у проекта большой потенциал.

И как всегда, инновационный проект зародился в MIT. Как всегда, не в МГУ или МВТУ. Увы, жаль.

>>> Подробности

anonymous

Проверено: ivlad

Re: Haystack

2Anode Что из обсуждаемого нельзя сделать grep-ом текстового файла - индекса с ключевыми словами и URL? Основная проблема - заломает его обновлять всякий раз при появлении очередного файла, как и с любой более хитрой приблудой.

anonymous ()

Re: Haystack

>Интересно, чем это анонимусу Бауманка не по вкусу? Мозгов учиться в >хорошем ВУЗ'е нет?

сколько не встречал кода написанного заумными граматеями из МГУ и из Бауманки сопровождать этот код невозможно, такое впечатление что в программу hello world человек хочет вложить всё чему его научили да ещё накрутить что никому править не захотелось , от того жиненный цикл программ в нашей стране крйне невелик, а те которые можно подумать что держаться долго, так это уже не раз переписанные с нуля проги, программа должна жить , а писать интерфейсы из года в год да ещё их править это кошмар, теперь ясно почему у нас всё падает и ракеты с первого раза не взлетают... самолётами я давно не летаю
проще надо быть и народ к вам потянется ....
извиняйте если кого задел ...

anonymous ()
Ответ на: Re: Haystack от Anode

Re: Re: Haystack

Ну так, Microsoft уже такую систему ваяет. Ждите.

Линакс правдв опять в жопе, ну так не привыкать

anonymous ()

Re: Haystack

Казалось бы, причем тут слакваре?

anonymous ()

Re: Haystack

>No wander that this interface is applied to description of signaling
No wonder?

>The major problem with Russian Universities is a lack of vision.
>This is why no real innovation are introduced by applied science or
>fundamental research.

Это не причина а следствие. Причина в отсутствие достаточного
стимулирования. Недаром те, у кого башка варит хоть немного выше
среднего живут и работают не в России, а кто похуже - живет в России,
в перерывах между поездками на работу за границу. Кому инновации то
делать? Старперам, которые окопались на кафедрах и читающим курсы по
OOD иллюстрируя их примерами на foxpro? Я по работе здесь очень
часто бываю, пьянствую с приятелями, которые еще сдесь и слышу,
что год от года все никаках сдвигов в сфере высшего образования.
(Ну разве что повальное переименование всех институтов в университеты.)

Captain Nemo.

anonymous ()

Re: Haystack

TO Anode:

По поводу фаловой системы...

Именно такая мысль у меня появилась после ознакомления со спецификациями OMG - MOF, CWM, XMI. Ведь это и есть "контекстно независимый" способ хненения и управления информации. Вот если на этих принцыпах построить VFS то, как мне кажется, и получится то о чем тут многие говорят - информация будет хранится не зависимо от формы представления, будет храниться имеенно ИНФОРМАЦИЯ а не файл или группа файлов в конкретном формате.

yurykosh ()

Re: Haystack

2anonymous (*) (2003-09-29 11:11:58.01282):

Microsoft такую систему _уже_ сваял. NTFS называется. Позволяет, в числе прочего, произвольные атрибуты файла, и индексацию по ним (я не помню, кажется, не по всем, а только по "резидентным", но не суть). И что, помогло это появлению на свет супер-пупер программ, которые это все используют? :-)

А еще есть товарищ Ганс Рейзер с ReiserFS4, в которой декларированно то же самое + система плагинов для организации таких индексации и поиска.

И гномеры давеча чего-то такое собрались писать...

Так что, идея не нова. Только вот широкого распространения она не получает... То ли реализации недотягивают ;-)

anonymous ()

Re: Состоялся форк XFree86

>А еще есть товарищ Ганс Рейзер с ReiserFS4, в которой декларированно то >же самое + система плагинов для организации таких индексации и поиска. > >И гномеры давеча чего-то такое собрались писать... > >Так что, идея не нова. Только вот широкого распространения она не >получает... То ли реализации недотягивают ;-)

ReiserFS4 , который еще НЕ namesys, будет только вот вот. Атрибуты к файлам есть не только в NTFS, но и в ext2 , но этого совершенно недостаточно. Кроме gnome есть и KDEшники, точнее библиотека подлючаемая к KDE и неперенесенная на gnome.... (каюсь совершенно не помню названия)

Резюме - идея то в воздухе витает, но последнее время все чаще и чаще. Предсказание - так и будет витать, но еще чаще.:-) Особенно когда рейзер доделает таки свое детище.

kernel ★★☆ ()
Ответ на: Re: от Dimentiy

Re: Re:

> Вот именно. Фишка в том, что при таком раскладе никакой
необходимости в сервере персональном - нет. Вся информация в
коммуникаторе и будет

А если совсем чуть-чуть подумать? Сколько гигабайт можно
воткнуть в сервер, а сколько в коммуникатор? Кто будет
индексировать новые документы? Что если доступ идет к
документам нужен для нескольких человек?

anonymous ()
Ответ на: Re: Re: Haystack от Dimentiy

Re: Re: Re: Haystack

Если уж руки чешутся, следующий тул нужен будет всем: 1. Иметь возможность послать сообщение зарегистрированному абоненту. 2. Техническая невозможность получения твоего IP путем ретрансляции частей сообщения с других компьютеров в сети + шифрование. 3. Возможность хранения личных/доступных всем сообщений и файлов с возможностью поиска по архиву локально и удаленно. 4. Передача сохраненных файлов и сообщений. 5. Распределенное управление доверием к абоненту/хосту.

anonymous ()

Re: Haystack

<<Через пять лет домашний сервер с постоянным включением в сеть будет как
телефон сейчас. Плюс вместо тупой мобилы у каждого будет такого
же размера коммуникатор с беспроводным интернетом. И все, что
тебе надо из личных документов, ты со своего сервера сам и
возмешь через мобильное устройство. Кроме того, были, есть и
будут публичные сервера с нужной инфой. И к ним тоже захочется
подключиться. А вот чем думают людишки, пишущие поделки с
прицелом только на личный комп - я не знаю...>>
Тем, что через 5 лет не будет бесплатных публичных серверов, баран. RIAA & BSA всех построит, и за каждый акт обращения к библиотеке надо будет бабосы платить, как сейчас за справку из службы "09". Поэтому человек реально сможет пользовать только то, что сам засундучить успеет. Главное сейчас - вытащить побольше из emule, завтра может быть поздно.

<<Основная проблема - заломает его обновлять всякий раз при появлении очередного файла, как и с любой более хитрой приблудой.>>
А ты cron скрипт напиши. И чайника научи cron скрипты писать. Вот MS и получает бабосы, а не ты, потому что знает, что чайнику нужно что-то готовое предложить, а cron скрипт он учиться писать не будет!!!

<< Только вот широкого распространения она не получает... То ли реализации недотягивают ;-)>>
Реализации недотягивают. Ведь нужно, чтобы у каждого был SCSI диск для таких скоростей, да и индексы инфы будут 30% объема винта занимать.

<< They are going to make a big $$ on that if it will be pushed to the level of practical use, since nothing like that is available.>>
Вот это то и опасно. MS может их скупить раньше, чем они выложат свою систему под GPL.

<<Привожу примеры. "Информация номер раз" - письмо в инбоксе почтовика. "Информация номер два" - файл в рабочей копии (под управлением системы управления версиями). "Информация номер три" - котировки акций в таком плавающем окошке углу экрана.>>
Нда. Что, котировки мне не могут по мылу присылать? В виде авторассылки или по запросу? Вот в этом разделении информации по приложениям, которые с ней работают, и есть причина того, в какой жопе сейчас IT. И того, что считается, что пользоваться компом сложнее, чем стиральной машиной. И MS делает все, чтобы приблизить комп к человеку и поэтому она зарабатывает бабки а не такие, как ты

anonymous ()
Ответ на: Re: Haystack от anonymous

Re: Re: Haystack

> Нда. Что, котировки мне не могут по мылу присылать?

Нет не могут. E-Mail не работает в реальном времени. Хотя _таким_как_ты_ один хрен.

Dimentiy ★★ ()
Ответ на: Re: Haystack от anonymous

Re: Re: Haystack


> Тем, что через 5 лет не будет бесплатных публичных серверов, баран.

Сам ты пидарас, и папа твой пидарас, и дедушка. Публичные
сервера, как и публичные библиотеки будут всегда.

anonymous ()

Re: Haystack

>Раз в сутки ночью по крону пускается индексатор htdig.
>Через плагины он понимает и индексирует все основные форматы >- txt,html,doc,xls,ps,pdf

не хочу чужой индексации - хочу своей. В чужом бардаке разбираться - лишняя работа. Пример готовой индексации - индекс в книге, пример моей - закладки и заметки на полях. Об етом ниже.

по поводу "самого правильного пути" с точки зрения не плодить сущности и сделать новую (или апдейтить старую) файлОсистему
Единственное что можно возразить - всё не пересадишь на одну систему: надо чтобы и над ntfs работало и над win9*


>MOF, CWM, XMI
спасибо за имена - почитаю на досуге.


>сопровождать этот код невозможно, такое впечатление что в >программу hello world человек хочет вложить всё чему его >научили да ещё накрутить что никому править не захотелось

так это "job security";) (у пишущего плохо - всегда есть работа!). Это талант - растягивать проекты на бесконечность и вешать лапшу клиенту: такие менеджеры очень ценятся в определённых кругах (высшая квалификация - чтоб ещё и не моргнуть ;)




>А кто юзал вот это: http://www.framerd.org/
серьёзная академическая работа но пока кажется далекой от жизни (по крайней мере - на сегодняшней архитектуре): это имплементация фреймов - ключевой структуры использующейся во всех областях искуственного интеллекта. Для обсуждаемого "органайзера" путь имхо неправильный. Допустим у нас есть текст - книга например. Какой хрен знает какой в етом тексте лежит смысл? Кто и как будет этот текст маркапить (структурировать) и по каким критериям. Это же контексто-зависимый язык. Случай с фреймами - ещё более тяжёлый: Кто делает семантический анализ, кто будет разгонять всё по фреймам? Любой индексации сделанной до меня не верю да она мне и не нужна (каждое слово+комбинации) Этот текст (метадата) будет в несколько раз превышать исходный и 1) не будет уже исходным т.к. будет уже убогим толкованием и исходная инфа потеряна по определению 2) оверхед - дичайший.
Это ваще фил. вопрос - можно ли в принципе любой контексто-зависимый язык выразить в С и т.о. - в любом другом формализме. Да если и можно (хотя многие не верят) - неизвестно как.

Потом framеd не так масштабируема (сказано "supports indices up to millions of keys). А если мы хочем что-то гугло-подобное - надо значительно больше. Хочется терабайты. Петабайты лет через 15 грядут. Потом существующая инфа накопленная в терабайтах в больших архивах уже не может быть не только пробублирована но и просто переписана из-за объёмов.
Памяти хватит только на малую часть индекса. Делить на файлы - не поможет (большое увеличение количества файлов). Т.е. надо как-то разбрасывать сначала по директориям а потом - по носителям. Короче реюзить уже существующую базу - файловую систему и разные носители.
Конечно есть дорогие коммерческие решения стореджа как то fastT от ибм (что и используют большие компании для терабайтных архивов), но если подумать - ведь можно масштабируемые рещения и из существующего сделать и без требования перегонки.

>Поэтому человек реально сможет пользовать только то, что сам >засундучить успеет. Главное сейчас - вытащить побольше из >emule, завтра может быть поздно.
Узнаю брата петю;) -- знаю товарищей качающих днём и ночью пока ещё не прикрыли;)
Распространенное мнение и небезоснавательно. Некоторые дот-комы есчо делают вид что у них-то по сравнению с другими - всё хорошо но завтра их уже может не быть. То что политика меняется на платные сервисы - это уже года 3 как тенденция.

>Если уж руки чешутся, следующий тул нужен будет всем: 1. >Иметь возможность послать сообщение зарегистрированному >абоненту. 2. Техническая невозможность получения твоего IP >путем ретрансляции частей сообщения с других компьютеров в >сети + шифрование. 3. Возможность хранения личных/доступных >всем сообщений и файлов с возможностью поиска по архиву >локально и удаленно. 4. Передача сохраненных файлов и >сообщений. 5. Распределенное управление доверием к >абоненту/хосту.
1. послать мыло или IM? так есть же.
2. freeNet? и их прикроють :)
технически и туннель взломать можно и что угодно кракнуть - вопрос желания людей имеющих чел.ресурсы и мощные машины.
Мне не кажется что необходимо двигать эту границу, так сказать невозможности;) - вопрос только бОльших ресурсов и денег.
3. https сессия с веб-сервером как фронтэндом для обсуждаемого сервиса индексации?
4. атачмент к 1?
5. Напоминает т.н. branding когда главный провайдер продаёт часть сайта (пол-листа например) многим клиентам и они работают в своих сэндбоксах под своими линками и никто никому не мешает (доступ - через стандартные юниксовые механизмы)?
Проще - сделать свой механизм который передавать в HTTP POSTе над https и в зависимости от юзера - свои ресурсы.
В принципе по кускам всё есть и ничего нового: запечатать какой-нить томкат или апачи в раппер вместе с кодом и всё кроме 2 - не проблема. Кажется что IM и пытаются к тому прийти?

насчёт RDF. Как и насчёт DLink которые концептуально ну прямо суперстандарты (без базара - всё учли) - это хмл который надо парсить для любого ретривела инфы. А парсить - очень дорого. Внутреннее представление базы (а репозиторий индексов - это может быть супер-база к чему уже и sql интерфейс и трансакционный блок можно прикрутить потом) - не может быть хмл. Хотя как форма вывода - почему нет (если кому-то надо;)

вопрос есть (объясните чеку на пальцах): что инстант-мессенджеры начали с нуля писАть то? Чем SMTP/IMAP (не POP) не устраивает (со спец. написанным клиентом). И транспорт есть и оттестированные релеи и порты открыты и прокси пропустят и чёткий multipart/form-data для аттачментов итд. Ну ID исходящего smtp видно а что - IP в пакетах лучше? Про моментальность и как это реализовано - не говорить. Единственное что можно сказать - это создание групп (но и это имхо реализовать над старым мыльным стандартом легче - чем всё по новой)? только job-security или я какую-нить новую функциональность упускаю?



Anode ()

Re: Haystack

описачка/ока.. вышла:
s/DLink/XLink
:)

да ещё пообщаюсь с народом заодно:

>Старперам, которые окопались на кафедрах и читающим курсы по
OOD иллюстрируя их примерами на foxpro?

везде так. Препы везде безрукие в отличие от курсов от фирм. Разделение труда. О MIT не говорим но в универах второго плана OO бывает учат на Eiffel (не smalltalk, java или СPP) да ещё и с IDE, базы - на ingres, алгоритмы - на паскале, оси - понятно на си. Это уж что проф. когда-то выучил. Всё равно программировать будешь на чём-то другом, главное - больше математики получить (а с этим у нас традиционно лучше), поближе к железкам чтобы прочуствовать да попримитивнее языки (лучше фортран и паскаль - чем eiffel и html) - для понимания. Программирование - рутина для тётенек как было 20 лет назад, а не наука (не системное - где надо извращаться;). Мэнеджмент проектов, планирование, проблем солвинг - это для мэнов. А так как бардак полный был в ИТ из-за бума и приходилось пробивать новое (тётенькам тяжело столько нестандартного в таких темпах) - столько мэнов туда и ринулись. Думаю, когда-то вернётся всё на свои места.


>Что из обсуждаемого нельзя сделать grep-ом текстового файла - индекса с ключевыми словами и URL? Основная проблема - заломает его обновлять всякий раз при появлении очередного файла, как и с любой более хитрой приблудой.

во-во: ломает ;)
и потому не делается и как следствие - бардак. Пусть машина работает а я хочу пиво пить а не урлы с ошибками на vi набивать :)


ещё 2Dimentiy
вау, как я пропустил вот это - ни в коем случае не согласен:
"Мне _уже_сейчас_ нет дела, где лежат мои файлы физически. Без применения спецсредств типа Haystack. Пользователю например KDE под юниксами - аналогично"
ты погорячился - ведь правда???
я уж не говорю про тебя/меня кому _есть_большое_дело_ что эта гуя творит и с какими файлами конфигурации конкретно - иначе смерть. А для юзера который переставляет системы раз в полгода самое главное - его доки, таблицы, бухгалтерия итд (на дискете - раньше а теперь - внешних дисках, cd), что как он знает - не вернётся автоматом после зачистки диска после очередного вируса ;) Он молится на сохранность этих знакомых ему кусочков инфы которые "компьютерные гении" велели называть файлами ;)

>того и тапки будут на ощутимое время
я этой поговорки не знаю. Об армейских тапочках что-ли? :)))


>> Тем, что через 5 лет не будет бесплатных публичных >серверов, баран.
>Сам ты пидарас, и папа твой пидарас, и дедушка. Публичные
>сервера, как и публичные библиотеки будут всегда.

Ну б.. опять матерится и ругаться - хорошо пистиков виртуальных нет ;). Вы чо какие нервные - с войны столи все вернулись или эмиграцию пережили что-ли?
Все такия гарячие парни ваще.

Anode ()
Ответ на: Re: Haystack от Anode

Re: Re: Haystack

> не хочу чужой индексации - хочу своей. В чужом бардаке
разбираться - лишняя работа. Пример готовой индексации - индекс
в книге, пример моей - закладки и заметки на полях.

Нет, не хотят люди думать головой, даже с чужой помошью ;(
С книжным индексом плохой пример. Пример готовой правильной
индексации: ввел ключевую фразу, и получил набор стандартных
"закладок" в виде результата поиска. Не ты мышой возишь по
экрану, а _машина_ за тебя все делает. Пусть не так тонко, как
руками, но очень быстро, очень много и с высокой точностью
попадания. Я за год просматриваю сотни тысяч документов.
Даже мысли такой не возникало, что их нужно руками куда-то
перемещать из папки в папку. Такое могли придумать люди с
виндовозным мышлением.

anonymous ()

Re: Haystack

During our summer vacation this year, my wife and I amused ourselves by taking leisurely drives in Ohio and photographing every diamond-shaped highway sign that we saw along the roadsides. (Well, not every sign; only the distinct ones.) For provenance, I also stood at the base of each sign and measured its GPS coordinates.

This turned out to be even more fun than a scavenger hunt, so we filled in some gaps when we returned to California, thereby proving my theorem of teaching moral lessons to children on the topic of illegal file sharing, which can be found in LaTeX format on my website.

Sincerely,

Donald E. Knuth

http://slashdot.org/comments.pl?sid=79906&cid=7053357

anonymous ()
Ответ на: Re: Haystack от Anode

Re:

2Anode:

> ещё 2Dimentiy
> вау, как я пропустил вот это - ни в коем случае не согласен:
> "Мне _уже_сейчас_ нет дела, где лежат мои файлы физически. Без
> применения спецсредств типа Haystack. Пользователю например KDE
> под юниксами - аналогично"
> ты погорячился - ведь правда???

Не-а, не погорячился ;) То есть _мне_ конечно есть до этого дело - но только потому что разработчик. Но несмотря на это:
- Физическое расположение своего репозитория, в котором лежит всё мало-мальски ценное я не факт что напишу без подсматривания в архивирующие его скрипты.
- Переписка лежит на IMAP-серверах, оба личных ящика и рабочий - и я не знаю и не хочу знать где они находятся.
- Все файлы, с которыми я работаю, которые читаю и т.д. - лежат в домашней директории AKA My Documents - опять-таки нет дела где оно физически.
Вот так и получается что не погорячился.

Dimentiy ★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.