LINUX.ORG.RU

В чём организовать результаты измерений?

 ,


0

1

Значит, планируется один эксперимент, и на выходе, в каждой «точке» будет набор разнородных данных. Например: 1. дата и время (формат по какому-нибудь из стандартов); 2. координаты по GPS (float); 3. комментарий-1 (string); 4. фото (картинка в jpeg, конечно); 5. данные-1 (int[ ]); 6. данные-2 (int[ ][ ]); 7. комментарий-2 (string)... И так далее, и тому подобное. Будет этого, возможно, несколько сотен «точек», никаких терабайт big data и прочих модных словечек.

Так вот, с помощью чего разложить эти данные по полочкам, чтобы с минимумом возни получать выборки, например, по дате измерений или по одному из комментариев? Саму обработку, математику, можно будет делать в чём угодно, она будет простой.

Ответ на: комментарий от Evgueni

Так я понимаю, что база данных, про это и первый тэг :) Просто я с проектированием БД сталкивался последний раз, кажется, когда на втором курсе делал курсовую по информатике. В MS Access.

Вообще, должны же быть у крупных математических пакетов средства связи с БД, да? Чтобы для каждого графика и прочего не делать экспорт-импорт через csv-файл.

al_exquemelin ★★★
() автор топика

Если несколько сотен, то хоть файл. Но табличка в БД, как выше предложили, будет хорошим выбором.

kardapoltsev ★★★★★
()
Ответ на: комментарий от kardapoltsev

хоть файл

Как же я всё это затолкаю в один файл? Особенно вместе с фотографиями.

Когда были небольшие серии измерений, на уровне дипломной работы, кстати, то хватало и книжки в табличном редакторе либо дерева каталогов и подкаталогов с поясниловкой — где что лежит. А тут сильно опасаюсь, что запутаюсь.

al_exquemelin ★★★
() автор топика
Ответ на: комментарий от al_exquemelin

Как же я всё это затолкаю в один файл?

Используй механизмы сериализации своих средств разработки.

anonymous
()
Ответ на: комментарий от kardapoltsev

Положить в колонку путь к файлу?

На этот вопрос тут тебе никто не ответит. Тут все люди, конечно, образованные, про существование баз данных слышавшие, но как заинсертить строковое значение - понятия не имеют.

anonymous
()
Ответ на: комментарий от anonymous

как заинсертить строковое значение - понятия не имеют

Да не в этом проблема. Ясное дело, строчка с путём будет храниться так же, как строчка-комментарий. Я вывожу эти строчки по некоему запросу — а потом тыкаюсь мышью в поисках нужного каталога, так, что ли? Так это ничем не удобнее блокнота с записями от руки.

Короче говоря. Вот я хочу, например, из своей гипотетической базы собрать в один массив значения поля данные-1 из тех записей, где комментарий-1 == «солнечно», скажем. Построчно. Желательно — одной командой прямо из среды обработки. Можно это сделать, или я слишком много хочу?

Да, кстати, в R есть пакеты для взаимодействия с БД. Другое дело, что не очень охота сейчас заморачиваться с R. Обсчёт данных сам по себе будет простой, как я и говорил, и будет это сильно похоже на стрельбу из пушки по воробьям.

al_exquemelin ★★★
() автор топика
Ответ на: комментарий от al_exquemelin

Как же я всё это затолкаю в один файл? Особенно вместе с фотографиями.

Наверное, никак. Отдели данные от мета данных. Если тебе для запросов нужна реаляционная алгебра, то sql твой выбор. Если нужны многомерные массивы с мета данными, то hdf/netcdf

yvv ★★☆
()

Рекомендую БД, только картинки в саму БД не пихай, это тормозит её если БД большая и в принципе моветон, оставляй там ссылку на картинку. Будет возможность на рост, например когда данных нет или они не полны, но тогда постарайся нормальную структуру проектировать, в этом нет ничего сложного, но всё же если совсем БД не понимаешь, а от слов нормальная форма тебя воротит и усложнения структуры точно не будет, то сериализация тебе в руки, но там тоже соображать надо как и что делать.

peregrine ★★★★★
()
Ответ на: комментарий от al_exquemelin

Да не в этом проблема. Ясное дело, строчка с путём будет храниться так же, как строчка-комментарий. Я вывожу эти строчки по некоему запросу — а потом тыкаюсь мышью в поисках нужного каталога, так, что ли? Так это ничем не удобнее блокнота с записями от руки.

Чувак, при чем тут мышка вообще? Я тебя не понимаю. Или тебя MS Access совсем испортил? Грубо говоря, база эта такая структура данных, которая как-то устроена умными людьми и трогать её структуру мы не будем, вместо этого мы работаем с СУБД, отправляя ей запросы, обычно, на каком-нибудь диалекте SQL. А ты пишешь программу/веб приложение/скрипт которое пользователь уже тыкает мышкой. А как оно будет ему красиво всё показывать уже никак не связано ни с базой данный, ни с системой управления базой данных. Это ты придумываешь какие запросы посылать/формировать и как их обрабатывать.

Короче говоря. Вот я хочу, например, из своей гипотетической базы собрать в один массив значения поля данные-1 из тех записей, где комментарий-1 == «солнечно», скажем. Построчно. Желательно — одной командой прямо из среды обработки. Можно это сделать, или я слишком много хочу?

Легко. Ты формируешь запрос SQL типа такого (какой он будет на самом деле зависит от того что ты выберешь за БД и как с ней будешь работать, ну и пишу я его от балды не проверяя и не работав с БД больше года)

SELECT STUPID_DATA FROM MY_FUCKING_TABLE WHERE STUPID_COMMENT = 'солнечно';
Где у тебя STUPID_DATA это твой столбец данных, MY_FUCKING_TABLE это твоя таблица, а STUPID_COMMENT это столбец в котором хранится комментарий. Вот только грузить данные в массивы я не советую в случае, если программа с СУБД работают на одной машине и твой код обработки данных достаточно прост и его вполне можно написать на самом SQL. Если конечно база для многих пользователей со своими машинками, то они могут и на них считать, а не на сервере, если это не критично.

PS

Начни отсюда, если гуглом пользоваться не можешь.

peregrine ★★★★★
()
Последнее исправление: peregrine (всего исправлений: 1)
Ответ на: комментарий от peregrine

Рекомендую БД

Вот эти рекомендации просто потрясающие. Когда заболеешь, рекомендую принять таблетки. БД ведь очень разные бывают, правда? О чём человек и спрашивает.

yvv ★★☆
()
Ответ на: комментарий от al_exquemelin

В MS Access.

Мне казалось, что я сказал БД, а не недоразумение.

Вообще, должны же быть у крупных математических пакетов средства связи с БД, да?

Наверное вы имеете в виду библиотеки для доступа на используемом ЯП? Есть.

Чтобы для каждого графика и прочего не делать экспорт-импорт через csv-файл.

См. R

Evgueni ★★★★★
()
Ответ на: комментарий от peregrine

Или тебя MS Access совсем испортил?

Ну, типа того :) Хочу как можно больше тупых, рутинных действий перепоручить машине, для того она и сделана.

А ты пишешь программу/веб приложение/скрипт которое пользователь уже тыкает мышкой.

Конечно, я могу набросать гуй или систему скриптов, но у меня подозрение, что я не первый и даже не тысяча первый задаюсь такой проблемой. Неохота изобретать велосипеды.

Начни отсюда

Это одна из первых ссылок, что мне попалась. Я даже писал выше, что не хочу заморачиваться с R, но видно, придётся, скрипя зубами. Тем более что помимо обсчёта данных, ещё нужно как-то анализировать результаты.

al_exquemelin ★★★
() автор топика
Ответ на: комментарий от Evgueni

Мне казалось, что я сказал БД, а не недоразумение.

Звыняйте, что было в учебной программе, тем и баловались.

См. R

Да видно, придётся.

al_exquemelin ★★★
() автор топика
Ответ на: treesheets от greenman

Это же органайзеры всяких дел и задач (обе ссылки), не?

al_exquemelin ★★★
() автор топика

Кстати, в Scilab тоже был пакет для работы с базами данных, но остановился в своём развитии на версии 5.4 и, вероятно, не работает в шестой ветке. Это печально, как говорится.

al_exquemelin ★★★
() автор топика
Ответ на: комментарий от al_exquemelin

Хочу как можно больше тупых, рутинных действий перепоручить машине, для того она и сделана.

LibreofficeBase, НЯП это клон мс асеса. Те же таблички, формочки, мастера.

anonymous
()

Так вот, с помощью чего разложить эти данные по полочкам, чтобы с минимумом возни получать выборки, например, по дате измерений или по одному из комментариев?

Если не ставится цель написать специальную программу для обработки таких данных, то можно использовать штатные средства линукса. Каждое измерение записывается в отдельный файл утф-8 кодировкой, сами файлы имеют правильные имена с циферками в начале и раскладываются по дереву каталогов. А для поисков файлов по именам и содержимому используешь kfind - оно именно с утф-8 работает.

Napilnik ★★★★★
()
Ответ на: комментарий от Napilnik

kfind - оно именно с утф-8 работает.

Вот kfind, который с утф-8 работает.

А вот весёлый kde, который установится везде для kfind, который с утф-8 работает.

...

Ставить kfind ради утф это как объяснять движение электромагнитных волн кефиром.

anonymous
()
Ответ на: комментарий от anonymous

Ставить kfind ради утф это как объяснять движение электромагнитных волн кефиром.

У тебя глюки. Во первых, волны - в чём? А во вторых, кеды вместе с kfind уже обычно есть в системе. konsole - это часть кед, а в линуксе есть только вторая более менее функциональная консоль - гномосековская, но зачем использовать ту, если есть konsole. И тут вдруг оказывается что kfind не умеет искать содержимое не в системной кодировке, и вот ради поисковика её и нужно использовать даже там, где она разгонит вес файлов.

Napilnik ★★★★★
()
Ответ на: комментарий от Napilnik

А во вторых, кеды вместе с kfind уже обычно есть в системе.

Как и кефир, да? Только в моей вселеннойсистеме нет. Такие дела. Кеды это лишняя сущность.

anonymous
()
Ответ на: комментарий от anonymous

Как и кефир, да?

Если наука не нужна, то да - учёные могут и брутфорсом формул на хлеб зарабатывать, пока Солнце не погаснет или их голодные соплеменники крокодилам не скормят.

Кеды это лишняя сущность.

Ну так и пользуйся корявой консолью. Красивая консолька написана на плюсах, а у плюсов обычно большие зависимости при маленьком бинарнике.

Napilnik ★★★★★
()
Ответ на: комментарий от anonymous

LibreofficeBase, НЯП это клон мс асеса. Те же таблички, формочки, мастера.

Ну да, до известной степени.

Napilnik

А для поисков файлов по именам и содержимому используешь kfind

Не думал над таким вариантом. У меня всё равно крыска на основном ноутбуке (а на рабочих машинах вообще преимущественно винда, только тссс).

И не успел я отойти, как тема укатилась в обсуждение эфира. Мдэ.

al_exquemelin ★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.