LINUX.ORG.RU
решено ФорумTalks

[ТЗ] Система хранения


0

1

Нужно написать ТЗ на систему хранения.

Граничные параметры: объём данных с учётом компрессии 50-100 Петабайт. Размер файла данных, скажем, примерно 1 Гб.

Необходимо резервирование как минимум тройка.

ТЗ нужно только на софтовую часть (на железо — это отдельно). Нужно прописать цикл жизни файла, что-то вроде: быстрое хранилище -> md5summ (складирование в БД) -> медленное хранилище -> копия на ещё одном медленном хранилище -> регулярная проверка (какая степень регулярности)

Интересуют ТЗ для подобных случаев. Про LHC я знаю — поищу, но если кто в курсе где именно искать — буду благодарен. Опыт использования чего-то вроде SciDB тоже будет интересен.

★★★★★

Честно, у меня разрыв шаблона случился :)

Нужно написать ТЗ на систему хранения.

и

ТЗ нужно только на софтовую часть

Может это не СХД а Data Warehouse ???

robot12 ★★★★★
()
Ответ на: комментарий от robot12

По Википедии Data Warehouse — это хранилище данных aka предметно-ориентированная информационная база данных

Таких сложностей не нужно.

Нужно место, где лежит сто миллионов гигобайтных файлов. Нужно обеспечить доступ к этим файлам и нужно обеспечить их сохранность. Идентификация файлов по уникальному порядковому номеру. Эти файлы меняться не будут.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от soomrack

Железную часть не нужно. Это в каком-то виде уже описано. Очевидно, что без лент не обйтись :)

Нужна формально прописанная процедура обеспечения сохранности файлов.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

Нужна формально прописанная процедура обеспечения сохранности файлов.

Ну подобные объемы должны были быть востребованы на прошедших выборах для хранения видео с вебкамер. Возможно на госуслугах есть ТЗ на тему хранения этого. Если, конечно, это попало под закон о госзакупках.

soomrack ★★★★
()
Ответ на: комментарий от Evgueni

Нужна формально прописанная процедура обеспечения сохранности файлов.

нужна, нужна процедура, только не в ТЗ (потому что нефиг в задание выносить куски реализации), в ТЗ можно процитировать как раз фразу, что нужна

shty ★★★★★
()
Ответ на: комментарий от shty

нужна, нужна процедура, только не в ТЗ (потому что нефиг в задание выносить куски реализации), в ТЗ можно процитировать как раз фразу, что нужна

а) Это ТЗ для нас же. Просто выделены деньги на ФЦП под составление подробного ТЗ

б) Мы действительно хотим обеспечить сохранность, а не скинуть ответственность.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от soomrack

У меня сильные сомнения, что там озадачивались сохранностью. А ТЗ действительно написано только: обеспечить то-то и то-то, а не расписывали процедуру.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

а) Это ТЗ для нас же. Просто выделены деньги на ФЦП под составление подробного ТЗ
б) Мы действительно хотим обеспечить сохранность, а не скинуть ответственность.

ну так я и не предлагаю Вам попилами заняться :)

я просто намекаю, что ТЗ расшифровывается как Техническое Задание и по здравому смыслу (и моему стойкому убеждению) там должно прописывать характеристики, критерии и показатели, которым система должна соответствовать, а не куски реализации отдельных подсистем

для выписывания отдельных деталей реализации до реализации основной системы существует эскизное проектирование

shty ★★★★★
()
Ответ на: комментарий от r2d2

Это немного не то. Файловая система — это уровень пониже и для таких объёмов очевидно, что нужно что-то распределённое. Типа SciDB или CASTOR.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от shty

Ну возможно аббревиатуру ТЗ я применяю не к месту. Нужно написать отчёт по ФЦП и описание реализации сохранности файлов там должно присутствовать. Это маленькая частичка всего отчёта.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

...написать отчёт по ФЦП...

Это ключевая фраза. По моему опыту (10+ отчетов для ФЦП 1.5 и 1.2.*) их с содержательной стороны никто не читает. Они должны внешне соотв. определенным требованиям: оглавление совпадать с Тех.Заданием, список литературы оформлен приблизительно по ГОСТу, титульник, оглавление, формат страниц (и пр.) по ГОСТу. Важный пункт: толщина отчета должна быть примерно 1 см на 1млн. руб.

soomrack ★★★★
()
Ответ на: комментарий от soomrack

Мы решили совместить полезное с бесполезным aka таки действительно разобраться в теме чуть поглубже и написать отчёт.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от soomrack

Соотв. для составления отчета я бы посмотрел программу/материалы конференции «International Conference on Very Large Data Bases» + использовал бы тексты из любой нормальной книги по бд (всякие ключевые фразы типа «ACID» и пр.), ну а потом в этих терминах бы написал что реально сделано. Это было бы нормальным обоснованием почему то, что сделано так «круто» и «прогрессивно».

soomrack ★★★★
()
Ответ на: комментарий от Evgueni

В Убунте есть. И это очень серьёзно (не Убунта). Nexenta это тоже внедряет.

r2d2
()
Ответ на: комментарий от Dark_SavanT

То есть лярдный отчёт, выходит в кипу бумаги больше метра высотой?

Да. Такого размера отчеты я видел, но учстия не принимал.

soomrack ★★★★
()
Ответ на: комментарий от Dark_SavanT

А вот заявку на мегагрант отсылали примерно пол метра высотой (2 обязательных экземпляра).

Evgueni ★★★★★
() автор топика

Решение: LCG

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

А вот заявку на мегагрант отсылали примерно пол метра высотой (2 обязательных экземпляра).

+1 экземпляр я оставляю в лаборатории. Для архива.

soomrack ★★★★
()
Ответ на: комментарий от Evgueni

Мне интересно скорее, линейно ли растёт объём бумаги относительно выделяемых средств, или зависимость нелинейная?

Dark_SavanT ★★★★★
()
Ответ на: комментарий от Dark_SavanT

Мне интересно скорее, линейно ли растёт объём бумаги относительно выделяемых средств, или зависимость нелинейная?

Линейно. В военмехе, например, для средних отчетов был дырокол с 2-х метровой ручкой.

soomrack ★★★★
()
Ответ на: комментарий от soomrack

+1 экземпляр я оставляю в лаборатории. Для архива.

Нафига? Электронные версии же. Экономим деревья!

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

Нафига? Электронные версии же. Экономим деревья!

Практика показала, что это удобнее.

soomrack ★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.