LINUX.ORG.RU

6
Всего сообщений: 91

Хранилище или СУБД для множества blob данных

Просьба посоветовать, что посмотреть из дисковых хранилищ/key-value СУБД со следующими требованиями:

  • Хранение blob значений по ключам или путям (число или строка, не важно).
  • Сущностей для хранения много (порядка 10 млн), все они - бинарные блобы разных размеров - от 100Кб до 1Гб.
  • Нужен быстрый random-access на чтение/запись. Намного быстрее, чем хранить каждую из сущностей в виде отдельного файла в фс (это проверено, очень медленно при росте числа файлов).
  • Все хранится на одной машине, не распределенно
  • Не слишком большой оверхед по занимаемому месту на диске
  • С или C++ API

Копалось в сторону штук типа leveldb, проприетарных хранилищ и собственного велосипеда, все показывает сильное падение скорости доступа при росте числа значений или просто константно-низкую скорость (порядка 0.1 от скорости диска)

 , , ,

CatsCantFly ()

Сторедж под самосборный НАС

Привет, народ. Читаю статьи по НАСам, везде, блин, как будто проплатили готовые решения, который стоят от косаря зеленых. Хочу собрать что-то свое на mini/micro atx. Основная задача - хранение видеофайлов и видеосервер на minidlna. Организовывать буду на дебиане 10. Вопрос такой. Какую конфигурацию стореджа выбрать? Планирую начать с 8 Тб эффективного места и при необходимости увеличивать. Видео будет минимум в 1080 с битрейтом от 10-15 Мбит. То есть терять вообще не хочется, потому что задолбаешься потом восстанавливать. Какую оптимальную конфигурацию выбрать под это дело? Типо рейд, софтварный или хардварный? Какой из рейдов лучше всего подойдет для масштабируемости и имеет хороший эффективный объем? Что посоветуете? По производительности особых требований нет, все это будет на ХДД естественно. Планируется максимум два клиента, которые будут смотреть с этого сервака видео, т.е. от 20 Мбит до примерно 100 Мбит в секунду на чтение больших файлов. Сетка дома гигабитная.

 , , ,

MadBanana ()

Помогите найти самую дешевую материнскую плату с поддержкой ECC

Зачем?

Нужен сервак для хранения данных. Вычисления и прочие трудоёмкие активности не планируются, и потому мощный процессор и большие объемы памяти ни к чему.

Можно было бы, конечно, взять любую дешевую десктопную плату, однако гуглёж о том как софт решает проблемы с случаями ошибок которые как раз и призван корректировать ECC не привёл к вменяемым результатам.

Коротко говоря - получить некорректные данные при вводе-выводе не то чтобы нежелательная ситуация, а, скорее, недопустимая.

Если кто-то может кинуть какие-то документы или статьи на тему как софтварно можно решить проблему отсутствия ECC на борту - очень буду благодарен.

 , ,

reprimand ()

Persistent storage в Kodachi

Установил на флешку Kodachi. При запуске выдает несколько режимов:

  1. kodachi Legacy Live
  2. kodachi Full RAM Mode
  3. kodachi Persistent
  4. kodachi Encrypted Persistence
  5. kodachi Terminal text mode
  6. kodachi Forensics mode
  7. kodachi Old NIC names
  8. Advanced failsafe options

Объясните кто знает, плиз, что каждое из этого означает и как установить постоянное хранилище.

И вопрос на засыпку: ос установлена на флешку 8гб, после запуска ос на рабочем столе появляются установочные файлы online и offline. Нужна установка или нет?

 ,

AcidHouse ()

Не коннектится Telegram в Tails

Скачал на официальном сайте Telegram 64-bit версию для Linux. Распаковал файлы в Persistent и открыл папку, где находится 2 файла: telegram и updater. После запуска любого из этих файлов появляется окно с кнопкой “start messaging” после которой предлагают ввести номер телефона. Но по факту в нижнем левом углу продолжает идти соединение. Язык поменять на русский тоже нельзя. Подскажите как быть? И как установить telegram чтобы он работал постоянно и сохранялся в persistent

 , , , ,

AcidHouse ()

Zfs on linux vs all

Призываю в тему истинных админов zfs, для кого важность хранения данных не пустой звук. Хотелось бы услышать от вас адекватные плюсы и минусы zol’а, а так же реальные случаи проблем или лучших практик. Приветсвуется сравнение с подобными системами хранения данных таких как btrfs и тд. Производительность, надежность, удобство использования, мб какие то расширения и просто истории практики. Возможно после скольки то лет использования вы решили перейти на неё или с неё - это самое интересное, а именно причины, ибо когда перенос данных энтерпрайс типа весьма сложен, но вы всё равно решились на это, т.к увидели плюсы в смене на zfs/уход из zfs.

RAIDZ уровни, ARC, L2ARC на ssd, autotrim, кеш логов, сжатие, дедупликация и тд.

Сам юзаю последнюю версию 0.8.2 имею несколько пулов с сжатием логов, зеркалами, драйвером докера на zfs, mysql на zfs (это тоже интересно, т.к. куча статей за использование и категоричное против). Недавно пару уважаемых админов BSD выразили сомнение в zol, мол он совсем не такой что на BSD поэтому и создал эту тему.

Прошу адекватности в теме и без глупых ‘X лучше Y потому что X - говно я так сказал и всё’.

 , , , ,

sky92 ()

Организация хранения для сервера хранения резервных копий

Коллеги, здравствуйте. Не нашел похожих обсуждений на просторах сети.

Ситуация следующая: Имеются серверы приложений с хранением данных пользователей в базах PostgreSQL, всего 2500 баз на 10 серверах. Имеется сервер на который скриптами по сети складываются ежедневные дампы баз. На сервере RAID1 из 2xSSD под систему и RAID5 из 4хHDD под хранение дампов. Объем данных около 2TB в день. При копировании дампов в 7-10 потоков очереди к RAID5 из 4хHDD растут до неприличных размеров, что приводит к увеличению времени резервного копирования.

Планирую собирать сервер большей вместимости, заодно хочется решить вопрос со скоростью параллельной записи.

Планирую использовать bcache в режиме writeback. Потеря одного экземпляра резервной копии при сбое питания или сбое SSD допустима.

Исходя из TBW современных SSD они будут требовать замены каждый год - два, это тоже допустимо.

Кто сталкивался с подобными задачами? Как решали? Имеет такой способ решения право на существование или есть значительно более грамотные решения?

 , ,

alekseyv ()

Storage solution for kubernetes

Изучая k8s возник вопрос, как делать storage для работы с данными, которые должны сохраняться, а не исчезать после завершения работы pods.

Сам кубик ничего не предлагает, а именно предлагает подключаться к сторонним ресурсам или облачным хранилищам или к всяким NFS/iSCSI и т.п. Мой кластер стоит на голом железе и варианты с использованием облачных хранилищ отпадают из-за скорости доступа к ним.

В идеале я бы хотел некое решение, которое я могу поставить как k8s приложение, прямо на кластер и использовать жесткие диски нод, как сетевой рейд. Хочется гибкости, такой же как у кубика, чтобы можно было легко создавать разделы, цеплять их к pods и потом удалять если они не нужны. Мне очень нравится фишка от VM как thin provisioning. Ес-но решение должно быть надежное и проверенное. Подскажите, кто что использует?

Я бегло погуглил и нашел пару вариантов: Rook и StorageOS, но я не знаю как они в работе и может есть что получше?

 ,

samson_b ()

RAID/SATA контроллер для метеринской платы SuperMicro X8DTL-I

Всем доброго времени суток.

Подскажите, имеет сабжевая материнская плата и желание завести на ней SATA III.

Вопроса два:

  1. Есть ли в этом смысл?
  2. Какой контроллер посоветуете?

 , , , ,

hanharr ()

Отключить RAID и увеличить диск

Здравствуйте, на хосте есть 2 SSD (512GBx2), как я понял объединенных в RAID-1. Как правильно отключить RAID и сделать общее пространство (1TB), не потеряв текущие данные?

Скриншот дисков

 , ,

manytpls ()

Распределенное файловое хранилище

Здравствуйте, уважаемые линуксойды!

Сразу к делу... Какое распределенное файловое хранилице порекомендуете для организации кластера, учитывая возможность его растягивания на несколько удаленных датацентров?

Смотрел в сторону GlusterFS, но он как я понял не поддерживает гео рапределение (только репликация и не мастер-мастер - что не подходит)

Задача: поднять файлопомойку для хранения пользовательских данных приложения, размазанного по нескольким дата-центрам (распределение запросов к приложению осуществляется при помощи GeoDNS), с возможностью традиционного (работа с ФС) чтения и записи файлов. Потенциально к файлам загруженным в одном регионе чаще всего будут обращаться в нем же.

 , , ,

TuzelKO ()

Намутил свой сетевой протокол для дисков

https://github.com/vtl/ethblk

На имеющемся железе пробрасывает NVMe примерно на его родной скорости, и делает это в два с лишним раза быстрее штатного линуксового nvme-over-tcp. Дальше упирается в мой слабый клиентский комп, но на большом железе производительность растёт до миллионов IOPS через один диск. 50 GbE успешно загружал на полную катушку, был, практически, line rate.

 , , ,

mv ()

Где взять недорогой блочный Storage в интернет? Желательно iSCSI

Например, pCloud радует ценой, но можно ли его подключить в качестве блочного устройства?

Может быть, что-нибудь из списка: https://en.wikipedia.org/wiki/Comparison_of_online_backup_services

Можно ли хоть что-то из них примонтировать хотя бы в качестве файлой системы?

И если потом поверх бинарного файла создать блочный loop device, то производительность будет никакущая?

Хранить собираюсь свои домашние архивы.

 , ,

stasichka ()

Выбор размера блока на ZFS томе.

Создан ZFS пул из 9ти (HDD 10K) дисков в рейд 60. На физических дисках блок 4К.

Хочу создать ZFS том на 10Tb, на этом томе будет создан LVM, с LVM будет работать несколько гипервизоров KVM.

На томах LVM будут размещаться виртуальные машины, внутри виртуальных машин файловая система со стандартным блоком 4К.

Вопрос какой блок лучше выбрать для ZFS тома? при описанной конфигурации.

Варианты от 4к до 128к. Дефолтный блок у ZFS 8K.

 , ,

el_paso ()

Система не видит большую часть флешки

С флешкой происходит что-то странное. На ней был загрузочный Live-ISO. Потом я захотел её переразметить и снёс на ней два имевшихся раздела (cfdisk-ом или gparted-ом), после чего fdisk, как и gparted, видят на ней только 8Мб. Её объём должен быть 8Гб. gparted при форматировании ругался на несовпадение размеров блоков.

Как узнать, в чём проблема? Как вернуть флешке прежний объём?

 , , , ,

meliafaro ()

Санкт-Петербург. Разработчик на Go

В Cанкт-Петербургском Центре Компетенций NEO открывается вакансия (Senior) разработчика.

Зарплата примерно 200000+ рублей в месяц, в зависимости от квалификации. Всё белое.

Responsibilities:

  • Designing and developing distributed p2p storage platform integrated with NEO blockchain infrastructure
  • Researching and experimenting to characterize distributed storage throughout the development cycle
  • Designing incentive mechanisms for the storage
  • Making documentation and limited-scope presentations
  • Reaching out to the global NEO blockchain community via open source contributions

Skills & Requirements:

  • Deep knowledge of Go
  • Ability to read C# and write Python code is desirable
  • Experience of working with Git
  • Experience of designing network protocols and p2p networks
  • Knowledge of computer security best practices, understanding of cryptography
  • Experience of working with blockchain technology and the architecture of decentralized networks will be a big plus
  • 5+ years of experience as a back-end developer
  • Good knowledge of container solutions and docker
  • Russian, upper-intermediate English, a good level of technical English
  • Scientific degree in Computer Science is preferred

Nice to have:

  • Proven records of commitment to open source
  • Experience of working with an international and distributed team across several time zones
  • Research experience in the academic environment
  • Leadership skills and ability to take on responsibilities for project deliverables

We offer:

  • Opportunity to join an international project at early stage and make contribution to product development from scratch
  • Opportunity to transform research ideas into a real product
  • Opportunity to write scientific papers and participate at NEO-themed meetups and conferences
  • Professional growth and development
  • Full-time employment + «White» competitive salary + Employee Stock Ownership Program

Резюме посылать на info@nspcc.ru

Вопросы можно писать туда же, или задавать тут.

 , , , ,

realloc ()

Файловое хранилище для офиса. Выбор ФС или готового дистрибутива.

Всем хороших надвигающихся выходных.

Задача: создать файловое хранилище для доступа по smb c виндовых машин в офисе. Человек 20-30 одновременно чтобы могли работать с файлами.

По железу:

Z9PA-D8C

16Гб OЗУ

4*2Тб диска. По модели сейчас не скажу, но не ssd и не sas. Новые.

и 320Гб 2.5 под систему.

Основной нюанс. Наличие резервных копий и возможность при выходе из строя сервера подключить винты напрямую к другому ПК и вытащить нужную инфу.

Ковырял изначально freenas. Все вроде как хорошо и просто. ZFS, снимки и прочее. Но есть подзадача иметь копию на случай вирусов-шифровальщиков. И повторюсь, что желательно бы иметь возможность этот винт с копиями подключить к другому linux пк и максимально без геморроя все файлы скопировать. Два диска в страйпе, два оставшихся под копии. При таком варианте если диск в пуле zfs упадет, то упадет все хранилище. Плюс, как с zfs средствами freenas'а файлы копирнуть по расписанию, да еще бы желательно инкрементно. Не снимки, а именно файлы я так и не вкурил. По идее надо оставшиеся диски объединить в такой же страйп и на него по крону копировать, но тогда эти два диска если вынуть, то долго с бубном буду танцевать наверно, чтобы на десктопе все это дело примонтировать и получить доступ к копиям.

Здесь прошу меня извинить за возможные глупости. Иначе бы я тут не писал сейчас. Об@@@ть друг друга всегда можно успеть, но я такого не приветствую. =)

В итоге, пересмотрел я несколько вариантов хранилок типа nas4free , omv и пр. Само собой, идеального варианта не нашел. Решил взять за основу чистый debian. И мне хотелось бы услышать советы от вас, как лучше организовать это самое хранилище. Стоит ли использовать zfs, а поверх него уже делать smb шары? Или достаточно lvm-thin например. И то и то умеет делать снимки. Плюс, как предусмотреть дополнительные бэкапы на случай шифрования, с минимальным геморроем при восстановлении.

Всем советам буду благодарен=) Спешл фор анонимус и прочих мамкиных хакеров: голову я уже зеленкой намазал и трусы в горох надел=))

 , , , ,

kerby ()

Ищу сервер с большим

Ищу сервер с большим объемом дисков, от 2TB, идеально 4TB. На OVH дешевых нет сейчас. На Online.net можно, но там сети уже роскомпозор перебанил половину, да и досят их в последнее время. В РФ космические цены и всего 100Mbps безлим. Всякие облачные сервисы типа амазона и океана - в топку из-за цены. Куда ещё можно податься?

 ,

gobot ()

распределенные файловые ситсемы, что есть?

пробовал ceph и gluster. ceph с rbd map продолжает писать (вроде, хоть и подвисает вначале) когда нода фейлиться, что продолжает это +, но тут slow request'ы и не совсем очевидно почему оно периодически тормозит, зависимостей выявить не удалось. gluster проще ceph, но сразу перестаёт писать если нода зафейлилась, похоже он просто так устроен.

Что ещё есть из нормальных, что можно поставить и использовать без замут?

 , , , ,

VoDD87 ()

Посоветуйте дешевый VPS с диском от 500 гиг

Все предлагают какие то десятки гиг. С большим диском нашел только time4vps (6$/мес 1000гиг). Меня это устраивает, но вдруг есть что менее стремное с похожими цифрами.

И да, чисто хранилище не устраивает. Нужно хотя бы OpenVZ

 , ,

redixin ()