LINUX.ORG.RU

6
Всего сообщений: 93

распределенные файловые ситсемы, что есть?

пробовал ceph и gluster. ceph с rbd map продолжает писать (вроде, хоть и подвисает вначале) когда нода фейлиться, что продолжает это +, но тут slow request'ы и не совсем очевидно почему оно периодически тормозит, зависимостей выявить не удалось. gluster проще ceph, но сразу перестаёт писать если нода зафейлилась, похоже он просто так устроен.

Что ещё есть из нормальных, что можно поставить и использовать без замут?

 , , , ,

VoDD87 ()

Посоветуйте дешевый VPS с диском от 500 гиг

Все предлагают какие то десятки гиг. С большим диском нашел только time4vps (6$/мес 1000гиг). Меня это устраивает, но вдруг есть что менее стремное с похожими цифрами.

И да, чисто хранилище не устраивает. Нужно хотя бы OpenVZ

 , ,

redixin ()

Гравитация на заре компьютерных технологий. Эффект гироскопа.

https://youtu.be/luPM6XaKZuU
Проблемы эффекта гироскопа, с которыми столкнулись при построении барабанного устройства хранения данных.

 

Deleted ()

Хороший, но дешевый storage для ESXi

Всем привет! Ищу годный совет по сабжу.

В данный момент используется старый SOHO NAS, с неприемлимой скоростью чтения-записи на встроенный raid1, с неприемлиемой скоростью LAN, а к ESXi подключен по NFS, ну и там хранятся диски некоторых виртуалок или сами некоторые виртуалки. Хочу нормальную систему хранения данных для VMware, но денег для «решений корпоративного уровня» нет.

Мысли были разные, начиная от нескольких самосборных железок с raid на борту с NFS, до организации из этих же самосборных железок кластера на Ceph. Нашел инфу про PetaSAN. Очень то, что нужно, но на ЛОРе его упоминали всего в одной теме...

Желательно получить мини-кластер из двух-трех нод, или двух нод + один мастер управления (хз как это правильно зовется), чтобы выход из строя любого узла не положил кластер на лопатки. Ну и сеть с NFS на iSCSI перевести. Суровых энтерпрайзных нагрузок нет, и не предвидится. В наличии старые celeron'ы и старые sata-диски, сетевые карты на 1GbE найду.

Что еще можно посмотреть? Что используете из «наколенного» вы? Буду рад любому совету. Опыта в этой теме нет вообще, время пока не жмет.

 , , ,

Aborigen1020 ()

Запись на флешку: скачок и подвисание.

В CentOS7 используя Nautilus закидываю _на_ флешку 460.7MB файл. Статус сразу скачет до 459.6MB и работа продолжает кипеть. Т.к. флешка медленная, то минуты 2! Затем «460.7MB» и ок.

Черт возьми, это достало! Жутчайший треш в интерфейсе, не отражающий состояние системы. Другие ФМ делают тоже самое! Корни где-то ниже уровнем. Даже rsync, с указанием --progress, ничего не показывает, пока не запишется 99% файла.

Причем в обратную сторону, с флешки, копируется равномерно.

Что заметил: даже запуская «sync» - он не отрабатывает, пока не запишется файл на флешку целиком.

Как заставить Linux писать на флешку по-нормальному, кусками например, по 5MB?

UPD уточнение про rsync: rsync отрабатывает за секунду, показывая «sent 460,857,140 bytes received 35 bytes 307,238,116.67 bytes/sec», потом флешка продолжает минуту мигать. Асинхронность, мать её.

 , , ,

Deleted ()

Вопрос о ресурсе SSD для хранения дисков VM

Берем к примеру Intel-DC-S4600.

Ресурс SSD
5376 TBW
Ресурс DWPD
3 перезаписи всего объема накопителя в день (DWPD - Drive Writes Per Day) в течение 5 лет

Имеем 5376 TBW или 3 перезаписи в сутки. Имеем VM которая не знает о том на чем она, кроме того что ФС допустим ext4. Далее имеем: LVMoiSCSI -> 10G -> iscsi -> mdadm или hw raid -> SSD. Вопросы, на который я не смог найти ответа (либо его до конца не понял):

  • 1. Будет ли работать GC «внутри диска SSD»? Т.е. грубо говоря, надо ли SSD «помогать» в понимании что сектора нужно подчищать, или «оно само там разберется и все сделает правильно»?
  • 2. Будет ли износ SSD равномерным при таком использовании (образы VM over LVM over iSCSI/NFS) и, следовательно, мы в реальности получим заявленные 3 перезаписи в сутки?

О TRIM в этом случае не может быть и речи. Прочитал что в SSD работает технология copy-on-write. Как я понял, контроллер встроенный в SSD, пишет в свободный (чистый) блок, не перезаписывая старый (что собственно подливает жизнь и делает износ равномерным - идет ротация секторов). Тогда не понятно что будет когда чистые сектора закончатся. Их очистит GC? Ну хорошо. А как она узнает что конкретно этот блок можно удалить, если нет контакта файловой системы с контроллером диска (т.е. TRIM)?

 , , , ,

loge ()

XenServer 6.5 проблема со свободным местом на storage

Добрый день!

Столкнулся с такой ситуацией, что кончилось место на сторадже в пуле, который находится на схд. Я удалил все не нужные ВМ вместе с дисками, но места не освободилось Usage 99%, size 7500 GB, virtual allocation 5800 gb Перерасчет свободного мета не помогает.

#vhd-util scan -f -m «VHD-*» -l «VG_XenStorage-5e8f6245-0b2e-aa6c-4c01-5d27a028af69» -p просто висит и все.
#lvscan также.
при:
#xe vdi-list sr-uuid=5e8f6245-0b2e-aa6c-4c01-5d27a028af69
выдает список дисков действующих виртуалок плюс вот такие записи
uuid ( RO) : 68a4e577-2fd3-48c5-beb0-3a92ee2edf2c
name-label ( RW): base copy
name-description ( RW):
sr-uuid ( RO): 5e8f6245-0b2e-aa6c-4c01-5d27a028af69
virtual-size ( RO): 85899345920
sharable ( RO): false
read-only ( RO): true
#xe vbd-list vdi-uuid=68a4e577-2fd3-48c5-beb0-3a92ee2edf2c
#
ничего нет
#xe vdi-destroy uuid=68a4e577-2fd3-48c5-beb0-3a92ee2edf2c
This operation cannot be performed because the system does not manage this VDI
vdi: 68a4e577-2fd3-48c5-beb0-3a92ee2edf2c (base copy)

Может кто сталкивался?

 ,

kawsoft ()

Django: media storages на разных ПК

Хорошего дня! Разбираюсь с django (1.11.7). Полет проходит нормально, но никак не могу вникнуть с систему хранения media файлов.

Из коробки работает file storage. В settings.py указываю папочку, где лежат файлы и далее обращаюсь к ней. С этим все понятно. Но если мне нужно хранить медиафайлы на другом сервере. Пусть они в одной ЛС, но физически web-сервер и media storage на разных серверах. Есть такой пакет django-storages. Он позволяет использовать сторонние сервера s3 по типу amazon. Не мой вариант.

Теперь краткая суть: какими средствами можно реализовать хранение файлов на других серверах? Но не сторонних сервисах типа amazon, а у себя.

Нюанс в том, что медиаконтент (видео и картинки) просто кладутся на медиасервер. Т.е. django этот процесс сейчас не контролирует. Возможно нужно какой-то учет в бд вести. Я просто не очень понимаю пока как это организовать. Или просто файл должен иметь уникальное имя и по этому имени искать по стореджам пока не найдется. Но это глупо наверно. Проще в бд иметь список серверов и файлов. Искать по таблице нужный файл и обращаться уже на конкретный сервер.

Допускаю, что средствами django это не реализовать. Возможно нужно переложить часть на тот же nginx, например.

Я буду рад любым пояснениям по данному вопросу. За examples отдельная благодарность. Учиться приходится на ходу просто.

P.S. Изучал коды страниц некоторых сайтов, там в src указывается http ссылка, при чем не на домен самого сайта, а видимо обращение идет на media storage непосредственно. Вот это видимо то, что мне нужно. Как это работает?

 , , , ,

kerby ()

Page cache for scst_fileio

Добрый вечер! Использую esos 1.1.4 для проброса хранилища через srp на vmware esxi. Там использую vdisk_fileio /dev/sdb, для того, что бы использовать ram как ускорение во время пиковой нагрузки, но получаю результат хуже, если пробрасывать как блочное устройство через vdisk_blockio. Как заставить работать кэш, как я хочу, swappnes=5, vfs_cache_pressure=2000, dirty_ratio=40, dirty_background_ratio=20, dirty_expire_centisecs=2000, dirty_writeback_sentisecs=30000, в итоге более менее сначала хорошая скорость, но во время сброса кэша на диск, скорость очень сильно падает, а хотелось бы чтобы ОЗУ использовать как доп кэш для дисков. При тесте мелкими файлами скорость тоже не радует, хотя по сути должно же все писаться в ОЗУ, ее кстати 96 Гб.

 , ,

iwan12iwan ()

LVM vs ZFS vs BTRFS

Добрый вечер. Есть кластер debian9+proxmox-ve из 3-х нод (2xhp dl360 (4x500gb raid 1+0) и 1 тазик для кворума (реально тазик, с флешкой на которой раскатан proxmox). Не могу определиться с выбором сторайджа для всего этого добра. Сейчас использую LVM, т.е. каждая вм имеет свой lv, но весьма огорчает скорость записи 20мб/сек при активном снапшоте, вместо 200мб/сек. Размазывать сторайдж по нодам(ceph/drbd/etc) вообще не фонтан, тем более, что тазик в этом размазывании не должен участвовать. Еще одно требование - все это должно быть зашифровано, сейчас весь vg зашифрован luks'ом. Читал литературу по zfs, не знаю насколько это актуально, но с шифрованием там, вроде, все печально, а точнее это фьючер фишка, которая пока не воплощена в жизнь. По btrfs - говорят, что тормозная и не надёжная. Требования к этой конструкции простые: как и писалось выше - шифрование всего, а также иметь на обеих нодах более ли менее актуальные образы вм(+- несколько часов). И еще есть один нюанс - сетка между нодами 1Гбит и увеличить этот показатель не выйдет. LVM заинтересовал этой статьей https://m.habrahabr.ru/post/185240/. Что посоветуете в этот ситуации?

 , , , ,

Sherman ()

Поднять файловое хранилище

Чтоб не покупать файловое хранилище,решили сделать его на linux скорее всего на debian.Доступ к файлам скорее всего нужен будет по ftp и smb.Подскажите какие дополнительные пакеты нужно будет поставить,само собой на некоторые директории нужна будет авторизация.Если есть предложения по железу тоже с удовольствием выслушаю.

 ,

Palamar ()

HDFS vs CEPH vs SAN (enterprise)

Давно волнует какой метод выбрать для хранения файлов. Файлы (в основном doc, pdf) меняются очень быстро. На данный момент храним в обычном LUN, который раздается через NFS на ноды (все плохо). Все добро весит 20ТБ и продолжает расти.

Помогите определиться с выбором хранилища. Самое главное требование отказоустойчивость, желательно S3 API. Пробовал на тестовой машине hdfs, показалось медленным. CEPH слишком сложный в администрировании. Боюсь что не сможем осилить. Один из вариантов предложить купить недорогой SAN чтобы мы туда вообще не лезли, но встает вопрос о надежности.....

слышал о glusterfs но опять же хочется чего то попроще

 , , , ,

samlabs821 ()

Что быстрее ISCSI или NFS

Господа, есть задача отдать серверу лун (с БД Postgres) c хранилища QNAP по ethernet. База будет довольно-таки большая (>100Гб) + регулярно будут делаться бекапы на другой лун того же хранилища.

Что будет работать быстрее ISCSI over Ethernet или NFS? П.С. Склоняюсь в сторону ISCSI, на сколько надежно работает? сам ни разу не настраивал

 , , , ,

Templar123 ()

Bluestore

Кто-нибудь использовал в production? Заметно ли выше производительность? Можно ли уже использовать?

 , , , ,

int13h ()

Разобраться с архивом фотографий

Добрый день, ЛОР!

Есть у меня следующая задача.

В директории Archive имеются поддиректории вида YEAR, в них поддиректории вида YEAR.MONTH.DATE some_description, в которых, собственно, хранятся фотографии. Дополнительно к этому есть еще директория с фотографиями, которые отсортированы не по датам, а по темам.

Во всех фото есть метаданные. Некоторые фотографии, к сожалению, не на своих местах. Некоторые фотографии представлены в архиве двумя или даже тремя файлами.

Нужен инструмент, который поможет быстро исправить ошибки сортировки и найти дубли. Полная автоматизация не требуется.

 

aquadon ()

215 петабайт / 1 грамм

 ,

e1nste1n ()

Посоветуйте ресурсы

Есть такой ресурс в качестве примера http://www.msexchange.org/ . Нужны примерно такие же ресурсы, но по тематике виртуализации, серверов, облачных технологий, систем хранения данных Т.е. с небольшим статьями на 20-50 страниц.
нужны не маны, а гайды, инструкции, руководства.

 , , , ,

Deleted ()

Seagate будет продавать 16Тб жесткие диски

уже через 18 месяцев.

Подробности: http://www.techspot.com/news/67928-seagate-bring-16tb-hard-drive-market-withi...

 , , ,

Oxdeadbeef ()

Хостинг с большим дисковым пространством

Имеется ли у кого-нибудь на примете хостер, который раздает VPS с большим дисковым пространством (от 500 ГБ и более)? Количество оперативной памяти не имеет значения, главное чтобы потянул nginx.
По цене, разумеется, чем дешевле, тем лучше.
Я лично знаю одного, который предлагает 1 ТБ за 4 евро в месяц, но может быть кто-нибудь знает еще дешевле?

 ,

Rinaldus ()

Литература по проектированию СХД

Привет,

Можете посоветовать литературы по проектированию систем хранения данных?

Можно как академической, так и от практиков.

 , , , ,

int13h ()