LINUX.ORG.RU

/dev/mapper/ есть лимит на 41 ?

 


0

1

Здравствуйте.

Предистория такова: Не создается LUN на TGT

Делаю бездисковую систему для 100 компов.

Перешёл на Ubuntu 16.04 + iscsitarget

Когда количество снапшотов делаю 100, то в /dev/mapper создаются только 42 луна, а потом ошибка - Невозможно выделить памяти?

0+0 записей получено
0+0 записей отправлено
0 байт скопировано, 0,000333405 s, 0,0 kB/s
pid 14452: e0.39, 204800000 sectors O_RDWR
/dev/loop149 is attached to /files/storage/clon/lun0.img.cow.40
0+0 записей получено
0+0 записей отправлено
0 байт скопировано, 0,000340615 s, 0,0 kB/s
pid 14475: e0.40, 204800000 sectors O_RDWR
/dev/loop150 is attached to /files/storage/clon/lun0.img.cow.41
0+0 записей получено
0+0 записей отправлено
0 байт скопировано, 0,000340485 s, 0,0 kB/s
pid 14498: e0.41, 204800000 sectors O_RDWR
device-mapper: reload ioctl on lun0.img.cow.42 failed: Невозможно выделить память
Command failed
/dev/loop151 is attached to /files/storage/clon/lun0.img.cow.42
open: No such file or directory
0+0 записей получено
0+0 записей отправлено
0 байт скопировано, 0,000321399 s, 0,0 kB/s
device-mapper: reload ioctl on lun0.img.cow.43 failed: Невозможно выделить память
Command failed
root@tvserver:/files/storage# ls -lh /dev/mapper/
итого 0
crw------- 1 root root 10, 236 май 10 10:08 control
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.0 -> ../dm-0
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.1 -> ../dm-1
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.10 -> ../dm-10
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.11 -> ../dm-11
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.12 -> ../dm-12
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.13 -> ../dm-13
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.14 -> ../dm-14
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.15 -> ../dm-15
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.16 -> ../dm-16
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.17 -> ../dm-17
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.18 -> ../dm-18
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.19 -> ../dm-19
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.2 -> ../dm-2
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.20 -> ../dm-20
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.21 -> ../dm-21
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.22 -> ../dm-22
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.23 -> ../dm-23
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.24 -> ../dm-24
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.25 -> ../dm-25
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.26 -> ../dm-26
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.27 -> ../dm-27
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.28 -> ../dm-28
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.29 -> ../dm-29
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.3 -> ../dm-3
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.30 -> ../dm-30
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.31 -> ../dm-31
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.32 -> ../dm-32
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.33 -> ../dm-33
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.34 -> ../dm-34
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.35 -> ../dm-35
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.36 -> ../dm-36
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.37 -> ../dm-37
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.38 -> ../dm-38
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.39 -> ../dm-39
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.4 -> ../dm-4
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.40 -> ../dm-40
lrwxrwxrwx 1 root root       8 май 17 11:14 lun0.img.cow.41 -> ../dm-41
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.5 -> ../dm-5
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.6 -> ../dm-6
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.7 -> ../dm-7
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.8 -> ../dm-8
lrwxrwxrwx 1 root root       7 май 17 11:14 lun0.img.cow.9 -> ../dm-9

Какой памяти не хватает? И сколько надо этой памяти, если файл lun0.img будет 2Tb ?


Ответ на: комментарий от INDIGO

Ты можешь объяснить, зачем следуешь этой инструкции? Просто выглядит как кривой велосипед (что неудивительно в контексте AoE).

anonymous
()
Ответ на: комментарий от anonymous

Хорошо, попробую.

Есть интернет клуб, 100 компов. Надо сделать файловый сервер, на котором будут находиться все игры (на клиентах только винда).

На сервере создаю (20Gb) файл-образ под игры:

dd if=/dev/zero of=/storage/lun0.img bs=1M count=20000

Этот файл скармливаю скрипту, что по ссылке выше.

Генерятся снапшоты 20-гигового образа - lun0.img.cow.*

Эти снапшоты отдаю клиентам через ISCSI.

Target iqn.2013-05.org.safary.server:ntfs
    Lun 1 Type=blockio,Path=/dev/mapper/lun0.img.cow.7

На клиенты, добавляю диск через ISCSI, как игровой.

В итоге, клиенты получаю содержимое диска lun0.img, где лежат все игры.

Вот такая идея.

INDIGO
() автор топика
Ответ на: комментарий от INDIGO

Я бы попробовал сделать CoW чем-нибудь более приспособленным: ZFS (zvol), lvmthin. То есть делаем базовый образ, потом снапшоты, из которых уже LUN'ы. По крайней мере мне кажется, что у тебя такая фигня из-за кучи loop-устройств, хотя могу и ошибаться.

anonymous
()
Ответ на: комментарий от anonymous

По крайней мере мне кажется, что у тебя такая фигня из-за кучи loop-устройств

Да,похоже оно - loop перевалил за 2000!!!

Надо как-то их удалить.

INDIGO
() автор топика
Ответ на: комментарий от Deleted

А тебе точно надо 20 разных образов?

Я, наверно, не так понял вопрос....

Мне надо 100 образов, 1 образ = 1 клиент.

INDIGO
() автор топика
Ответ на: комментарий от INDIGO

Мне надо 100 образов, 1 образ = 1 клиент.

Зачем? Разве нельзя использовать 1 образ для всех клиентов?

Deleted
()
Ответ на: комментарий от Deleted

Так один образ и используется - lun0.img

Я делаю скриптом 100 снапшотов этого образа. Которые и отдаю клиентам.

INDIGO
() автор топика
Ответ на: комментарий от Deleted

Не, в моём случае - это не подойдёт. Клиентам нужен полный доступ к игровому диску, вернее, к снапшоту игрового диска.

INDIGO
() автор топика
Ответ на: комментарий от Deleted

Что будет, если обычную ФС смонтировать на запись хотя бы двум клиентам? Спойлер: ФС рас*****асит.

anonymous
()
Ответ на: комментарий от INDIGO

Делай 1 снапшот с образа, этот снапшот и раздавай. Всё что они там наудаляют и насоздают, сбросится после перемонтирования.

Deleted
()
Ответ на: комментарий от Deleted

А это надо попробовать.... Но что-то мне кажется винда на клиенте это не переварит.

INDIGO
() автор топика
Ответ на: комментарий от Deleted

В принципе работает....

Но, думаю, не оно - я хочу сделать так, чтоб когда у клиента ребутается комп, диск с играми подключался «эталонный», из чистого снапшота.

А если всем отдавать 1 снапшот, то после ребута клиента, клиент получит «эталонный диск» + тот мусор который закачали все клиенты.

И вот для этого нужен принцип: 1 клиент = 1 снапшот.

INDIGO
() автор топика
Последнее исправление: INDIGO (всего исправлений: 1)
Ответ на: комментарий от INDIGO

Прикол в том, что сейчас собрал на виртуалке Ubuntu 16.04, настройки взял с сервера, где всё это гоняю.

И всё работает!!!!

Создаются 100 снапшотов буквально за секунды.... И получаю: 1 клиент = 1 снапшот.

На сервере ОС переставлять не хочется.... Может где что прописалось?

INDIGO
() автор топика
Ответ на: комментарий от INDIGO

Покажи вывод следующих команд, после того как выдаст «Невозможно выделить память»:

ps -ef | grep loop
lsof -n
losetup
dmsetup table
Только результат на pastebin залей, а не сюда сразу.

DiMoN ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.