LINUX.ORG.RU
Форум — Admin  

Пересбор RAID6

 ,


0

2

Доброго всем времени суток.

Добавили на днях в raid6 диски, стали делать как тут http://www.ashep.org/2012/programmnyj-raid-v-linux-rasshirenie-massiva/

и пришли к тому, что по ходу ошиблись где-то, как исправить? 

mdadm --detail /dev/md0 
/dev/md0: 
        Version : 1.2 
  Creation Time : Mon Nov 14 10:50:56 2011 
     Raid Level : raid6 
     Array Size : 9767552000 (9315.06 GiB 10001.97 GB) 
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB) 
   Raid Devices : 7 
  Total Devices : 7 
    Persistence : Superblock is persistent 

    Update Time : Tue Nov 20 09:09:06 2012 
          State : clean 
 Active Devices : 7 
Working Devices : 7 
 Failed Devices : 0 
  Spare Devices : 0 

         Layout : left-symmetric 
     Chunk Size : 512K 

           Name : tonas:0  (local to host tonas) 
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1 
         Events : 35008 

    Number   Major   Minor   RaidDevice State 
       0       8       81        0      active sync   /dev/sdf1 
       1       8       65        1      active sync   /dev/sde1 
       2       8       97        2      active sync   /dev/sdg1 
       3       8       17        3      active sync   /dev/sdb1 
       4       8       33        4      active sync   /dev/sdc1 
       6       8      112        5      active sync   /dev/sdh 
       5       8       48        6      active sync   /dev/sdd


mdadm --detail /dev/md0p1 
/dev/md0p1: 
        Version : 1.2 
  Creation Time : Mon Nov 14 10:50:56 2011 
     Raid Level : raid6 
     Array Size : 5860531166 (5589.04 GiB 6001.18 GB) 
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB) 
   Raid Devices : 7 
  Total Devices : 7 
    Persistence : Superblock is persistent 

    Update Time : Tue Nov 20 09:02:24 2012 
          State : clean 
 Active Devices : 7 
Working Devices : 7 
 Failed Devices : 0 
  Spare Devices : 0 

         Layout : left-symmetric 
     Chunk Size : 512K 

           Name : tonas:0  (local to host tonas) 
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1 
         Events : 35008 

    Number   Major   Minor   RaidDevice State 
       0       8       81        0      active sync   /dev/sdf1 
       1       8       65        1      active sync   /dev/sde1 
       2       8       97        2      active sync   /dev/sdg1 
       3       8       17        3      active sync   /dev/sdb1 
       4       8       33        4      active sync   /dev/sdc1 
       6       8      112        5      active sync   /dev/sdh 
       5       8       48        6      active sync   /dev/sdd 


resize2fs /dev/md0p1 
resize2fs 1.41.12 (17-May-2010) 
The filesystem is already 1465132791 blocks long.  Nothing to do! 

fdisk -l 

Disk /dev/sda: 40.0 GB, 40019582464 bytes 
255 heads, 63 sectors/track, 4865 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0x0002a323 

   Device Boot      Start         End      Blocks   Id  System 
/dev/sda1   *           1        4663    37446656   83  Linux 
/dev/sda2            4663        4866     1632257    5  Extended 
/dev/sda5            4663        4866     1632256   82  Linux swap / Solaris 

Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes 
255 heads, 63 sectors/track, 243201 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0x000498f3 

   Device Boot      Start         End      Blocks   Id  System 
/dev/sdb1               1      243201  1953512001   fd  Linux raid autodetect 

Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes 
255 heads, 63 sectors/track, 243201 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0x00038618 

   Device Boot      Start         End      Blocks   Id  System 
/dev/sdc1               1      243201  1953512001   fd  Linux raid autodetect 

Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes 
255 heads, 63 sectors/track, 243201 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 4096 bytes 
I/O size (minimum/optimal): 4096 bytes / 4096 bytes 
Disk identifier: 0x00000000 

Disk /dev/sdd doesn't contain a valid partition table 

Disk /dev/sde: 2000.4 GB, 2000398934016 bytes 
255 heads, 63 sectors/track, 243201 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0x000ec176 

   Device Boot      Start         End      Blocks   Id  System 
/dev/sde1               1      243201  1953512001   fd  Linux raid autodetect 

Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes 
255 heads, 63 sectors/track, 243201 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0x0002a726 

   Device Boot      Start         End      Blocks   Id  System 
/dev/sdf1               1      243201  1953512001   fd  Linux raid autodetect 

Disk /dev/sdh: 2000.4 GB, 2000398934016 bytes 
255 heads, 63 sectors/track, 243201 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 4096 bytes 
I/O size (minimum/optimal): 4096 bytes / 4096 bytes 
Disk identifier: 0x00000000 

Disk /dev/sdh doesn't contain a valid partition table 

Disk /dev/sdg: 2000.4 GB, 2000398934016 bytes 
255 heads, 63 sectors/track, 243201 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0xae2ddf69 

   Device Boot      Start         End      Blocks   Id  System 
/dev/sdg1               1      243201  1953512001   fd  Linux raid autodetect 

WARNING: GPT (GUID Partition Table) detected on '/dev/md0'! The util fdisk doesn't support GPT. Use GNU Parted. 


Disk /dev/md0: 10002.0 GB, 10001973248000 bytes 
255 heads, 63 sectors/track, 1216003 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 4096 bytes 
I/O size (minimum/optimal): 524288 bytes / 2621440 bytes 
Disk identifier: 0x00000000 

    Device Boot      Start         End      Blocks   Id  System 
/dev/md0p1               1      267350  2147483647+  ee  GPT 
Partition 1 does not start on physical sector boundary.

 ← 1 2 →

7 дисков по 2 тб

итого из них объем как по пяти и получаем 10Тб что не так?

дождитесь синка кстати...

Slackware_user ★★★★★
()
Ответ на: комментарий от music-sf

Во-первых, привели бы к стандарту всё - либо целые диски использовать, либо партиции на них, а не так как у вас.

Во-вторых, зачем вы внутри райда делали GPT? Из-за этого и создалось устройство /dev/md0p1 (для fdisk'а gpt-разметка представляется как одна партиция с id ee)

В третьих, раз уж создали GPT, то ресайзить надо было, насколько я понимаю, /dev/md0, а не псевдопартицию.

Deleted
()
Ответ на: комментарий от music-sf

надо было создать на них разделы а потом добавлять дабы было единообразно

Slackware_user ★★★★★
()
Ответ на: комментарий от music-sf

надо parted или gparted расширить gpt раздел который какой-то добрый человек у Вас создал. а потом resize2fs

вообще автору этого безобразия волчий билет надо на работу сисадмином

Slackware_user ★★★★★
()
Ответ на: комментарий от music-sf

какое конкретно из решений?

я б лично диски по 1 вывел из рейда и sfdisk ом создал бы таблицы разделов

sfdisk утилита забавная и может угробить много нервов потому рекомендуется читать мануал.

а вот что делать с вашим разделом в GPT на рейде я честно не представляю, т.к. ресайзится он будет, думаю, долго..

Slackware_user ★★★★★
()
Ответ на: комментарий от music-sf

1) пометил бы диск как плохой:
mdadm --manage /dev/md0 --fail /dev/sdX
2) а потом вывел бы его из под рейда:
mdadm --manage /dev/md0 --remove /dev/sdX
обратно возвращаем:
далее сделал бы так:
1) sfdisk -d /dev/sdb | sfdisk /dev/sdX
2) mdadm --manage /dev/md0 --add /dev/sdX1

если про это то я бы диски поочередно выводил.

а так все логично

поочередно - значит вывел, переразметил. добавил, дождался синхронизации. потом второй так же

Slackware_user ★★★★★
()
Ответ на: комментарий от Slackware_user

Диски добавились, теперь надо ресайзить.

(parted) select /dev/md0p1 Using /dev/md0p1 (parted) resize

Делать так?

Вообще он выдал WARNING (хотя вроде ничего особенного в нём не сказал ) и я решил ещё почитать и не спешить.

WARNING: you are attempting to use parted to operate on (resize) a file system. parted's file system manipulation code is not as robust as what you'll find in dedicated, file-system-specific packages like e2fsprogs. We recommend you use parted only to manipulate partition tables, whenever possible. Support for performing most operations on most types of file systems will be removed in an upcoming release. Partition number?

Только щас начинаю понимать какой же изврат вышел с этим GPT

music-sf
() автор топика
Ответ на: комментарий от Slackware_user

вообще автору этого безобразия волчий билет надо на работу сисадмином

да, тоже сразу в глаза врезалось. негодую.

ktk ★★★★
()
Ответ на: комментарий от Slackware_user 
(parted) select /dev/md0
Using /dev/md0
(parted) p                                                                
Error: The backup GPT table is not at the end of the disk, as it should be.  This might mean that another operating system believes the disk is smaller.  Fix, by moving the backup to the end (and removing the old backup)?
Fix/Ignore/Cancel?
music-sf
() автор топика
Ответ на: комментарий от music-sf 
Fix/Ignore? ^C                                                            
Model: Linux Software RAID Array (md)
Disk /dev/md0: 10,0TB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name  Flags
 1      17,4kB  6001GB  6001GB  ext4         raid

(parted)
music-sf
() автор топика
Ответ на: комментарий от music-sf

Уж простите что мучаю вопросами, но лучше так чем сломать.. больно боязно.

Но так вроде надо писать yes? на вопрос Fix/Ignore/Cancel? Либо ^C и потом сразу resize

music-sf
() автор топика
Ответ на: комментарий от music-sf

так..

оно пишет о том что при 10Гб девайсе у Вас таблица разделов резервная на 6Гб.

т.е. По_ИДЕЕ оно не должно ничего поломать если Вы перенесете бекап таблицы в конец девайса.

з.ы. передайте пламенный привет тому кто делал этот рейд :)

Slackware_user ★★★★★
()
Ответ на: комментарий от Slackware_user

После попытки расширить RAID развалился совсем!

fdisk -l

Disk /dev/sda: 40.0 GB, 40019582464 bytes
255 heads, 63 sectors/track, 4865 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a323

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1        4663    37446656   83  Linux
/dev/sda2            4663        4866     1632257    5  Extended
/dev/sda5            4663        4866     1632256   82  Linux swap / Solaris

Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a726

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      243201  1953512001   fd  Linux raid autodetect

Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000498f3

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1      243201  1953512001   fd  Linux raid autodetect

Disk /dev/sde: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00038618

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1               1      243201  1953512001   fd  Linux raid autodetect

Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x80c604ad

   Device Boot      Start         End      Blocks   Id  System
/dev/sdf1               1      243201  1953512001   fd  Linux raid autodetect
Partition 1 does not start on physical sector boundary.

Disk /dev/sdg: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000ec176

   Device Boot      Start         End      Blocks   Id  System
/dev/sdg1               1      243201  1953512001   fd  Linux raid autodetect

Disk /dev/sdh: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x52c348b1

   Device Boot      Start         End      Blocks   Id  System
/dev/sdh1               1      243201  1953512001   fd  Linux raid autodetect
Partition 1 does not start on physical sector boundary.

Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xae2ddf69
mdadm --detail /dev/md0
mdadm: md device /dev/md0 does not appear to be active

md0p1 попросту перестал существовать. Не находит суперблок. Пожалуйста помогите!

Всё что хотите в мой адрес сказать, уже знаю, лучше посоветуйте как исправить. Бэкап аж недельной давности, если не исправлю до понедельника, то по ходу отработался я.

music-sf
() автор топика
Ответ на: комментарий от music-sf 
mdadm --assemble /dev/md0 /dev/sdb1 /dev/sde1 /dev/sdd1 /dev/sdc1 /dev/sdg1
mdadm: cannot open device /dev/sdb1: Device or resource busy
mdadm: /dev/sdb1 has no superblock - assembly aborted
music-sf
() автор топика
Ответ на: комментарий от music-sf

что с /dev/sdb1 сделалось?

с ним тото не так- пишет что он занят.

потому не собирает

Slackware_user ★★★★★
()
Ответ на: комментарий от Slackware_user

Пытался расширить parted. Вводил ему 10 Тб но он отвечал что величина за пределами . потом отмонтировал, и больше рэйд не примонтировался. После ребута пришлось ехать в офис (оттуда и пишу) чтоб нажать ctrl D иначе сервер не поднимался

p.s Я в панике

music-sf
() автор топика
Ответ на: комментарий от music-sf 
(parted) select /dev/md0
(parted) print                                                            
Model: ATA ST340016A (scsi)
Disk /dev/sda: 40,0GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number  Start   End     Size    Type      File system     Flags
 1      1049kB  38,3GB  38,3GB  primary   ext3            boot
 2      38,3GB  40,0GB  1671MB  extended
 5      38,3GB  40,0GB  1671MB  logical   linux-swap(v1)

вообще не понимаю. sda не входил в рэйд

music-sf
() автор топика
Ответ на: комментарий от music-sf

Заработал!!!

но пока состояние degraded

но ничего , разберёмся. Щас сделаю новый бэкап, а потом дальше.

music-sf
() автор топика
Ответ на: комментарий от music-sf

такое ощущение что чтото заняло один из дисков и партед не смог заресайзить

Slackware_user ★★★★★
()
Ответ на: комментарий от Slackware_user 
mdadm --stop /dev/md0

mdadm --assemble --scan --force

Это помогло.

Мне показалось что драйвер встал наперекосяк.

На этот момент ситуация следующая

root@tonas:/home/sshuser# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] 
md0 : active raid6 sdb1[0] sde1[4] sdd1[3] sdc1[2] sdg1[1]
      9767552000 blocks super 1.2 level 6, 512k chunk, algorithm 2 [7/5] [UUUUU__]
      
unused devices: <none>
root@tonas:/home/sshuser# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Mon Nov 14 10:50:56 2011
     Raid Level : raid6
     Array Size : 9767552000 (9315.06 GiB 10001.97 GB)
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
   Raid Devices : 7
  Total Devices : 5
    Persistence : Superblock is persistent

    Update Time : Sat Nov 24 22:00:03 2012
          State : clean, degraded
 Active Devices : 5
Working Devices : 5
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : tonas:0  (local to host tonas)
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1
         Events : 172904

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       97        1      active sync   /dev/sdg1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1
       4       8       65        4      active sync   /dev/sde1
       5       0        0        5      removed
       6       0        0        6      removed
root@tonas:/home/sshuser# mdadm --detail /dev/md0p1
/dev/md0p1:
        Version : 1.2
  Creation Time : Mon Nov 14 10:50:56 2011
     Raid Level : raid6
     Array Size : 5860531166 (5589.04 GiB 6001.18 GB)
  Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
   Raid Devices : 7
  Total Devices : 5
    Persistence : Superblock is persistent

    Update Time : Sat Nov 24 22:00:25 2012
          State : clean, degraded
 Active Devices : 5
Working Devices : 5
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : tonas:0  (local to host tonas)
           UUID : 287f64dd:11d67ba0:6387d98a:671871f1
         Events : 172918

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       97        1      active sync   /dev/sdg1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1
       4       8       65        4      active sync   /dev/sde1
       5       0        0        5      removed
       6       0        0        6      removed



Using /dev/md0
(parted) print                                                            
Model: Linux Software RAID Array (md)
Disk /dev/md0: 10,0TB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name  Flags
 1      17,4kB  6001GB  6001GB  ext4         raid
music-sf
() автор топика
Ответ на: комментарий от Slackware_user

Даже за ночь столько не перельётся. Данные нужны всегда. Юзаются магазинами в любойдень недели с 9 до 21. Это и мешает.

music-sf
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
 ← 1 2 →
Admin