LINUX.ORG.RU
ФорумAdmin

Не загружаются никакие ядра кроме rescue

 , , ,


0

2

Здравствуйте. ЕСть сервер на centos7, система установлена на raid1 (не LVM, просто софтовый raid1). Сиситема работала на ядре 3.10.0-327, попытки установить и загрузиться с других ядер были неуспешны - система вываливалась в «dracut-initqueue[325]: Warning: dracut-initqueue timeout - starting timeout scripts» Недавно командой yum update обновил некоторые пакеты, из «системных» обновились kernel-devel и kernel-headers нерабочего ядра 3.10.0-957.12.2. После этого рабочее ядро 3.10.0-327 перестало грузится - после file system check вываливается несколько экранов

dracut-initqueue[325]: Warning: dracut-initqueue timeout - starting timeout scripts
Дальше
dracut-initqueue[325]: Warning: Could not boot.
Starting Dracut Emergency Shell...
dracut-initqueue[325]: Warning: /dev/disk/by-id-uuid-f227b326:e7383651:a74ec97c:02639fa8 does not exist
Generating "/run/initramfs/rdsosreport.txt"
Entering emergency mode. Exit the shell to continue.
Type "journalctl" to view system logs.
You might want to save "/run/initramfs/rdsosreport.txt" to a USB stick or /boot after mounting them and attach it to a bug report.

Содержимое /boot/grub2/grub.cfg

[root@SweetHome ~]# cat /boot/grub2/grub.cfg
#
# DO NOT EDIT THIS FILE
#
# It is automatically generated by grub2-mkconfig using templates
# from /etc/grub.d and settings from /etc/default/grub
#

### BEGIN /etc/grub.d/00_header ###
set pager=1

if [ -s $prefix/grubenv ]; then
  load_env
fi
if [ "${next_entry}" ] ; then
   set default="${next_entry}"
   set next_entry=
   save_env next_entry
   set boot_once=true
else
   set default="0"
fi

if [ x"${feature_menuentry_id}" = xy ]; then
  menuentry_id_option="--id"
else
  menuentry_id_option=""
fi

export menuentry_id_option

if [ "${prev_saved_entry}" ]; then
  set saved_entry="${prev_saved_entry}"
  save_env saved_entry
  set prev_saved_entry=
  save_env prev_saved_entry
  set boot_once=true
fi

function savedefault {
  if [ -z "${boot_once}" ]; then
    saved_entry="${chosen}"
    save_env saved_entry
  fi
}

function load_video {
  if [ x$feature_all_video_module = xy ]; then
    insmod all_video
  else
    insmod efi_gop
    insmod efi_uga
    insmod ieee1275_fb
    insmod vbe
    insmod vga
    insmod video_bochs
    insmod video_cirrus
  fi
}

terminal_output console
if [ x$feature_timeout_style = xy ] ; then
  set timeout_style=menu
  set timeout=5
# Fallback normal timeout code in case the timeout_style feature is
# unavailable.
else
  set timeout=5
fi
### END /etc/grub.d/00_header ###

### BEGIN /etc/grub.d/00_tuned ###
set tuned_params=""
set tuned_initrd=""
### END /etc/grub.d/00_tuned ###

### BEGIN /etc/grub.d/01_users ###
if [ -f ${prefix}/user.cfg ]; then
  source ${prefix}/user.cfg
  if [ -n "${GRUB2_PASSWORD}" ]; then
    set superusers="root"
    export superusers
    password_pbkdf2 root ${GRUB2_PASSWORD}
  fi
fi
### END /etc/grub.d/01_users ###

### BEGIN /etc/grub.d/10_linux ###
menuentry 'CentOS Linux (5.1.12-1.el7.elrepo.x86_64) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-5.1.12-1.el7.elrepo.x86_64-advanced-ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0' {
        load_video
        set gfxpayload=keep
        insmod gzio
        insmod part_msdos
        insmod part_msdos
        insmod diskfilter
        insmod mdraid1x
        insmod ext2
        set root='mduuid/7394da5e28ad1e5d59c517bedf27efc9'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint='mduuid/7394da5e28ad1e5d59c517bedf27efc9'  ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        else
          search --no-floppy --fs-uuid --set=root ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        fi
        linux16 /boot/vmlinuz-5.1.12-1.el7.elrepo.x86_64 root=UUID=ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0 ro crashkernel=auto rd.md.uuid=7394da5e:28ad1e5d:59c517be:df27efc9 rd.md.uuid=f227b326:e7383651:a74ec97c:02639fa8 rhgb quiet fsck.mode=force  fsck.repair=yes
        initrd16 /boot/initramfs-5.1.12-1.el7.elrepo.x86_64.img
}
menuentry 'CentOS Linux (4.4.169-1.el7.elrepo.x86_64) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-4.4.169-1.el7.elrepo.x86_64-advanced-ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0' {
        load_video
        set gfxpayload=keep
        insmod gzio
        insmod part_msdos
        insmod part_msdos
        insmod diskfilter
        insmod mdraid1x
        insmod ext2
        set root='mduuid/7394da5e28ad1e5d59c517bedf27efc9'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint='mduuid/7394da5e28ad1e5d59c517bedf27efc9'  ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        else
          search --no-floppy --fs-uuid --set=root ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        fi
        linux16 /boot/vmlinuz-4.4.169-1.el7.elrepo.x86_64 root=UUID=ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0 ro crashkernel=auto rd.md.uuid=7394da5e:28ad1e5d:59c517be:df27efc9 rd.md.uuid=f227b326:e7383651:a74ec97c:02639fa8 rhgb quiet fsck.mode=force  fsck.repair=yes
        initrd16 /boot/initramfs-4.4.169-1.el7.elrepo.x86_64.img
}
menuentry 'CentOS Linux (3.10.0-327.el7.x86_64) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-327.el7.x86_64-advanced-ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0' {
        load_video
        set gfxpayload=keep
        insmod gzio
        insmod part_msdos
        insmod part_msdos
        insmod diskfilter
        insmod mdraid1x
        insmod ext2
        set root='mduuid/7394da5e28ad1e5d59c517bedf27efc9'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint='mduuid/7394da5e28ad1e5d59c517bedf27efc9'  ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        else
          search --no-floppy --fs-uuid --set=root ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        fi
        linux16 /boot/vmlinuz-3.10.0-327.el7.x86_64 root=UUID=ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0 ro crashkernel=auto rd.md.uuid=7394da5e:28ad1e5d:59c517be:df27efc9 rd.md.uuid=f227b326:e7383651:a74ec97c:02639fa8 rhgb quiet fsck.mode=force  fsck.repair=yes
        initrd16 /boot/initramfs-3.10.0-327.el7.x86_64.img
}
menuentry 'CentOS Linux (0-rescue-c7964ea98b104dbb9a9d156b807bffc2) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-0-rescue-c7964ea98b104dbb9a9d156b807bffc2-advanced-ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0' {
        load_video
        insmod gzio
        insmod part_msdos
        insmod part_msdos
        insmod diskfilter
        insmod mdraid1x
        insmod ext2
        set root='mduuid/7394da5e28ad1e5d59c517bedf27efc9'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint='mduuid/7394da5e28ad1e5d59c517bedf27efc9'  ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        else
          search --no-floppy --fs-uuid --set=root ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0
        fi
        linux16 /boot/vmlinuz-0-rescue-c7964ea98b104dbb9a9d156b807bffc2 root=UUID=ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0 ro crashkernel=auto rd.md.uuid=7394da5e:28ad1e5d:59c517be:df27efc9 rd.md.uuid=f227b326:e7383651:a74ec97c:02639fa8 rhgb quiet fsck.mode=force  fsck.repair=yes
        initrd16 /boot/initramfs-0-rescue-c7964ea98b104dbb9a9d156b807bffc2.img
}

### END /etc/grub.d/10_linux ###

### BEGIN /etc/grub.d/20_linux_xen ###

### END /etc/grub.d/20_linux_xen ###

### BEGIN /etc/grub.d/20_ppc_terminfo ###
### END /etc/grub.d/20_ppc_terminfo ###

### BEGIN /etc/grub.d/30_os-prober ###
### END /etc/grub.d/30_os-prober ###

### BEGIN /etc/grub.d/40_custom ###
# This file provides an easy way to add custom menu entries.  Simply type the
# menu entries you want to add after this comment.  Be careful not to change
# the 'exec tail' line above.
### END /etc/grub.d/40_custom ###

### BEGIN /etc/grub.d/41_custom ###
if [ -f  ${config_directory}/custom.cfg ]; then
  source ${config_directory}/custom.cfg
elif [ -z "${config_directory}" -a -f  $prefix/custom.cfg ]; then
  source $prefix/custom.cfg;
fi
### END /etc/grub.d/41_custom ###
[root@SweetHome ~]#

После этого получается загрузится только из rescue ядра. Запускал из него команду dracut и grub2-mkconfig -o /boot/grub2/grub.cfg. Ничего не помогает, не грузится. Пробовал установливать и запускать другие ядра - 4-е, 5-е - все ведут себя одинаково. Мне кажется, что проблема может быть связана с тем, что система установлена на софтовый рейд... Подскажите, куда смотреть, как восстановить работу сервера с обычными ядрами.


У тебя в командной строке ядра указано ожидание появления двух RAID-массивов:

rd.md.uuid=7394da5e:28ad1e5d:59c517be:df27efc9 rd.md.uuid=f227b326:e7383651:a74ec97c:02639fa8

При этом второй по какой-то причине не взлетает:

dracut-initqueue[325]: Warning: /dev/disk/by-id-uuid-f227b326:e7383651:a74ec97c:02639fa8 does not exist

Из под rescue покажи вывод:

cat /proc/mdstat
cat /etc/mdadm.conf
cat /etc/fstab
mdadm --examine --scan

Дополнительный вопрос: как устроен сторадж? Это просто обычные диски? Не требует ли контроллер дисков установки какого-то стороннего драйвера?

Deleted ()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

Да, у меня исползуется raid1 как корень (7394da5e:28ad1e5d:59c517be:df27efc9), и raid0 как своп раздел (f227b326:e7383651:a74ec97c:02639fa8). Странно, что он не видится, под rescue своп работает. cat /proc/mdstat

Personalities : [raid1] [raid0]
md0 : active raid0 sdb1[0] sdc1[1]
      8378368 blocks super 1.2 512k chunks

md127 : active raid1 sdc2[2] sdb2[3]
      14312320 blocks super 1.0 [2/2] [UU]
      bitmap: 1/1 pages [4KB], 65536KB chunk

unused devices: <none>
cat /etc/mdadm.conf
# mdadm.conf written out by anaconda
MAILADDR root
AUTO +imsm +1.x -all
ARRAY /dev/md/root level=raid1 num-devices=2 UUID=7394da5e:28ad1e5d:59c517be:df27efc9
ARRAY /dev/md/swap level=raid0 num-devices=2 UUID=f227b326:e7383651:a74ec97c:02639fa8
cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Wed Dec  7 13:25:47 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0       /       ext4    defaults        1       0
UUID=35af565e-1c48-4db6-98b7-fcd2d7f24d0a       swap    swap    defaults        0       0
UUID=0172bdb6-dddb-493f-a201-b670e849803b       /mnt/D  ext4    defaults        0       0
UUID=516bc584-04d6-4b39-aa4f-acede85dbeeb       /mnt/E  ext4    defaults        0       0
ls -l /dev/disk/by-uuid
total 0
lrwxrwxrwx 1 root root 10 Jun 24 06:34 0172bdb6-dddb-493f-a201-b670e849803b -> ../../sdc3
lrwxrwxrwx 1 root root  9 Jun 24 06:34 35af565e-1c48-4db6-98b7-fcd2d7f24d0a -> ../../md0
lrwxrwxrwx 1 root root 10 Jun 24 06:34 516bc584-04d6-4b39-aa4f-acede85dbeeb -> ../../sdb3
lrwxrwxrwx 1 root root 10 Jun 24 06:34 9CCB-1312 -> ../../sda1
lrwxrwxrwx 1 root root 11 Jun 24 06:34 ba8e3aaf-9dd7-49ba-8024-0253f7b3a2c0 -> ../../md127
mdadm --examine --scan
ARRAY /dev/md/0  metadata=1.2 UUID=fd52f6f9:c1d11cd8:95682026:d4dd7f6e name=SweetHome:0
ARRAY /dev/md/root  metadata=1.0 UUID=7394da5e:28ad1e5d:59c517be:df27efc9 name=sweethome:root
Сторадж - два обысных SATA диска, вначале каждого диска выделено по 4 ГБ под raid0 разделы и своп, потом идут 16 ГБ разделы под raid1 для самой ФС. И оставшееся место - под файлопомойку. Сервер не нагружен, на нём SMB шара, торрентокачалка, VPN сервер и по мелочи - бекапы и т.п.

kt368 ()
Ответ на: комментарий от kt368

У тебя что-то не так с IDшниками. В конфигах одно:

# grub/ядро
rd.md.uuid=7394da5e:28ad1e5d:59c517be:df27efc9 rd.md.uuid=f227b326:e7383651:a74ec97c:02639fa8

# mdadm.conf
ARRAY /dev/md/root level=raid1 num-devices=2 UUID=7394da5e:28ad1e5d:59c517be:df27efc9
ARRAY /dev/md/swap level=raid0 num-devices=2 UUID=f227b326:e7383651:a74ec97c:02639fa8

А по факту другое:

ARRAY /dev/md/0  metadata=1.2 UUID=fd52f6f9:c1d11cd8:95682026:d4dd7f6e name=SweetHome:0
ARRAY /dev/md/root  metadata=1.0 UUID=7394da5e:28ad1e5d:59c517be:df27efc9 name=sweethome:root

f227b326:e7383651:a74ec97c:02639fa8 != fd52f6f9:c1d11cd8:95682026:d4dd7f6e

Ты точно с проблемным RAID-массивом ничего не делал? Может пересоздавал?

Подозреваю, что rescue пытается собрать вообще все найденные массивы автоматически, а обычный initramfs только те, которые настроены в конфигах.

Починить это можно примерно так:

  • Выяснить какие самое свежее ядро у тебя стоит: смотри имена директорий в /lib/modules. У меня стоит 3.10.0-957.21.3.el7.x86_64, так что дальше я буду это значение использовать.
  • Сделать бэкапы: /boot/grub2/grub.cfg, /boot/initramfs-3.10.0-957.21.3.el7.x86_64.img.
  • Заменить ID на актуальный в одной из опций rd.md.uuid в /etc/default/grub.
  • Перегенерировать grub.cfg, чтобы туда попал правильный rd.md.uuid: grub2-mkconfig -o /boot/grub2/grub.cfg.
  • mdadm --examine --scan >/etc/mdadm.conf
  • (не уверен, что это нужно на новых системах, но пусть будет) Перегенерировать initramfs, чтобы туда попал обновлённый mdadm.conf: dracut --verbose --force --kver 3.10.0-957.21.3.el7.x86_64.
  • Перезагрузиться и выбрать ядро версии 3.10.0-957.21.3.el7.x86_64.

Должно взлететь.

Deleted ()
Ответ на: комментарий от Deleted

Заработало!

Спасибо, ваши советы помогли, действительно проблема была в том, что в /etc/default/grub был укзаан неверный UUID одного из рейдов. Выполнив всё по вашей инструкции у меня заработало ядро 3.10.0-327. Попробовал установить ядро 5.1.14 - работает без проблем. Да, с RAID'ами у меня была та ещё история, изначально сервер грузился с двух флешек (так же raid0 под своп и raid1 под ФС), флешки через год начали дохнуть, менях сначали на други флешки, потом на винчестеры перешёл. Видимо где-то в этом процессе и случилось, что UUID в конфиге граба получились неверные.

kt368 ()
Ответ на: Заработало! от kt368

Все прекрастно в вашей теме

ЕСть сервер на centos7

Север же?

изначально сервер грузился с двух флешек

Здорово.

так же raid0 под своп

На флэшке? swap? Мистер Фейнман, опять ваши шутки?

Недавно командой yum update обновил некоторые пакеты, из «системных» обновились kernel-devel и kernel-headers нерабочего ядра 3.10.0-957.12.2. После этого рабочее ядро 3.10.0-327 перестало грузится

....

Да, с RAID'ами у меня была та ещё история, изначально сервер грузился с двух флешек (так же raid0 под своп и raid1 под ФС), флешки через год начали дохнуть, менях сначали на други флешки, потом на винчестеры перешёл.

«Дяденька, разгрызи орешек... Мальчик а можно сразу все орешки принести, а не по одному?» (c)

anc ★★★★★ ()
Последнее исправление: anc (всего исправлений: 1)