LINUX.ORG.RU

Google переводит свои сервера на ext4

 , ,


0

1

В настоящий момент корпорация Google производит апгрейд файловой системы своих серверов с ext2 на более современную ext4.

Мы произвели множество тестов с помощью стандартных инструментов (dbench, compile bench и др.) на файловых системах xfs, ext4 и jfs, чтобы выбрать наиболее подходящую."

При наших рабочих нагрузках производительность ext4 и xfs практически одинакова. Тот факт, что обновление на ext4 будет более плавным, оказался ключевым. Благодаря ext4 уже сейчас мы избавились от узкого места для некоторых из наших самых ресурсоемких приложений.

Для проведения апгрейда Google так же пригласил главного разработчика файловых систем ext2/ext3/ext4 Теда Т'со (Ted T'so).

>>> Подробности

★★★★★

Проверено: maxcom ()
Последнее исправление: maxcom (всего исправлений: 1)

Ответ на: комментарий от tux2002

Это коммент первых сообщений, к iZEN не относится.

tux2002
()

А когда TomTom перейдёт с ext2 на ext4?

bbk123 ★★★★★
()
Ответ на: комментарий от frost_ii

>Этак и до полной нечитабельности докатиться можно.

Можно. Но ReiserFS у меня в подобной ситуации несколькими годами ранее не высыпался несколько месяцев, пока винт высыпающийся не поменял. Файловая система так и не пострадала :)

Зато ext3 падала один раз на регулярных вырубаниях сабноута (с устаревшей батарейкой) и один раз вообще на ровном месте без единого аппаратного отказа. Так что у ext4 это, видимо, наследственное :)

KRoN73 ★★★★★
()

Правильно, ext4 уже давно созрел.

Ab-1
()
Ответ на: комментарий от los_nikos

В Debian так и не стала. Или оно уже не считается ведущим?

Дебиан в арьегарде. Подбирает тех, кому впереди не повезло.

mv ★★★★★
()
Ответ на: комментарий от ex3me

Эта новость какая то и не новость. У них была GFS

Различай host filesystem и distributed filesystem. Второе работает поверх первого.

mv ★★★★★
()
Ответ на: комментарий от KRoN73

>>Опять 25. СерверЫ

Опять вы за своё...


Не обращай внимания. Эти филологи очень уж это дело любят.
1. Зохавать иностранное слово
2. Перевести его не переводя.
3. Придумать для него рус^Cвои правила
4. ???
5. Profit!

darkshvein ☆☆
()
Ответ на: комментарий от knst

Ну по сети то понятно... Но неудобно, нужен раздел на локальной машине, с быстрым доступом данных.

а colinux небось ресурсы хавает?

Flaming ★★
()
Ответ на: комментарий от KRoN73

Видимо, вам просто не повезло.

Кстати, тут кто-то написал, что гуглу это неактуально - они всё равно ФС при сбоях не восстаналивают, а форматируют заново. Им хоть XFS.

Flaming ★★
()

> Google так же пригласил

facepalm.png, также пишется слитно

ubuntulover
()
Ответ на: комментарий от furs

>>Опять 25. СерверЫ >СерверА

серверочки, серверища, серверюги

Служилища.

anonymous
()
Ответ на: комментарий от Fredrik

> > Именно на ваш сарказм я и намекал. Рад, что вы меня поняли.

Вас это не красит.


Похоже, что вы в своих мыслях запутались. Ну да ладно, ваше дело. Я не ваш папа.

andreyu ★★★★★
()
Ответ на: комментарий от Ab-1

>Очередной секретный клон Убунту.

гы-ы. значит только ЛОРовские лохи-виндузятники не могут осилить убунту, ибо постоянно хнычут что убунта не нужна, а тут сам гуголь отдал ей предпочтение, ха! Вот это номер!

e000xf000h
()

>Для проведения апгрейда Google так же пригласил главного разработчика файловых систем ext2/ext3/ext4 Теда Т'со (Ted T'so).

Гугл крут. Я думаю, если в штаб-квартире гугла надо заменить унитаз, они для этого приглашают изобретателя канализации.

yet_another_anon
()
Ответ на: комментарий от yet_another_anon

они для этого приглашают изобретателя канализации.

Ну и как ты себе это представляешь? Спиритическим сеансом, или рисованием пентаграмм на полу и обрядом чернокнижия?

e000xf000h
()
Ответ на: комментарий от anonymous

>ZFS мёртв, и не надо нам показывать копипаст из putty.exe, товарищ izen

уж лучше закупить лишние 2Gb RAM, нежели дорогой 3ware 9XXX.
тесты показали, что zfs рвет его(raidZ vs raid5) чуть ли не процентов на 30-40.
пока тестируем оную на предмет стабильности.

se ★★
()
Ответ на: комментарий от yet_another_anon

>Гугл всемогущ. Может быть и чернокнижием ;)

На самом деле они заливают «создателя канализации» из бэкапа, заново. :))

e000xf000h
()
Ответ на: комментарий от Divius

>уже будет на лицо.

Не сомневася, еврейские чувачки Брин и Пейдж тебе и на лиуо, и на все остальное сделают, ты, главное, слизать не забудь.

Sanitar
()
Ответ на: комментарий от Vudod

>Когда Дебиан перейдёт на использованию ext4 по умолчанию в стабильной ветке, тогда, значит, оно-таки будет готово. Аминь!

Это называется Ubuntu ;-)

Sanitar
()
Ответ на: комментарий от se

>тесты показали, что zfs рвет его(raidZ vs raid5) чуть ли не процентов на 30-40

Не забудьте минетчиков в штат, с сановскими решениями без минетчиков никак, хе-хе.

Sanitar
()
Ответ на: комментарий от ph0enix

Google file system - это не файловая система в классическом понимании. Это дистрибутивная файловая система, где каждый нод хранит кусочки файлов на своих локальных дисках. А какая файловая система на локальных дисках - тут уж как Бог на душу положит

the_coder ★★
()
Ответ на: комментарий от PayableOnDeath

>> серверов с ext2

facepalm

Если не нужен журнал, то почему бы и нет?

Nao ★★★★★
()
Ответ на: комментарий от Jayrome

> Была новость о том, что в Убунте при внезапном отключении открытые файлы обнулялись на винте. Не знаю, как сейчас.

Был жестокий срач на эту тему. Разрабы фс говорили что это косяк писателей программ (которые не использовали fsync там где это надо), разрабы этих программ говорили что «на ext3 у нас таких косяков не было - ничего не знаем».
В итоге добавили в ext4 какой-то костыль, который детектирует такое неправильное поведение.

Nao ★★★★★
()
Ответ на: комментарий от FlameTank

> А как же косяк в ext4 с «запоздалым закрытием файла» .. Хотя, пожалуй, для серверов на упсах это не так опасно..

Delayed allocation? это отключаемо.

Nao ★★★★★
()
Ответ на: комментарий от Sanitar

>>тесты показали, что zfs рвет его(raidZ vs raid5) чуть ли не процентов на 30-40

Не забудьте минетчиков в штат, с сановскими решениями без минетчиков никак, хе-хе.


тесты, проведённые нами.

se ★★
()
Ответ на: Ответ+свой_коммент от darkshvein

> И да, ещё надеюсь эти таки осилят дефрагментирование ext4 допилить. А то я уж было начал жалеть что перевёл терабайтник на ext4.
Я тоже перевёл свой терабайтник (торренты и все дела) на ext4 полгода назад, фрагментация пока не превысила 3-4%.
А утилита уже есть в репах e2fsprogs, но пока не зарелизилась.

Nao ★★★★★
()
Ответ на: комментарий от frost_ii

>А писанины на сайте. Из-за ошибок

Уже не раз обсасывали эту тему. Ошибки нет.

KRoN73 ★★★★★
()
Ответ на: комментарий от Nao

xfs vs ext* shit holywar go!

>Я тоже перевёл свой терабайтник (торренты и все дела) на ext4 полгода назад

Больше трех лет держу раздел для торрентов на xfs. Фрагментация никакая, дефрагментаторами не пользуюсь. 8-гиговые файлы состоят из одного экстента. И где ваш ext4 сейчас?

linuxfan
()
Ответ на: комментарий от se

>тесты, проведённые нами.

А Вы не могли бы рассказать чуть поподробнее о тестовых конфигурациях и методах?

Правильно ли я понимаю, что имеется в виду «zfs обогнала аппаратный raid5»? Если да, то какое железо использовалось? Как тестировали?

Очень, очень любопытно, не троллинга ради.

anonymous
()

Хватит уже вспоминать Рейзера в треде. Он человека убил, а вы его системой пользуетесь. Это ужасно.

anonymous
()

Да хороший выбор. Мне вот как пользователю darwin не хватает, что то, типа того.

srgaz
()
Ответ на: комментарий от anonymous

>Хватит уже вспоминать Рейзера в треде. Он человека убил, а вы его системой пользуетесь. Это ужасно.

Чёрт. А Тьюринг - вообще гей был. Это ужасно.

KRoN73 ★★★★★
()

> Была новость о том, что в Убунте при внезапном отключении открытые файлы обнулялись на винте. Не знаю, как сейчас.

Лично подтверждаю - Ubuntu 9.10 - рубанули месяц назад питание => статистика по торрент файлам обнулилась по всем, кроме тех что были остановлены. Это в KTorrent. Стало быть ничего так и не пофиксили!.. У меня все в ext4...

I-Love-Microsoft ★★★★★
()
Ответ на: комментарий от KRoN73

>Хватит уже вспоминать Рейзера в треде. Он человека убил, а вы его системой пользуетесь. Это ужасно.

Чёрт. А Тьюринг - вообще гей был. Это ужасно.


Microsoft и Google - лидеры по числу сотрудников-геев. Это ужасно.

http://donbass.ua/news/technology/internet/2009/06/02/microsoft-i-google-lide...

gh0stwizard ★★★★★
()
Ответ на: комментарий от I-Love-Microsoft

> Лично подтверждаю - Ubuntu 9.10 - рубанули месяц назад питание => статистика по торрент файлам обнулилась по всем, кроме тех что были остановлены. Это в KTorrent. Стало быть ничего так и не пофиксили!

стало быть взять сорсы и разобратся как работает KTorrent ты не в состоянии ?

szh ★★★★
()
Ответ на: комментарий от Nao

>Был жестокий срач на эту тему. Разрабы фс говорили что это косяк писателей программ (которые не использовали fsync там где это надо), разрабы этих программ говорили что «на ext3 у нас таких косяков не было - ничего не знаем».

В итоге добавили в ext4 какой-то костыль, который детектирует такое неправильное поведение.


Изначально, при появление в свет ext4, сам Линус Торвальдс говорил об этом, что якобы разработчики идиоты полные раз не используют системные вызовы как положено, однако в реальности все иначе.

Подробности:
http://www.linux.org.ru/view-message.jsp?msgid=3591104

gh0stwizard ★★★★★
()
Ответ на: комментарий от Nao

> В итоге добавили в ext4 какой-то костыль, который детектирует такое неправильное поведение.

2 костыля, один на rename with replace, второй на open c O_TRUNC.

szh ★★★★
()
Ответ на: комментарий от elipse

> Не , ну это же фигня полная вручную после перегрузки из под рута запускать fsck на серверах и не обслуживаемой технике !!

На кол за такое ...


ты идиот. свали, не позорься. лучше молча радуйся своему быдлопатчику

anonymous
()
Ответ на: комментарий от anonymous


ты идиот. свали, не позорься. лучше молча радуйся своему быдлопатчику


мнение анонимных кретинов пофиг.

elipse ★★★
()
Ответ на: комментарий от elipse

если бы ты немного отошел от концепции своего говнодесктопа и фильмопомойки, то ты бы не писал подобной фигни

Не , ну это же фигня полная вручную после перегрузки из под рута запускать fsck на серверах и не обслуживаемой технике !! ну пусть ему мозги прочистят в google , может, будет меньше быдлокода писать подобного в е2fsprogs.)) Т.е, по логике этих господ сбой батарейки часов в BIOS - это хорошее основание для «зашкуривания» всего HDD в аварийном режиме и с рукопашным вводом пароля. Мдя...

зы: Я автору fsck написал о его «исправлении» бага .. Посмотрим.

потому как есть ситуации, когда сбой часов (точней запуск с неправильным временем) приведет к такому лютому трындецу, что запуск fsck «руками» тебе покажется за благо великое
автору он написал, ну просто детский сад))

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.