LINUX.ORG.RU

Мат. плата и процессор для ECC-памяти


1

2

Всем привет!

Занимаюсь восстановлением файлохранилища. Решил обновить конфиг. Пишут, что без ECC-памяти — никуда. Самый дешевый конфиг, что я нашел, это с amd am3+. Но там один 16x pci-e и нет встроенного видео. А мне бы в 16x pci-e контроллер для дисков.

Глаза разбегаются от возможных вариантов за немыслимые деньги. Если коротко, какие бы процессор, мат.плату вы бы посоветовали?


Чипсет AMD990FX поддерживает конфигурацию 16+16+8+4+4

steemandlinux ★★★★★
()

Встроенное видео есть на 880g/990gx. PCI-E - да вам будет достаточно пожалуй даже 4x в форм-факторе 16х (или с прорезью сзади).

Проц - пожалуй, оптимальнее всего fx8320.

NiTr0 ★★★★★
()

Пишут, что без ECC-памяти — никуда.

на заборе тоже пишут. Что за файлопомойка, какие требования?

drBatty ★★
()
Ответ на: комментарий от drBatty

на заборе тоже пишут. Что за файлопомойка, какие требования?

речь идет о домашней файлопомойке. raid6 на десяток дисков. ничего критически важного, но не хочется потерять инфу из-за собственной жадности.

это еще повод купить новый проц, и, может, запускать виртуалки в kvm-е.

сейчас стоит простенькая система на atom d525.

ien
() автор топика
Ответ на: комментарий от kiverattes

Аптайм может быть и годы. Только вот некоторые файлы могут оказаться после проверки немного не такими, как были записаны...

NiTr0 ★★★★★
()

Можно попробовать заюзать zfs raidz2 вместо raid6, там есть контроль чётности, от глюков контроллера и подобных спасёт, но от памяти вряд-ли, т.к. контрольная сумма, вполне возможно, будет посчитана уже с битых. Но это лучше чем голый raid6.

Есть интересная фишка - процессоры Core i3 при запихивании их в серверные материнки начинают уметь ECC :) См. тут: http://www.supermicro.com/support/faqs/faq.cfm?faq=10712

Можно взять такую мать: http://www.nix.ru/autocatalog/motherboards_supermicro/SuperMicro_ X9SCLF_LGA1155_C202_2GbLAN_SATA_RAID_microATX_4DDRIII_121180.html

и какой-нибудь Core-i3, всё лучше чем просто десктопная мать, причем за достаточно небольшие деньги. Плюс там есть IP-KVM в IPMI.

blind_oracle ★★★★★
()
Последнее исправление: blind_oracle (всего исправлений: 2)
Ответ на: комментарий от blind_oracle

Можно взять такую мать:

Еще немного поизучал... Похоже, что выбор невелик.. либо: 1) AMD, и тогда мат. плата будет относительно дешевой, но придется докупать видеокарту, 2) INTEL и тогда можно взять только проц., но нужна будет серверная мат. плата.

ien
() автор топика
Ответ на: комментарий от ien

Я бы брал серверную мать, по работе с супермикрами много дел имею - результаты только положительные. Да и дома когда-то стояли, пока на mini-ITX не перелез. С ценой не сильно выше десктопной имеем качество выше и всякие вкусности вроде IPKVM.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

Пожалуй, так и сделаю. Спасибо!

ien
() автор топика
Ответ на: комментарий от kiverattes

мать Asus P8Z77-V

Разброс у этой серии от бюджетных моделей до топовых. Уточнил бы что ли какая именно...

neutralfan
()
Ответ на: комментарий от thesis

Врут.

Ну может. Тут дело такое. У меня рейд с расчетами, а значит все точно ходит через память.

А вики (http://en.wikipedia.org/wiki/ECC_memory) на эту тему говорит, что:

The actual error rate found was several orders of magnitude higher than previous small-scale or laboratory studies, with 25,000 to 70,000 errors per billion device hours per megabit (about 2.5–7 × 10−11 error/bit·h)(i.e. about 5 single bit errors in 8 Gigabytes of RAM per hour using the top-end error rate), and more than 8% of DIMM memory modules affected by errors per year.

Короче это довольно много и ничем не детектится.

ien
() автор топика
Ответ на: комментарий от kiverattes

Какой у тебя рейд с рассчётами, ты же про файлопомойку спрашивал?

raid5 и raid6 через mdadm требуют расчетов на cpu.

я где-то в сообщении выше писал, что у меня raid6.

ien
() автор топика
Ответ на: комментарий от ien

Предлагаю посмотреть на проблему под другим углом. Файлопомойничество - это вещизм. Люди, склонные устраивать файлопомойки выросли в семьях, где на балконе лежали сотни хлама. Необходима работа в области духовного развития и психологии.

kiverattes ★☆
()
Ответ на: комментарий от kiverattes

Предлагаю посмотреть на проблему под другим углом. Файлопомойничество - это вещизм. Люди, склонные устраивать файлопомойки выросли в семьях, где на балконе лежали сотни хлама. Необходима работа в области духовного развития и психологии.

Ну... Это точка зрения. Я ее не разделяю. Спорить тут бесполезно.

ien
() автор топика
Ответ на: комментарий от Demacr

Изначально допустил ошибку взял быстрые 1,5 Тб барракуды (2010 год). У них был только один плюс: гарантия в 5 лет. Один сломался через полтора года, второй через 2,5. Третий пока стоит.

На замену первому взял более медленный 2Тб Сигейт (домой приду могу уточнить модель). Тоже не очень. (На нем оказались ошибки чтения, когда восстанавливался от потери второго на 1,5 Тб)

Затем взял WD Green.

Теперь, как только вышли, покупаю только WD Red.

Сигейты либо очень плохие, либо у них лютая smart-диагностика — сообщает о том, о чем другие молчат. Моя статистика отказов, к сожалению, бесполезна, т.к. мои WD более скромные и более новые, но сигейт покупать вообще не хочется.

ien
() автор топика
Ответ на: комментарий от ien

Тоже для своей будущей помойки склоняюсь к REDам, но надеялся услышать о хороших и более дешёвых конкурентах. У самого сигейт вместо жесткого диска для фильмов. Первые бэдблоки через полгода, через 2.5 года их 55 и счётчик ошибок чтения начинал считать от нуля из-за переполнения наверно с пару десятков раз.

Demacr ★★
()
Ответ на: комментарий от kiverattes

Ага, ага. Посмотрите статистику гугла, по памяти. У них на кошерных серверных платформах с кошерной ЕСС памятью дохренища скорректированных ошибок четности, и горка нескорректированных.

Хотя да, если комп юзать для танчиков и одноглазиков - ошибки памяти незаметны, и можно считать что их нет.

NiTr0 ★★★★★
()
Ответ на: комментарий от kiverattes

А где её смотреть?

В поисковиках забанили?

А если есть нескорректированные, нафига тогда ЕСС?

ЕСС корректирует всего 1 бит. Более 1 бита поплыло в слове - все, привет нескорректированная ошибка. С занесением в журнал впрочем, без ЕСС об ошибке остается только догадываться.

NiTr0 ★★★★★
()
Ответ на: комментарий от NiTr0

А чё за журнал?

Не, тут ЕСС не прокатывает... У афтара требования выше - он хочет ваще ничего не потерять гарантированно, с гарантией переживания конца вселенной. У него рейд, он хочет хранить свой никому не нужный хлам надёжнее гугла. Ему надо посоветовать 3-нодную репликацию с проверкой контрольных сумм блоков.

kiverattes ★☆
()
Ответ на: комментарий от kiverattes

Чтобы что-то не разделять, нужно объяснить логику неразделения, иначе это просто лень думания.

Это не лень, это нежелание объяснять (я к тому, что объяснять не «нужно», а «можно». А можно и не объяснять).

Настроения чего-то объяснять человеку, который в топике про технический вопрос (в форуме про железо) начинает рассказывать про психологию и духовный рост, никакого нет.

ien
() автор топика
Ответ на: комментарий от kiverattes

Афтор:

речь идет о домашней файлопомойке. raid6 на десяток дисков. ничего критически важного, но не хочется потерять инфу из-за собственной жадности.

Коммент:

Не, тут ЕСС не прокатывает... У афтара требования выше - он хочет ваще ничего не потерять гарантированно, с гарантией переживания конца вселенной. У него рейд, он хочет хранить свой никому не нужный хлам надёжнее гугла. Ему надо посоветовать 3-нодную репликацию с проверкой контрольных сумм блоков.

Ну-ну.

ien
() автор топика
Ответ на: комментарий от anonymous

Как уже писалось (непонятно для кого) материнок с ECC и встроенной графикой убердохрена.

Спасибо!

Гляну. Я смотрел в nix.ru, там не нашлось (может фильтры кривые ставил). Вечером посмотрю подробнее, прикину по ценам.

ien
() автор топика
Ответ на: комментарий от ien

Сплошная философия и духовные разговоры. Иначе где техническое задание на допустимость потери информации? Не более скольки байт за 10 лет должно испортиться, например?

kiverattes ★☆
()
Ответ на: комментарий от kiverattes

Иначе где техническое задание на допустимость потери информации? Не более скольки байт за 10 лет должно испортиться, например?

Вопрос о нужности ECC мной не поднимался.

Вопрос был, я цитирую: «Если коротко, какие бы процессор, мат.плату вы бы посоветовали?»

ien
() автор топика
Ответ на: комментарий от kiverattes

А чё за журнал?

syslog же. Куда MCE пишутся в частности.

Не, тут ЕСС не прокатывает...

Аффтар как раз о ЕСС и вопрошал, если вы не заметили. Вы же начали всех убеждать, что «есс не надо потому как мой убертазик целых 2 месяца в панику не падал»...

NiTr0 ★★★★★
()
Ответ на: комментарий от kiverattes

У меня в домашней «файлопомойке» как тут принято называть файловые сервера хранятся пару терабайт видео и фото домашних, из путешествий, с ребёнком и т.п.

Вот это дело я никак не хочу потерять. Поэтому там рейд и бэкап по rsync на такой же удаленный сервер стоящий у моих родителей с версионированием через zfs.

Так что не надо тут про вещизм, ога.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

Это и есть вещизм. Если моск что-то не запомнил о личной жизни, значит он посчитал это неважным - зачем это хранить? Жить прошлым? Никогда не понимал собирателей терабайт семейных фоток.

kiverattes ★☆
()
Последнее исправление: kiverattes (всего исправлений: 1)
Ответ на: комментарий от NiTr0

Автор хотел не ECC, а супернадёжного хранения данных. А у ECC тоже бывают ошибки. Поэтому афтору нужны 3 географически удалённых синхронизируемых узла с проверкой контрольных сумм блоков данных.

kiverattes ★☆
()
Ответ на: комментарий от kiverattes

Если тебе что-то непонятно, то это твои личные проблемы.

Мне это нужно и интересно. Я, о ужас, бывает пересматриваю старые фотки и видео с удовольствием. И дочка моя тоже с интересом смотрит на себя в детстве.

blind_oracle ★★★★★
()
Ответ на: комментарий от kiverattes

Автор хотел повышения надежности. Если память ЕСС сейчас стоит почти столько же сколько и обычная, то почему бы не поставить её. Вот и всё. Ошибки бывают везде, но простых мер вполне достаточно для минимизации их до незначительного уровня. Три локации нафиг не нужны, достаточно двух.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

Фигасе, я думал заметно дороже - раза в три типа. Наверное я старый хрыч и не успеваю за событиями в мире. А скорость как? Не сильно медленнее?

kiverattes ★☆
()
Ответ на: комментарий от kiverattes

Ну, ты не один) Друзья тебе помогли поднять вопрос, который ты не поднял.

Внимание! В треде тролли! =)

ien
() автор топика
Ответ на: комментарий от kiverattes

Для 4Гб модулей кингстон разница в ~400-500 рублей (1670 vs. 1200), что на мой взгляд незначительно.

http://www.nix.ru/autocatalog/memory_modules_kingston/Kingston_ValueRAM_KVR13...

http://www.nix.ru/autocatalog/memory_modules_kingston/Kingston_ValueRAM_KVR13...

Регистровая, что интересно, еще дешевле.

Скорость примерно одинаковая, в пределах погрешности.

По моей статистике с серверами ЕСС срабатывает крайне редко, но всё же срабатывает. Если модуль начинает деградировать, то срабатывание происходит очень часто, постоянно корректируется битая ячейка. Потом, обычно, модуль дохнет совсем. У гугля, кажется, была статья на эту тему, у них большая статистика.

blind_oracle ★★★★★
()
Ответ на: комментарий от ien

Теперь, как только вышли, покупаю только WD Red.

Все так напали на нужность/ненужность ECC (я - за ECC). А тут, оказывается, и у WD Red есть свой ECC. И проблема в том, что по современным меркам - никудышный: 10^-14 UBER ~ 12.5 TB. Т.е. при чтении 3 ТB-айтника более чем... всего 4 раз получаешь никем незаметную ошибку. Добавляя его в RAID, всё становится интересней: теперь ошибка может проявится в прочитанной контрольной сумме...

А вот у Re-хардов - 10^-15 UBER ~ 125 TB. Уже лучше. Но можно и настоящие серверные уже не SATA, а SAS: там улучшение ещё на порядок.

gag ★★★★★
()
Ответ на: комментарий от gag

Добавляя его в RAID, всё становится интересней: теперь ошибка может проявится в прочитанной контрольной сумме...

Ну да. И у raid6 больше шансов уйти от ошибки, чем у raid5.

Говорят, что zfs как-то работает несмотря на ошибки на самих дисках. Поизучаю, какие fs помимо нее решают эту проблему (если такие есть).

ien
() автор топика
Ответ на: комментарий от blind_oracle

Я бы брал серверную мать, по работе с супермикрами много дел имею - результаты только положительные. Да и дома когда-то стояли, пока на mini-ITX не перелез. С ценой не сильно выше десктопной имеем качество выше и всякие вкусности вроде IPKVM.

Как уже писалось (непонятно для кого) материнок с ECC и встроенной графикой убердохрена.

http://market.yandex.ru/guru.xml?CMD=-RR=0,0,0,0-PF=2142560456~EQ~sel~x134846...

На текущий момент, ситуация такова: 1) Есть хороший i3 на ivy bridge. Но бедноватая мат. плата для него будет ~6 т.р. 2) Есть какой-нибудь amd fx-6300. Мат. плата для него стоит ~2.3 т.р. Она с 6-ю SATA, парой PCI-E и встроенной видюхой.

i3 конечно лучше из расчета на ватт (потребляет при сравнимой производительности в 2 раза меньше электричества), но 4 т.р. разницы за мат. плату.

ien
() автор топика
Ответ на: комментарий от ien

Говорят, что zfs как-то работает несмотря на ошибки на самих дисках.

ZFS на каждый блок данных (128к по умолчанию вроде) генерирует контрольную сумму по выбранному алгоритму (sha256, fletcher, еще какие-то). При считывании блока или при проверке фс он сверяет контрольную сумму, если она не совпадает, то восстанавливает блок встроенными RAID-5/6 средствами. (ZFS не просто ФС, а еще и сам себе рейд)

Сам проверял - писал на один из дисков массива мусор случайным образом, пускал проверку, всё исправляло.

Поизучаю, какие fs помимо нее решают эту проблему (если такие есть).

На текущий момент - никакие.

blind_oracle ★★★★★
()
Последнее исправление: blind_oracle (всего исправлений: 1)
Ответ на: комментарий от ien

АМД дешевле, спору нет.

Я, может быть, и сам его взял, но мне была важна тишина-температура и поддержка AES-NI, так что я взял Core i5-3570T.

А так мать Supermicro X9SCM имеет 6 SATA, 4 PCI-E, две сетевухи встроенных и видюху за 6 т.р.

blind_oracle ★★★★★
()
Последнее исправление: blind_oracle (всего исправлений: 1)
Ответ на: комментарий от blind_oracle

ien blind_oracle я вот тут подумал, что на новых материнках есть поддержка pci-e 3.0 (8гтс) а на старых только 2.0 (5 гтс). Не знаю, насколько это критично для контроллера.

anonymous
()
Ответ на: комментарий от anonymous

Никак не критично, большинство контроллеров макс х8 2.0

blind_oracle ★★★★★
()

файлохранилища

и нет встроенного видео

😶

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.