LINUX.ORG.RU

DDR4 на PCIe

 ,


0

3

Насколько сложно было бы сделать плату для создания диска на базе DDR4 с размещением на PCIe? Потребуется разработка кастомных контроллеров или можно будет взять готовый контроллер в свободной продаже? И вся сложность останется в написании прошивки и драйверов под линукс?

★★★★★

А вообще, это то, что изначально называлась рам-диском. Мя какое-то время назад лениво гуглил, но нашел только древности под DDR1 и ниже.

Очевидно, это это возможно посредством FPGA; производительность и цену предсказать не рискну.

izzholtik ★★★
()
Ответ на: комментарий от izzholtik

Нахрена, когда 128гиг два канала ddr4 дают?

anonymous
()
Ответ на: комментарий от izzholtik

немного переделанного PCIe

CXL не переделанный, а поверх него, вроде. Как nvme или как AMD Infinity Fabric, который HyperTransport поверх pcie, а раз HyperTransport, теоретически можно было так же много что по IF цеплять. Да, нашел новости по AMD Infinity Architecture.

GPU можно пустить на RAMдиск. Вроде, MTTR упоминался. На FPGA такое же можно реализовать, наверно, но не на всякой плате достаточно слотов для памяти.

Пока принято брать сервер с кучей dimm, 3DXPoint nVME. Кластеризовать уровнем выше или ёще как.

boowai ★★★★
()
Последнее исправление: boowai (всего исправлений: 1)
Ответ на: комментарий от Harald

Проще, но когда тебе нужно еще, то нет. Моя цель проект с нагрузкой уровня ВКонтакте на одном сервере.

foror ★★★★★
() автор топика
Ответ на: комментарий от aol

А как жи C10k problem? ))

С добрым утром, вы из какой криокамеры вылезли?

foror ★★★★★
() автор топика
Ответ на: комментарий от shleemypants

На этапе исследований и создания индивидуального БОД для возможности работать фуллтайм.

foror ★★★★★
() автор топика

Потребуется разработка кастомных контроллеров

Скорее всего. Последнее что было на основе обычной памяти и pcie - это gigabyte iram.

Все последующие подобные вещи уже шли на базе флэш памяти

devl547 ★★★★★
()
Ответ на: комментарий от foror

Если у тебя не хватает слотов под память, то ч сего ты взял что тебе хватит и слотов и шины PCIe под это? Сколько терабайт памяти ты хочешь?

Есть материнки с кучей слотов под память, есть планки по 1 терабайту памяти. Это по цене будет тоже самое что и твоя хотелка, только тормозить не будет ибо даже 512бит шина экспресса это хтьфу херота. А шина делится на все слоты если что.

Так что твоя задумка имеет право на жизнь но только в виде просто диска на оперативке на пару терабайт и всё, дальше будет херота и никакого смысла.

Контролёр можешь заказать у ребят на FPGA а плату под это всё у ктайцев. Технически сейчас посредством посредников в этом нет сложности. Сделают тебе плату воторую втык в псиайэксп и в неё втык втык много раз планки памяти.

Но зачем? Когда можно просто взять материнку с кучей слотов под память.

anonymous
()

Тут @kmeaw вот такое рассказывал:

Майнеры уже давно используют оперативную память в качестве кеша для SSD. И прямо сейчас разрабатываются быстрые носители на дешёвой серверной DDR3 с плисиной и батарейкой. Как Gigabyte i-RAM, только большого объёма.

Но надо учесть то, что система будет час ОЗУ выделять под индекс свопа который при счоотношении 1_ОЗУ:2.5_свопа займёт ОЗУ полностью.

По уму надо бы писать swap v2.0 хранящий часть индекса ОЗУ на диске и по этому свободный от этого ограничения.
Доколе мы будем терпеть морально устаревший swap не позволяющий использовать свопа более 2.5 от объёма ОЗУ?

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 2)
Ответ на: комментарий от Harald

а не проще больше планок памяти добавить

Если учесть то, что при этом упадёт скорость работы с ОЗУ то это будет сложным выбором, а может и вообще не годным.

torvn77 ★★★★★
()
Ответ на: комментарий от anonymous

Сколько терабайт памяти ты хочешь?

Чем больше, тем лучше. DDR5 насколько понимаю позволит сделать 8 ТБ на одном сервере с двумя эпиками. И можно еще сверху добавить 4 ТБ через PCIe и будет здорово )

Есть материнки с кучей слотов под память

Хорошо, а если еще им добавить 64 Гбайт/с как дополнительный кеш под СУБД - лишнее что-ли?

есть планки по 1 терабайту памяти

Это где такие? Можно ссылку? Может вы подразумевали набор из 8 планок по 128 GB?

просто диска на оперативке на пару терабайт и всё

Ну, норм

foror ★★★★★
() автор топика
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от Puzan

Можно замутить на средней ПЛИС.

Может вместо ddr3 делать под ddr4 или ddr5 и краундфандик замутить?

Наверняка такое устройство не одному ТС нужно.

П.С. Причём подключать его не только по sata, но через RS-485 или иной последовательный порт, с тем чтобы заложить прочные основы под свободное железо(типа всякая железка есть tty устройство).

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 2)
Ответ на: комментарий от torvn77

краундфандик замутить? Наверняка такое устройство не одному ТС нужно.

Не уверен, что найдётся достаточное кол-во желающих.

через RS-485

Эммм… DDR5?

Puzan ★★★★★
()
Ответ на: комментарий от Puzan

через RS-485

Эммм… DDR5?

1. это наиболее распространённый стандарт RS порта, но можно использовать и другой.
2. ИМХО следует ориентироваться на более новые модули так как именно у них можно купить больший объём памяти при меньшем отношении цены и размера устройства к общей стоимости устройства.

Не уверен, что найдётся достаточное кол-во желающих.

Уже есть: DDR4 на PCIe (комментарий)

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

это наиболее распространённый стандарт RS порта

Не слишком ли расточительно использовать ddr sdram на скорости 1Мбит? Может лучше жёсткий диск (самый дешёвый)?

Уже есть

Майнеры? Очень уж они непостоянные.

Puzan ★★★★★
()
Ответ на: комментарий от Puzan

Не слишком ли расточительно использовать ddr sdram на скорости 1Мбит?

Во первых не один, а десять мегабит.
Во вторых если есть идея лучше, то сделай своё предложение.

Может лучше жёсткий диск (самый дешёвый)?

Хлеб да соль, ем да свой.

Майнеры? Очень уж они непостоянные.

Это лучше чем полное ничего с единоличным несением всех затрат.

torvn77 ★★★★★
()
Ответ на: комментарий от torvn77

Во первых не один, а десять мегабит.

Как будто это что-то меняет. Для такой скорости достаточно ленточного накопителя, а там петабайтами можно ворочать. Какой смысл в DDR?

Это лучше чем полное ничего с единоличным несением всех затрат.

Ага. Но я как бы не собирался ничего нести.

Puzan ★★★★★
()
Ответ на: комментарий от Puzan

ленточного накопителя

Какой смысл в DDR?

Износостойкость и корость произвольного доступа у DDR больше чем у ленточного накопителя или даже SSD.

П.С.Ну что ты совсем не думаешь прежде чем что либо написать?
Или это у тебя тролинг такой тупой?

Ага. Но я как бы не собирался ничего нести.

Раз не хочешь нести или что либо делать, то тогда пожалуйста и не пиши в этом треде.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от foror

Если куча будет достаточно большая то можно назначить свои условия.
И Latticeэто не не известно кто, а одна из фирм развивающих RISC-V.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

Ты как ребёнок, попилят твои деньги и потом иди подавай на них в суд, если денег на пендосовских адвокатов хватит.

foror ★★★★★
() автор топика
Ответ на: комментарий от foror

Насколько сложно было бы сделать плату для создания диска на базе DDR4 с размещением на PCIe?

Очень сложно, @foror не хочет создавать краундфандиг и искать исполнителя заказа.

torvn77 ★★★★★
()
Ответ на: комментарий от torvn77

Износостойкость и корость произвольного доступа у DDR больше чем у ленточного накопителя или даже SSD.

На скорости 10Мбит/с ты будешь вычитывать 1ТБ данных примерно полтора года. О какой износостойкости ты говоришь?

Ну что ты совсем не думаешь прежде чем что либо написать?

Не буду матом, правила запрещают. Но очень хочется.

тогда пожалуйста и не пиши в этом треде

У тебя не спросил, ёпт.

Puzan ★★★★★
()
Ответ на: комментарий от Puzan

На скорости 10Мбит/с ты будешь вычитывать 1ТБ данных примерно полтора года. О какой износостойкости ты говоришь?

Предложи свой вариант СВОБОДНОГО интерфейса.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от izzholtik

На 10М и я могу, а толку с того..

Опиши что и как ты точно можешь сделать, как ты видишь реализацию аппаратного RAM диска?

torvn77 ★★★★★
()
Ответ на: комментарий от torvn77

не хочет создавать краундфандиг и искать исполнителя заказа

А зачем? Я лишь этой темой подстегнул небольшой брейншторм. И по итогу пришел к выводу не заниматься костылями, а сразу делать кастомную архитектуру заточенную на обслуживание сотен миллионов интернет пользователей на одном управляющем сервере. Если вкратце Sun 2.0

foror ★★★★★
() автор топика
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от torvn77

СВОБОДНОГО

Свободного от чего? Есть PCIe, спеки открыты, чего ещё надо?

А такой на 10Мбит никому не нужен (с данном контексте), путь хоть он тыщу раз свободен.

Puzan ★★★★★
()
Ответ на: комментарий от foror

POWER9 или POWER10. Там можно повестить тонну памяти на очень высокой скорости. Знаю людей, которые пилили систему хранения на DRAM на базе POWER8. Специально для таких применений, как ты хочешь.

Puzan ★★★★★
()
Ответ на: комментарий от izzholtik

Говно на STшке какойнить, перекладывающее байтики из UART'a в DRAM))0)

Если учесть что несколько UART/RS можно собрать на этой STшке в RAID0 то это уже будет достижением.

torvn77 ★★★★★
()
Ответ на: комментарий от izzholtik

Можно чипселектов, но не много, зависит от типа памяти. Это физическое ограничение, т.е. написанием своего контроллера не решается.

Puzan ★★★★★
()
Ответ на: комментарий от torvn77

хранящий часть индекса ОЗУ

пошел освежить в памяти как оно работает

https://www.kernel.org/doc/gorman/html/understand/understand014.html

Наличие свопа не добавляет почти ничего в ОЗУ. swap-entry умещается в PTE. И таблицы страниц вроде тоже свопятся нормально.

sergej ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.