LINUX.ORG.RU

История изменений

Исправление foror, (текущая версия) :

Пока все обсуждают пропускную способность памяти этого девайса, я внезапно осознал, что за эти же деньги можно создать хорошо кастомизируемую систему для запуска любых существующих LLM-ок. Возможно даже с гораздо лучшей производительностью:

Поддерживает 12 DIMM-ов со скоростью 5200 MT/s, что даст порядка 500 GB/s Если у Digits будет 250 GB/s, то у нас ещё и в два раза выше инференс по скорости

  • По вкусу берёте EPYC с поддержкой 12 каналов, допустим 16-и ядерный 9135 за 1000 USD

  • На ебее берёте оперативки под свои размеры, допустим 12x16 GB модули за 360 USD для получения 192 GB

  • Плюс понадобится GPU если работаем с большими промптами. Допустим intel b580 12 GB за 300 USD

Итого 2660 USD на сдачу докупите блок питания, nvme и корпус, если нужно. При этом мы получаем хорошо кастомизируемую систему, с заделом для апгрейда в будущем, если сразу не хватило денег на более мощные комплектующие.

Исправление foror, :

Пока все обсуждают пропускную способность памяти этого девайса, я внезапно осознал, что за эти же деньги можно создать хорошо кастомизируемую систему для запуска любых существующих LLM-ок. Возможно даже с гораздо лучшей производительностью:

Поддерживает 12 DIMM-ов со скоростью 5200 MT/s, что даст порядка 500 GB/s Если у Digits будет 250 GB/s, то у нас ещё и в два раза выше инференс по скорости

  • По вкусу берёте EPYC с поддержкой 12 каналов, допустим 16-и ядерный 9135 за 1000 USD

  • Берёте оперативки под свои размеры, допустим 12x16 GB модули за 360 USD для получения 192 GB

  • Плюс понадобится GPU если работаем с большими промптами. Допустим intel b580 12 GB за 300 USD

Итого 2660 USD на сдачу докупите блок питания, nvme и корпус, если нужно. При этом мы получаем хорошо кастомизируемую систему, с заделом для апгрейда в будущем, если сразу не хватило денег на более мощные комплектующие.

Исходная версия foror, :

Пока все обсуждают пропускную способность памяти этого девайса, я внезапно осознал, что за эти же деньги можно создать хорошо кастомизируемую систему для запуска любых существующих LLM-ок. Возможно даже с гораздо лучшей производительностью:

Поддерживает 12 DIMM-ов со скоростью 5200 MT/s, что даст порядка 500 GB/s Если у Digits будет 250 GB/s, то у нас ещё и в два раза выше инференс по скорости

  • По вкусу берёте EPYC с поддержкой 12 каналов, допустим 16-и ядерный 9135 за 1000 USD

  • Берёте оперативки под свои размеры, допустим 12x16 GB модули за 360 USD для получения 192 GB

  • Плюс понадобится GPU если работаем с большими промптами. Допустим intel b580 12 GB за 300 USD

Итого 2660 USD на сдачу докупите блок питания, nvme и корпус, если нужно. При этом получая очень хорошо кастомизированную систему, с хорошим заделом для апгрейда в будущем, если сразу не хватило денег на более мощную систему.