Я так посмотрел, и тот же qwen-3.8 Max это 2.4 триллиона параметров.
В 2020-ом Микрософт писали, что нужно где-то 800 шт. V100 (16Gb vram,16 Tflops per GPU) чтобы на кластере достаточно быстро (месяцы) натренировать подобную (триллион параметров) сеть.
https://www.microsoft.com/en-us/research/blog/deepspeed-extreme-scale-model-training-for-everyone/
Теоретически, тысяча энтузиастов могут скинуть железо в один ангар, и крутить его там, ну, несколько лет?
https://arxiv.org/abs/2604.27085 «Efficient Training on Multiple Consumer GPUs with RoundPipe Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu» (2026)
Пока я максимум на 1 миллиард параметров тренинг натыкался
https://huggingface.co/blog/RitishReal/1b-petrain-llm-in-4gb-vram
Но проблема скорее всего в том, что энтузиасты в такое большое сборище на такой долгий срок не собираются …? Десять человек на месяц в поход, или 10000 на несколько дней конференции - да, но вот годами пилить проект добровольно, и не через интернет? Звучит социальной фантастикой. ЛОР как я вижу по голосовалкам и до тысячи человек не дотягивает. И это онлайн!
Ну и как research project на какой-нибудь связке из тысячи GPU образца 2012-го это тоже мало кто бы затеял мне кажется. Переход количества в качество, хех.
