Исправление byko3y, (текущая версия) :
Минимизацию денег на серверы. Сейчас тратят кучу денег на несколько VDS со стрёмным конфигом. Реально по моим прикидкам если всё грамотно раскидать по сервисам, то можно сэкономить процентов 80. Сразу половина экономится за счёт того, что сервисом никто не пользуется 16 часов из 24
Давай вворужимся страшным оружием — калькулятором, и посчитаем, сколько вы сэкономите.
https://aws.amazon.com/ec2/dedicated-hosts/pricing/
Итак. инстанс EC2 M4 на два сокета зионов (24 ядра) и что-то вроде 256 Гб оперативы без накопителей стоит примерно 2.5$/час, или 1800 в месяц. Амазон тут же предлагает нам «сэкономить», заплатив на месяц вперед 1100$ за выделенный экземпляр. Будем ориентироваться на последнюю цифру, ведь облако — это дёшево и выгодно, это все знают.
Открываем хецнер:
https://www.hetzner.com/dedicated-rootserver/matrix-px
Ближайший аналог — 18-ядерный зион, 128 Гб оперативы, тоже без накопителя (покупается отдельно). Цена — $160. Даже если прикинуть, что тебе понадобится два таких — цена $320, или в три с половиной раза ниже, чем AWS.
Может быть я просто выбрал AWS, как самый дорогой хостинг на планете? Берем цифровой океан:
https://www.digitalocean.com/pricing
40 потоков. 160 Гб оперативы, но с SSD накопителями на целых 500 Гб — $1200/месяц. Но это все-таки on-demand, платишь за часы. То есть, пользуясь инстансом 8 часов из 24, ты получаешь итоговую цену... $400.
«Но мы же... только когда пользуемся... не переплачиваем...» — слышится затихающий голос, осознающий, что облако дешевле только в одном случае — если ты используешь инстанс 1-2 часа в день. И в таком сценарии даже я скажу «конечно, идите на облако, вам не нужен выделенный сервер». Но 8 часов в день — это полностью загруженный сервер, и цены нам об этом явно говорят. Точка.
Ещё куча сэкономится за счёт того, что утилизация серверов по памяти в среднем на 30-40%, а по CPU по-моему вообще процентов на 5-10
У вас неправильная конфигурация сервера. Нужно найти хостинг с большим объемом оперативы — жаба любит кушать память. У хецнера дедик зион на 6 ядер и 128 Гб опертивы стоит 75$/месяц.
Кстати недавно один сервис перевели на облачное хранение файлов вместо БД, вот прям залетал сразу сервис, оказывается облако отдаёт файлы в сто раз быстрей, чем кривой скрипт на ноде выковыривает их из постгреса, кто бы мог подумать
Очень странная история. Я подозреваю, что кривой скрипт на ноде работал со строгой согласованностью и прочими ACID прелестями так, будто эти файлы были банковскими транзакциями. Уже есть опенсорсные облакоподобные хранилища, тоже с гарантиями отказойстойчивости. Напоминаю, что «необлачные» файловые системы у самого амазона стоят космических денег.
К слову, у меня на уровне идеи в медленной разработке находится идея универсальной БД с гибкими гарантиями согласованности — я снова и снова прихожу к тому, что какая-то такая штука по-хорошему когда-то должна заменить все облака. То есть, храни почти чо хочешь, есть резервирование-кэширование-распределенность по желанию. Можно грабить корованы
А с кубером я мечтаю о том, чтобы у трёх хостеров купить по паре впсок и оно даже при проблемах у одного хостера работало нормально. Но даже без трёх хостеров тупо на кучке впсок отказоустойчивость будет более, чем достаточная, чем сейчас
Мечтай. Каким образом тяп-ляп написанный сервис должен по взмаху волшебной палочки стать распределенным и отказоустойчивым? Вы его таким проектировали/реализовывали? Тестировали отказоустойчивость? Минимизировали трафик между датацентрами? Вот если бы вы реально попробовали «это» реализовать, то через пять лет с большой вероятностью получили бы еле ползающую и дико жрущую деньги хрень — типовые такие показатели для среднего современного стартапа.
Масштабируемость. Была такая проблема несколько недель назад. Возник всплеск потребления всего в 5 раз. Ну чё, тупо оператива закончилась и гг
Мне кажется, что ваша проблема проще, чем ты ее описал. У «высоконагруженных» систем, написанных «на отлюбись», есть склонность под большой нагрузкой лавинообразно заваливаться. То есть, 5 раз — это то, что ты якобы зафиксировал, но если бы памяти было «достаточно», то могло выясниться, что на самом деле нагрузка была 10-кратная. Потому что ось при исчерпании памяти начинает сливать кэши, это тормозит обработку запросов, запросов становится больше, потребление памяти увеличивается.
Эту проблему неэффективно закидывать железом — лучше всего выстраивать в очередь клиентов, которые в истерике лупят по рефрешу. То есть, обрабатывать столько, сколько можешь, не залезая в свап. Таким образом запросы быстрее обработаются и высвободят память, а там, гляди, и выяснится, что задержку от этой очереди никто не заметил.
Короче говоря, вместо того, чтобы храбро посмотреть проблемам в глаза и решить их, ты скатываешься в «хорошо там, где нас нет». Мол «есть вот индустрия, у нее всё масштабируется, и не падает, и разрабатывается быстро, агильно, а наши кулибины до сих пор свой один сервер ковыряют». Где эта индустрия, у которой все работает? Я вижу, что ничерта не работает, всё тормозит, и при этом стоит сумасшедших денег.
Исправление byko3y, :
Минимизацию денег на серверы. Сейчас тратят кучу денег на несколько VDS со стрёмным конфигом. Реально по моим прикидкам если всё грамотно раскидать по сервисам, то можно сэкономить процентов 80. Сразу половина экономится за счёт того, что сервисом никто не пользуется 16 часов из 24
Давай вворужимся страшным оружием — калькулятором, и посчитаем, сколько вы сэкономите.
https://aws.amazon.com/ec2/dedicated-hosts/pricing/
Итак. инстанс EC2 M4 на два сокета зионов (24 ядра) и что-то вроде 256 Гб оперативы без накопителей стоит примерно 2.5$/час, или 1800 в месяц. Амазон тут же предлагает нам «сэкономить», заплатив на месяц вперед 1100$ за выделенный экземпляр. Будем ориентироваться на последнюю цифру, ведь облако — это дёшево и выгодно, это все знают.
Открываем хецнер:
https://www.hetzner.com/dedicated-rootserver/matrix-px
Ближайший аналог — 18-ядерный зион, 128 Гб оперативы, тоже без накопителя (покупается отдельно). Цена — $160. Даже если прикинуть, что тебе понадобится два таких — цена $320, или в три с половиной раза ниже, чем AWS.
Может быть я просто выбрал AWS, как самый дорогой хостинг на планете? Берем цифровой океан:
https://www.digitalocean.com/pricing
40 потоков. 160 Гб оперативы, но с SSD накопителями на целых 500 Гб — $1200/месяц. Но это все-таки on-demand, платишь за часы. То есть, пользуясь инстансом 8 часов из 24, ты получаешь итоговую цену... $400.
«Но мы же... только когда пользуемся... не переплачиваем...» — слышится затихающий голос, осознающий, что облако дешевле только в одном случае — если ты используешь инстанс 1-2 часа в день. И в таком сценарии даже я скажу «конечно, идите на облако, вам не нужен выделенный сервер». Но 8 часов в день — это полностью загруженный сервер, и цены нам об этом явно говорят. Точка.
Ещё куча сэкономится за счёт того, что утилизация серверов по памяти в среднем на 30-40%, а по CPU по-моему вообще процентов на 5-10
У вас неправильная конфигурация сервера. Нужно найти хостинг с большим объемом оперативы — жаба любит кушать память. У хецнера дедик зион на 6 ядер и 128 Гб опертивы стоит 75$/месяц.
Кстати недавно один сервис перевели на облачное хранение файлов вместо БД, вот прям залетал сразу сервис, оказывается облако отдаёт файлы в сто раз быстрей, чем кривой скрипт на ноде выковыривает их из постгреса, кто бы мог подумать
Очень странная история. Я подозреваю, что кривой скрипт на ноде работал со строгой согласованностью и прочими ACID прелестями так, будто эти файлы были банковскими транзакциями. Уже есть опенсорсные облакоподобные хранилища, тоже с гарантиями отказойстойчивости. Напоминаю, что «необлачные» файловые системы у самого амазона стоят космических денег.
К слову, у меня на уровне идеи в медленной разработке находится идея универсальной БД с гибкими гарантиями согласованности — я снова и снова прихожу к тому, что какая-то такая штука по-хорошему когда-то должна заменить все облака. То есть, храни почти чо хочешь, есть резервирование-кэширование-распределенность по желанию. Можно грабить корованы
А с кубером я мечтаю о том, чтобы у трёх хостеров купить по паре впсок и оно даже при проблемах у одного хостера работало нормально. Но даже без трёх хостеров тупо на кучке впсок отказоустойчивость будет более, чем достаточная, чем сейчас
Мечтай. Каким образом тяп-ляп написанный сервис должен по взмаху волшебной палочки стать распределенным и отказоустойчивым? Вы его таким проектировали/реализовывали? Тестировали отказоустойчивость? Минимизировали трафик между датацентрами? Вот если бы вы реально попробовали «это» реализовать, то через пять лет с большой вероятностью получили бы еле ползающую и дико жрущую деньги хрень — типовые такие показатели для среднего современного стартапа.
Масштабируемость. Была такая проблема несколько недель назад. Возник всплеск потребления всего в 5 раз. Ну чё, тупо оператива закончилась и гг
Мне кажется, что ваша проблема проще, чем ты ее описал. У «высоконагруженных» систем, написанных «на отлюбись», есть склонность под большой нагрузкой лавинообразно заваливаться. То есть, 5 раз — это то, что ты якобы зафиксировал, но если бы памяти было «достаточно», то могло выясниться, что на самом деле нагрузка была 10-кратная. Потому что ось при исчерпании памяти начинает сливать кэши, это тормозит обработку запросов, запросов становится больше, потребление памяти увеличивается.
Эту проблему неэффективно закидывать железом — лучше всего выстраивать в очередь клиентов, которые в истерике лупят по рефрешу. То есть, обрабатывать столько, сколько можешь, не залезая в свап. Таким образом запросы быстрее обработаются и высвободят память, а там, гляди, и выяснится, что задержку от этой очереди никто не заметил.
Короче говоря, вместо того, чтобы храбро посмотреть проблемам в глаза и решить их, ты скатываешься в «хорошо там, где нас нет». Мол «есть вот индустрия, у нее всё масштабируется, и не падает, и разрабатывается быстро, агильно, а наши кулибины до сих пор свой один сервер ковыряют». Где эта индустрия, у которой все работает? Я вижу, что нихера не работает, всё тормозит, периодически не работает, и при этом стоит сумасшедших денег.
Исходная версия byko3y, :
Минимизацию денег на серверы. Сейчас тратят кучу денег на несколько VDS со стрёмным конфигом. Реально по моим прикидкам если всё грамотно раскидать по сервисам, то можно сэкономить процентов 80. Сразу половина экономится за счёт того, что сервисом никто не пользуется 16 часов из 24
Давай вворужимся страшным оружием — калькулятором, и посчитаем, сколько вы сэкономите.
https://aws.amazon.com/ec2/dedicated-hosts/pricing/
Итак. инстанс EC2 M4 на два сокета зионов (24 ядра) и что-то вроде 256 Гб оперативы без накопителей стоит примерно 2.5$/час, или 1800 в месяц. Амазон тут же предлагает нам «сэкономить», заплатив 1100$ за выделенный экземпляр. Будем ориентироваться на последнюю цифру, ведь облако — это дёшево и выгодно, это все знают.
Открываем хецнер:
https://www.hetzner.com/dedicated-rootserver/matrix-px
Ближайший аналог — 18-ядерный зион, 128 Гб оперативы, тоже без накопителя (покупается отдельно). Цена — $160. Даже если прикинуть, что тебе понадобится два таких — цена $320, или в три с половиной раза ниже, чем AWS.
Может быть я просто выбрал AWS, как самый дорогой хостинг на планете? Берем цифровой океан:
https://www.digitalocean.com/pricing
40 потоков. 160 Гб оперативы, но с SSD накопителями на целых 500 Гб — $1200/месяц. Но это все-таки on-demand, платишь за часы. То есть, пользуясь инстансом 8 часов из 24, ты получаешь итоговую цену... $400.
«Но мы же... только когда пользуемся... не переплачиваем...» — слышится затихающий голос, осознающий, что облако дешевле только в одном случае — если ты используешь инстанс 1-2 часа в день. И в таком сценарии даже я скажу «конечно, идите на облако, вам не нужен выделенный сервер». Но 8 часов в день — это полностью загруженный сервер, и цены нам об этом явно говорят. Точка.
Ещё куча сэкономится за счёт того, что утилизация серверов по памяти в среднем на 30-40%, а по CPU по-моему вообще процентов на 5-10
У вас неправильная конфигурация сервера. Нужно найти хостинг с большим объемом оперативы — жаба любит кушать память. У хецнера дедик зион на 6 ядер и 128 Гб опертивы стоит 75$/месяц.
Кстати недавно один сервис перевели на облачное хранение файлов вместо БД, вот прям залетал сразу сервис, оказывается облако отдаёт файлы в сто раз быстрей, чем кривой скрипт на ноде выковыривает их из постгреса, кто бы мог подумать
Очень странная история. Я подозреваю, что кривой скрипт на ноде работал со строгой согласованностью и прочими ACID прелестями так, будто эти файлы были банковскими транзакциями. Уже есть опенсорсные облакоподобные хранилища, тоже с гарантиями отказойстойчивости. Напоминаю, что «необлачные» файловые системы у самого амазона стоят космических денег.
К слову, у меня на уровне идеи в медленной разработке находится идея универсальной БД с гибкими гарантиями согласованности — я снова и снова прихожу к тому, что какая-то такая штука по-хорошему когда-то должна заменить все облака. То есть, храни почти чо хочешь, есть резервирование-кэширование-распределенность по желанию. Можно грабить корованы
А с кубером я мечтаю о том, чтобы у трёх хостеров купить по паре впсок и оно даже при проблемах у одного хостера работало нормально. Но даже без трёх хостеров тупо на кучке впсок отказоустойчивость будет более, чем достаточная, чем сейчас
Мечтай. Каким образом тяп-ляп написанный сервис должен по взмаху волшебной палочки стать распределенным и отказоустойчивым? Вы его таким проектировали/реализовывали? Тестировали отказоустойчивость? Минимизировали трафик между датацентрами? Вот если бы вы реально попробовали «это» реализовать, то через пять лет с большой вероятностью получили бы еле ползающую и дико жрущую деньги хрень — типовые такие показатели для среднего современного стартапа.
Масштабируемость. Была такая проблема несколько недель назад. Возник всплеск потребления всего в 5 раз. Ну чё, тупо оператива закончилась и гг
Мне кажется, что ваша проблема проще, чем ты ее описал. У «высоконагруженных» систем, написанных «на отлюбись», есть склонность под большой нагрузкой лавинообразно заваливаться. То есть, 5 раз — это то, что ты якобы зафиксировал, но если бы памяти было «достаточно», то могло выясниться, что на самом деле нагрузка была 10-кратная. Потому что ось при исчерпании памяти начинает сливать кэши, это тормозит обработку запросов, запросов становится больше, потребление памяти увеличивается.
Эту проблему неэффективно закидывать железом — лучше всего выстраивать в очередь клиентов, которые в истерике лупят по рефрешу. То есть, обрабатывать столько, сколько можешь, не залезая в свап. Таким образом запросы быстрее обработаются и высвободят память, а там, гляди, и выяснится, что задержку от этой очереди никто не заметил.
Короче говоря, вместо того, чтобы храбро посмотреть проблемам в глаза и решить их, ты скатываешься в «хорошо там, где нас нет». Мол «есть вот индустрия, у нее всё масштабируется, и не падает, и разрабатывается быстро, агильно, а наши кулибины до сих пор свой один сервер ковыряют». Где эта индустрия, у которой все работает? Я вижу, что нихера не работает, всё тормозит, периодически не работает, и при этом стоит сумасшедших денег.