Anthropic уменьшил время запуска продакшена с минут до субсекунд с помощью многоуровневой иерархии репликации кэша. nix-sidecar — инструмент для замены Docker, заменяющий медленные извлечения образов высокопараллельными нативными загрузками Nix, кэшируемыми на каждом узле.
Предыстория такова: Anthropic довел модель контейнеров до предела, используя в производстве образы размером 25 ГБ и более. Команда постоянно сталкивались с неизбежными узкими местами в рабочих процессах контейнеров: задержками последовательных извлечений, накладными расходами на развертывание больших контейнерных артефактов и т. д.
Поэтому они приняли решение полностью перейти на Nix, создав специальный инструмент под названием nix-sidecar, который взял на себя роль Docker в их рабочем процессе.
Теперь Anthropic полагается на Nix для определения, построения и распространения своих сред выполнения в виде замыканий, при этом nix-sidecar извлекает необходимые пути хранения непосредственно из многоуровневой иерархии реплицированного бинарного кэша. Это позволяет полностью избежать узких мест, присущих извлечению и распаковке больших контейнерных образов.
Anthropic по-прежнему полагается на Kubernetes для оркестрации производственных рабочих нагрузок, но использует nix-sidecar для предоставления необходимых закрытий непосредственно на узлах Kubernetes, чтобы их можно было смонтировать в поды или получить к ним доступ. Другими словами, вместо того, чтобы полагаться на среду выполнения контейнеров (такую как Docker или containerd) для извлечения и распаковки образа, рабочие нагрузки внутри поды выполняются с использованием закрытий, предоставленных nix-sidecar.
https://flox.dev/blog/gonna-be-at-scale-22x-beam-onto-planet-nix/
P.S. перевел через DeepL, ибо вручную лень.
