Исправление Joe_Bishop, (текущая версия) :
О, мамкин обрабатыватель данных подтянулся.
Мальчик, в реальности обработка данных представляет собою конвейер:
Обработка данных из источников → Кладём куда нужноИ только потом уже считаем что нужно используя то, куда положили.
И основное время занимает организация доступа к данным источников и к их первичной обработке, а вовсе не подсчёт конечных метрик. Который, к тому же, гораздо проще делать с использованием какого-нибудь SQL, если оный поддерживается там, куда мы сливали обработанные данные (Clickhouse, Vertica, какой-нибудь Spark или Hive для любителей вёдер с болтам).
Go как раз очень хорошо подходит для первичной обработки.
Исправление Joe_Bishop, :
О, мамкин обрабатыватель данных подтянулся.
Мальчик, в реальности обработка данных представляет собою конвейер:
Обработка данных из их источников → Кладём куда нужноИ только потом уже считаем что нужно используя то, куда положили.
И основное время занимает организация доступа к данным источников и к их первичной обработке, а вовсе не подсчёт конечных метрик. Который, к тому же, гораздо проще делать с использованием какого-нибудь SQL, если оный поддерживается там, куда мы сливали обработанные данные (Clickhouse, Vertica, какой-нибудь Spark или Hive для любителей вёдер с болтам).
Go как раз очень хорошо подходит для первичной обработки.
Исходная версия Joe_Bishop, :
О, мамкин обрабатывать данных подтянулся.
Мальчик, в реальности обработка данных представляет собою конвейер:
Обработка данных из их источников → Кладём куда нужноИ только потом уже считаем что нужно используя то, куда положили.
И основное время занимает организация доступа к данным источников и к их первичной обработке, а вовсе не подсчёт конечных метрик. Который, к тому же, гораздо проще делать с использованием какого-нибудь SQL, если оный поддерживается там, куда мы сливали обработанные данные (Clickhouse, Vertica, какой-нибудь Spark или Hive для любителей вёдер с болтам).
Go как раз очень хорошо подходит для первичной обработки.