LINUX.ORG.RU

Kafka + Go

 ,


0

2

Привет.

Какая билиотека на Go позволяет использовать весь функционал кафки? Допустим, хочу коллбэк об ошибке при асинхронной отправке сообщения.

Если такой нет, то какой выход? Цепляться к сишной библиотеке?

Ответ на: комментарий от lochness

Задачи типа принимать непрерывно данные от 100к девайсов, отправлять дальше чтобы посчитать всякую агрегацию типа среднее, среднее среди всех участников, разные отклонения, рейтинг, и агрегированные данные непрерывно отправлять обратно на девайсы. Продюсеры и консюмеры балансировались,т.к. очень важна была низкая latency, чтобы к примеру девайс отправил свой heart rate и максимум через секунду у него была инфа что он на каком-то там месте по этому показателю. Сама Kafka с такой нагрузкой справляется как два пальца, главное позаботиться чтобы сеть могла пропускать тот объём который надо.

slyjoeh ★★★ ()
Ответ на: комментарий от lochness

не, асинхронная отправка увеличивала latency, пришлось отказаться. Kafka, продюсеры, консюмеры, как собственно и весь проект хостилось на AWS, и проблем с доставкой не возникало, ну мы и не заморачивались. Сейчас там уже вроде даже сервис у них появился Amazon MSK, чтобы в два клика кластер с кафкой поднять, и на яндексе тоже в превью kafka есть.

slyjoeh ★★★ ()