LINUX.ORG.RU

Помогите найти общедоступный Kafka - брокер.

 


1

2

Здравствуйте.

Осваиваю Kafka и хочу потренироваться с реально работающим брокером. Сейчас мне нужно научиться работать с брокером только в качестве consumer.

Я не хочу деплоить кластер, придумывать схему message, настраивать topics и админить весь этот зоопарк.

У меня возникла идея: найти в публичном доступе открытые информационные системы, которые предоставляют данные всем желающим через Kafka. Например, сервер сообщества астрономов-любителей, который льёт какие-то астрономические данные в паблик. Найти такие публичные Kafka-брокеры мне не удалось.

Вопросы.

  1. Есть ли в природе такие общедоступные Kafka-брокеры? Дайте, пожалуйста, линк.
  2. Как вы практиковались с Kafka?
  3. Существуют ли готовые тестовые автономные Kafka-брокеры с producer, который генерирует поток данных? Например, связка Генератор + Producer + Kafka и всё это в докере.

PS. Прошу не предлагать писать свой producer. Я напишу свой producer и свой consumer и у меня всё будет работать, а с чужим producer могут всплыть проблемы. Поэтому, сразу ищу сторонний producer.

Что-то я сильно сомневаюсь, что такое вообще можно найти. Только если кто-то знакомый в свою песочницу пустит.

Даже если накрутить acl (что далеко не обычная практика) - анонимные пользователи устроят веселуху с оффсетами и группами.

Ваша проблема - в непонимании как вообще работает Kafka. Это mq, а значит и consumer, и producer работают с брокером, а не друг с другом напрямую.

whoisyou ()
Последнее исправление: whoisyou (всего исправлений: 1)

PS. Прошу не предлагать писать свой producer. Я напишу свой producer и свой consumer и у меня всё будет работать, а с чужим producer могут всплыть проблемы. Поэтому, сразу ищу сторонний producer.

ты вообще знаешь, зачем нужен брокер?

calaki ()

Я напишу свой producer и свой consumer и у меня всё будет работать, а с чужим producer могут всплыть проблемы.

С чужим producer проблем не возникнет по двум причинам.

  1. Допустим Кафка всасывает данные с двух producer, твоего и чужого. Что может пойти не так, что consumer сможет высосать данные одного, но не сможет другого?
  2. Кафка должна использоваться во внутренних сетях, то есть «чужого» producer тут просто не будет.
filosofia ()
Ответ на: комментарий от filosofia

Допустим Кафка всасывает данные с двух producer, твоего и >чужого. Что может пойти не так, что consumer сможет высосать >данные одного, но не сможет другого?

Я не знаю что может пойти не так. Поэтому и хочу практики.

Кафка должна использоваться во внутренних сетях, то есть >«чужого» producer тут просто не будет.

Где сказано что Kafka что-то «должна»?

tootsoon ()

Эк тебя торкнуло то!

Идёшь на https://www.shodan.io/ и ищешь незащищённые брокеры с открытым дефолтным портом. Можешь ещё потренироваться с rtsp потоками с ip-камер в спальнях и базами монго.

cocucka ★★★★★ ()
Ответ на: комментарий от whoisyou

Что-то я сильно сомневаюсь, что такое вообще можно найти. Только если кто-то знакомый в свою песочницу пустит.

Вот именно такую песочницу и ищу.

Ваша проблема - в непонимании как вообще работает Kafka. Это mq, а значит и consumer, и producer работают с брокером, а не друг с другом напрямую.

Это я понимаю. Я не хочу деплоить кластер, придумывать схему message, настраивать topics и админить весь этот зоопарк.

tootsoon ()

Куфая кафку я читаю Кафку прямо из кафки.

anonymous ()
Ответ на: комментарий от tootsoon

твой consumer должен зависеть от producer'а только в той части, которая определена контрактом и которая необходима для того, чтобы он мог понять сообщение. технически же consumer общается с брокером и для того, чтобы подключиться и читать ему нет никакой необходимости знать о том, что происходит внутри producer'а

calaki ()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.