LINUX.ORG.RU

Apache Kafka 1.0

 ,


1

2

1 ноября вышла версия 1.0 Apache Kafka — распределённого программного брокера сообщений с открытым исходным кодом, написанного на Scala, от Apache Software Foundation.

Изменения:

  • Улучшены streams API, позволяющие упростить отладку и код клиентов.
  • Добавлены новые метрики, призванные облегчить мониторинг состояния элементов системы; улучшены старые.
  • Добавлена поддержка Java 9.
  • Улучшена обработка ошибок при SASL-аутентификации. Раньше некоторые условия возникновения ошибок аутентификации были неотличимы от ошибок брокера.
  • Реализовано сохранение частичной функциональности при отказе дисков. Раньше отказ диска приводил к полной остановке брокера.
  • Внесены изменения, позволяющие повысить производительность при использовании idempotent producer.

>>> Подробности

Kafka это в честь писателя?

karton1 ★★★ ()

мы рождены чтоб вапорware фреймворки жаву и воровские лицензии Зделать былью

mos ★★★★★ ()
Ответ на: комментарий от karton1

нет просто горячая кафка, трудно с полным ртом то

anonymous ()

это клон rabbitmq или чего-то такого?

anonymous ()
Ответ на: комментарий от anonymous

Нет, это распределённая очередь сообщений на файлах :)

anonymous ()
Ответ на: комментарий от anonymous

Нет, это распределённая очередь сообщений на файлах :)

потому что на SCALA не написать ничего нормально scalable(отличный каламбур, ящитаю)

anonymous ()
Ответ на: комментарий от mos

Ты вообще в курсе как называются компоненты хадуповской экосистемы?
Там все такое: Узи, Пиг, Скуп, Кафка, и т.д. Я могу долго продолжать. У ребят какой-то веселый нейминг-конвеншн.

sphericalhorse ★★★ ()
Последнее исправление: sphericalhorse (всего исправлений: 2)

Уже шутили про возможные названия релизов: «Грефневая», «Пфонная»,... ?

alt-x ★★★★★ ()
Последнее исправление: alt-x (всего исправлений: 1)
Ответ на: комментарий от anonymous

похоже, но не есть один нюанс.

сообщения в топиках иммутабельны, а сами топики append-only.

на консаминге по топику выполняется только чтение, на запись приходится трекать только смещение очередного консамера (группы) по топику.

на практике это означает, что на конкретный топик можно натравить громадное количество консамеров, каждый из которых будет делать что-то своё и не мешать остальным.

это очень удобно для каппа-архитектуры, когда в топик складывают громадный поток событий (юзерские события например), а потом ворохом специализированных консамеров генерят нужные отражения.

профит в том, что если в консамере поменялась бизнес-логика, новое полноценное отражение можно построить просто натравив такого консамера на топик заново.

VladimirMalyk ★★★★ ()
Ответ на: комментарий от alt-x

Уже шутили про возможные названия релизов: «Грефневая», «Пфонная»,... ?

нет, ты первый так мощно пошутил, тебе нужно спасти КВН, оставь свои контакты, я позвоню

anonymous ()
Ответ на: комментарий от VladimirMalyk

сообщения в топиках иммутабельны, а сами топики append-only.

щас придет шаман000 и покажет тебе кто тут петух иммутабельный

anonymous ()
Ответ на: комментарий от VladimirMalyk

это очень удобно для каппа-архитектуры, когда в топик складывают громадный
поток событий (юзерские события например), а потом ворохом
специализированных консамеров генерят нужные отражения.

такая возможность для чего-нибудь кроме статистики нужна?

Joe_Bishop ()

Мы рождены, чтоб Кафку сделать былью?

А, уже пошутили. Окей.

hobbit ★★★★★ ()

Плачем, но пользуемся

Почему нет менее жручего аналога на человеческом языке?

anonymous ()
Ответ на: комментарий от anonymous

Ты так говоришь будто это что-то плохое :)

Reset ★★★★★ ()
Ответ на: комментарий от anonymous

Они кстати уже наполовину её переписали на java

Reset ★★★★★ ()

Кстати на java 9 я не осилил её собрать — gradle рушится

Reset ★★★★★ ()

Кафка последний год развивается семимильными шагами. Уже почти от всех костылей построенных над кафкой можно избавляться, что не может не радовать.

Reset ★★★★★ ()
Ответ на: комментарий от karton1

Оно конечно писатель был хороший, но софт с таким названием пробовать минимум страшно. Лучше на сто километров не подходить.

dmxrand ()

Любить - значит страдать. Чтобы не страдать, надо не любить. Но тогда будешь страдать от того, что не любишь. Поэтому, любить — значит - страдать. Но не любить - тоже значит страдать. А страдать - значит страдать. Чтобы быть счастливым, нужно любить, значит надо страдать, но страдание делает человека несчастным, поэтому чтобы быть несчастным, нужно любить, или любить, чтобы страдать или страдать от избытка счастья.

w1nner ★★★★★ ()
Ответ на: комментарий от anonymous

Не, не клон. Кафка умеет только direct exchange ребита. Она значительно быстрее за счет в т.ч. отсутствия подтверждений получения клиентом сообщений и блабла. Годный в общем продукт, да и HA и шардинг есть.

ipeacocks ★★★★★ ()
Последнее исправление: ipeacocks (всего исправлений: 1)

Ждём новую версию confluent platform

Fist ()
Ответ на: Re: Плачем, но пользуемся от anonymous

Re: Плачем, но пользуемся

Оу, не знал про Jocko, спасибо. Как допилят репликацию и consumer groups, заценим.

anonymous ()

а как устроен(а) скала ?
это компилятор или требует установки виртуальной машины ?

kto_tama ★★★★★ ()
Ответ на: комментарий от godlike

https://issues.apache.org/jira/browse/KAFKA-6185

На жабке утекает память. Какая прелесть! Боюсь представить, что эти люди набыдлокодили бы на каких-нибудь крестах... Хотя погодите... Apache Xerces. К счастью, оно вроде бы больше не шевелится.

kawaii_neko ★★★ ()
Ответ на: комментарий от VladimirMalyk

consumer читается как [kənˈsjuːmə], а не [kənˈsʌmə].

GFORGX ★★☆ ()
Ответ на: комментарий от Joe_Bishop

аналитика это самое ходовое применение, из тех что я слышал.
опять же, хорошая аналитика это добрая треть, если даже не половина любого продуктового бизнеса.

VladimirMalyk ★★★★ ()
Ответ на: комментарий от anonymous

да, строго говоря у топиков кафки не полная иммутабельность, тк доступны различные стратегии компакта логов. но ваниль всё же append-only лог который предлагается перечитывать до посинения.

VladimirMalyk ★★★★ ()
Ответ на: комментарий от VladimirMalyk

аналитика это самое ходовое применение, из тех что я слышал.

но тогда это довольно бессмысленный юзкейс получается: гораздо дешевле свалить данные в кликхаус

Joe_Bishop ()
Ответ на: комментарий от Joe_Bishop

кафка про другое.

прежеде, чем свалить данные в кликхаус (или любое другое колоночное хранилище), их нужно подготовить.

это происходит в тч. с урезанием сырой информации в схему, удобную для OLAP-обработки.

и если через полгода выяснится, что схема неполная либо наполнялась с ошибками — наполнить новую схему историческими данными уже не получится.

один из кейсов для кафки — пустить в топик сырых данных новую группу потребителей, которые спокойно навалят данных в новую схему. а потом ещё и продолжат доливать новые порции в реальном времени.

VladimirMalyk ★★★★ ()
Последнее исправление: VladimirMalyk (всего исправлений: 1)
Ответ на: комментарий от Joe_Bishop

собственно, кафка как раз и есть log database: «massively scalable pub/sub message queue architected as a distributed transaction log».

но это много больше чем традиционные логи — это возможность строить БД и процессы непосредственно на логах, в широком смысле.

например, лог операций (поток репликации) уже давно применяется в традиционных бд для репликации с мастера на слейвы.

что предлагают попробовать с кафкой — это поставить поток репликации (лог операций) во главу угла и работать непосредственно с ним.

это ещё называют «database inside out», и это решает некоторые проблемы, с которыми приходится мириться в традиционных БД:
https://www.youtube.com/watch?v=fU9hR3kiOK0

VladimirMalyk ★★★★ ()
Ответ на: комментарий от VladimirMalyk

собственно, кафка как раз и есть log database: «massively scalable pub/sub message queue architected as a distributed transaction log».

а вычищать устаревшее она умеет? ну допустим после месяца или N сообщений (не строго)

а то приходилось городить подобное на файловых append-only очередях

subwoofer ★★★★★ ()
Ответ на: комментарий от subwoofer

изкоробочная классика — отрезать хвост лога по к-ву сообщений, объему занятого топиком места, временным меткам сообщений.

но есть и более продвинутые стратегии компакта — удаление дублей, удаление отдельных сообщений. но тут уже придётся пожертвовать быстродействием.

VladimirMalyk ★★★★ ()
Ответ на: комментарий от VladimirMalyk

понятно, надо будет глянуть, а то искал в свое время и не нашел, пришлось своё делать

subwoofer ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.