LINUX.ORG.RU

Apache Kafka 1.0

 ,


1

3

1 ноября вышла версия 1.0 Apache Kafka — распределённого программного брокера сообщений с открытым исходным кодом, написанного на Scala, от Apache Software Foundation.

Изменения:

  • Улучшены streams API, позволяющие упростить отладку и код клиентов.
  • Добавлены новые метрики, призванные облегчить мониторинг состояния элементов системы; улучшены старые.
  • Добавлена поддержка Java 9.
  • Улучшена обработка ошибок при SASL-аутентификации. Раньше некоторые условия возникновения ошибок аутентификации были неотличимы от ошибок брокера.
  • Реализовано сохранение частичной функциональности при отказе дисков. Раньше отказ диска приводил к полной остановке брокера.
  • Внесены изменения, позволяющие повысить производительность при использовании idempotent producer.

>>> Подробности

Ответ на: комментарий от anonymous

Нет, это распределённая очередь сообщений на файлах :)

потому что на SCALA не написать ничего нормально scalable(отличный каламбур, ящитаю)

anonymous ()
Ответ на: комментарий от mos

Ты вообще в курсе как называются компоненты хадуповской экосистемы?
Там все такое: Узи, Пиг, Скуп, Кафка, и т.д. Я могу долго продолжать. У ребят какой-то веселый нейминг-конвеншн.

sphericalhorse ★★★ ()
Последнее исправление: sphericalhorse (всего исправлений: 2)
Ответ на: комментарий от anonymous

похоже, но не есть один нюанс.

сообщения в топиках иммутабельны, а сами топики append-only.

на консаминге по топику выполняется только чтение, на запись приходится трекать только смещение очередного консамера (группы) по топику.

на практике это означает, что на конкретный топик можно натравить громадное количество консамеров, каждый из которых будет делать что-то своё и не мешать остальным.

это очень удобно для каппа-архитектуры, когда в топик складывают громадный поток событий (юзерские события например), а потом ворохом специализированных консамеров генерят нужные отражения.

профит в том, что если в консамере поменялась бизнес-логика, новое полноценное отражение можно построить просто натравив такого консамера на топик заново.

VladimirMalyk ★★★★ ()
Ответ на: комментарий от alt-x

Уже шутили про возможные названия релизов: «Грефневая», «Пфонная»,... ?

нет, ты первый так мощно пошутил, тебе нужно спасти КВН, оставь свои контакты, я позвоню

anonymous ()
Ответ на: комментарий от VladimirMalyk

это очень удобно для каппа-архитектуры, когда в топик складывают громадный
поток событий (юзерские события например), а потом ворохом
специализированных консамеров генерят нужные отражения.

такая возможность для чего-нибудь кроме статистики нужна?

Joe_Bishop ()

Кафка последний год развивается семимильными шагами. Уже почти от всех костылей построенных над кафкой можно избавляться, что не может не радовать.

Reset ★★★★★ ()

Любить - значит страдать. Чтобы не страдать, надо не любить. Но тогда будешь страдать от того, что не любишь. Поэтому, любить — значит - страдать. Но не любить - тоже значит страдать. А страдать - значит страдать. Чтобы быть счастливым, нужно любить, значит надо страдать, но страдание делает человека несчастным, поэтому чтобы быть несчастным, нужно любить, или любить, чтобы страдать или страдать от избытка счастья.

w1nner ★★★★★ ()
Ответ на: комментарий от anonymous

Не, не клон. Кафка умеет только direct exchange ребита. Она значительно быстрее за счет в т.ч. отсутствия подтверждений получения клиентом сообщений и блабла. Годный в общем продукт, да и HA и шардинг есть.

ipeacocks ★★★★★ ()
Последнее исправление: ipeacocks (всего исправлений: 1)
Ответ на: комментарий от godlike

https://issues.apache.org/jira/browse/KAFKA-6185

На жабке утекает память. Какая прелесть! Боюсь представить, что эти люди набыдлокодили бы на каких-нибудь крестах... Хотя погодите... Apache Xerces. К счастью, оно вроде бы больше не шевелится.

kawaii_neko ★★ ()
Ответ на: комментарий от anonymous

да, строго говоря у топиков кафки не полная иммутабельность, тк доступны различные стратегии компакта логов. но ваниль всё же append-only лог который предлагается перечитывать до посинения.

VladimirMalyk ★★★★ ()
Ответ на: комментарий от VladimirMalyk

аналитика это самое ходовое применение, из тех что я слышал.

но тогда это довольно бессмысленный юзкейс получается: гораздо дешевле свалить данные в кликхаус

Joe_Bishop ()
Ответ на: комментарий от Joe_Bishop

кафка про другое.

прежеде, чем свалить данные в кликхаус (или любое другое колоночное хранилище), их нужно подготовить.

это происходит в тч. с урезанием сырой информации в схему, удобную для OLAP-обработки.

и если через полгода выяснится, что схема неполная либо наполнялась с ошибками — наполнить новую схему историческими данными уже не получится.

один из кейсов для кафки — пустить в топик сырых данных новую группу потребителей, которые спокойно навалят данных в новую схему. а потом ещё и продолжат доливать новые порции в реальном времени.

VladimirMalyk ★★★★ ()
Последнее исправление: VladimirMalyk (всего исправлений: 1)
Ответ на: комментарий от Joe_Bishop

собственно, кафка как раз и есть log database: «massively scalable pub/sub message queue architected as a distributed transaction log».

но это много больше чем традиционные логи — это возможность строить БД и процессы непосредственно на логах, в широком смысле.

например, лог операций (поток репликации) уже давно применяется в традиционных бд для репликации с мастера на слейвы.

что предлагают попробовать с кафкой — это поставить поток репликации (лог операций) во главу угла и работать непосредственно с ним.

это ещё называют «database inside out», и это решает некоторые проблемы, с которыми приходится мириться в традиционных БД:
https://www.youtube.com/watch?v=fU9hR3kiOK0

VladimirMalyk ★★★★ ()
Ответ на: комментарий от VladimirMalyk

собственно, кафка как раз и есть log database: «massively scalable pub/sub message queue architected as a distributed transaction log».

а вычищать устаревшее она умеет? ну допустим после месяца или N сообщений (не строго)

а то приходилось городить подобное на файловых append-only очередях

subwoofer ★★★★★ ()
Ответ на: комментарий от subwoofer

изкоробочная классика — отрезать хвост лога по к-ву сообщений, объему занятого топиком места, временным меткам сообщений.

но есть и более продвинутые стратегии компакта — удаление дублей, удаление отдельных сообщений. но тут уже придётся пожертвовать быстродействием.

VladimirMalyk ★★★★ ()