Apache Spark как ядро проекта. Часть 2. Streaming, и на что мы напоролись
Комментарии (4)
16 июня 2017 в 08:20
0↑
↓
ну все таки в spark 2.х они выкатили совершенно другие api под стриминг и по хорошему надо именно на них надо тестировать. то что было в 1.6 у них не позиционируется как стриминг.
2ANikulin
16 июня 2017 в 08:20
0↑
↓
Я согласен что надо на новый спарк переходить. Но не соглашусь что 1.6 — не позицианировался как стриминг
madmis
16 июня 2017 в 08:28
0↑
↓
У нас в конторе как message broker используют AWS Kinesis.
Сначала на php пилили под него консьюмера (паблишер на Scala написан), получилось черти что. Потом ребята на Scala перепилили.
Я вот только до сих пор понять не могу, зачем для обычных сообщений (json), где немного данных, был выбран Kinesis с которым заморочек немерянно (или я просто его совсем не понял).Может кто-то статью про Kinesis напишет?
О том для чего его стоит использовать, для чего не стоит. Его плюсы и минусы. Ну и личный опыт.
Было бы очень интересно почитать.-
2ANikulin
16 июня 2017 в 08:30
0↑
↓
Попробуйте сами разобраться с Kinesis на досуге. Потыкайте его палочкой, а потом статейку напишете. Получите сразу +100500 опыта и почета))
