Big Data в Райффайзенбанке
Комментарии (4)
5 июля 2017 в 17:43
+2↑
↓
Добрый день, спасибо за статью. Не могли бы вы пояснить вот что. Корни бренда «Райффайзенбанк» исходят, если я не ошибаюсь, из Австрии. В связи с этим не вполне ясно, в какой мере российское отделение связано с австрийским?
И, как следствие, описанное в статье относится исключительно к российскому отделению банка, или ко всей полноте, независимо от страны?
msetkin
5 июля 2017 в 18:55
0↑
↓
Добрый день!
АО «Райффайзенбанк» является российским акционерным обществом, зарегистрированным в России и действующим на территории России. При этом наш единственный акционер — австрийский Raiiffeisen Bank International. Описанное в статье относится исключельно к российскому Райффайзенбанку.
5 июля 2017 в 18:56
0↑
↓
1. spark streeming 2.1 даже сами разработчики все еще позиционируют как экспериментальный, банку не страшно? были ли уже свои тесты под нагрузкой?
2. входные данные AVRO, это json/avro, не paquet/avro? источники сами занимаются ETL в avro?
3. для доступа используете Hive и Spark, а Hive с которым движком? Nez, MR, может тоже Spark?-
msetkin
5 июля 2017 в 19:13 (комментарий был изменён)
0↑
↓
Приветствую!
1. Про Spark Streaming — да, мы пока в процессе вывода в прод, на тестах зарекомендовал себя хорошо. И цели, для которых мы используем Spark Streaming — realtime аналитика, это не настолько критичный сервис, чтобы было страшно;)
2. Не совсем понял вопрос. Данные берем из реляционных баз данных, в AVRO преобразует Scoop.
3. Для Hive используем Tez, т.к. он идет в поставке Hortonworks.
