Big Data в Райффайзенбанке

Комментарии (4)

  • 5 июля 2017 в 17:43

    +2

    Добрый день, спасибо за статью. Не могли бы вы пояснить вот что. Корни бренда «Райффайзенбанк» исходят, если я не ошибаюсь, из Австрии. В связи с этим не вполне ясно, в какой мере российское отделение связано с австрийским?


    И, как следствие, описанное в статье относится исключительно к российскому отделению банка, или ко всей полноте, независимо от страны?

    • 5 июля 2017 в 18:55

      0

      Добрый день!
      АО «Райффайзенбанк» является российским акционерным обществом, зарегистрированным в России и действующим на территории России. При этом наш единственный акционер — австрийский Raiiffeisen Bank International. Описанное в статье относится исключельно к российскому Райффайзенбанку.
  • 5 июля 2017 в 18:56

    0

    1. spark streeming 2.1 даже сами разработчики все еще позиционируют как экспериментальный, банку не страшно? были ли уже свои тесты под нагрузкой?
    2. входные данные AVRO, это json/avro, не paquet/avro? источники сами занимаются ETL в avro?
    3. для доступа используете Hive и Spark, а Hive с которым движком? Nez, MR, может тоже Spark?
    • 5 июля 2017 в 19:13 (комментарий был изменён)

      0

      Приветствую!
      1. Про Spark Streaming — да, мы пока в процессе вывода в прод, на тестах зарекомендовал себя хорошо. И цели, для которых мы используем Spark Streaming — realtime аналитика, это не настолько критичный сервис, чтобы было страшно;)
      2. Не совсем понял вопрос. Данные берем из реляционных баз данных, в AVRO преобразует Scoop.
      3. Для Hive используем Tez, т.к. он идет в поставке Hortonworks.

© Habrahabr.ru