eBay присоединился к Open Source-сообществу с быстрым OLAP-движком Kylin для Hadoop
12
Диаграмма архитектуры KylinИллюстрация с сайта Kylin.Io
Компания eBay до сих пор не вносила крупного вклада в свободное программное обеспечение, однако всё может измениться с открытием исходного кода движка аналитической онлайн-обработки данных (OLAP) — Kylin.
Разработка платформы началась после того, как в eBay не нашли готового решения для эффективной обработки быстрорастущих и разнообразных данных, генерируемых клиентами, — ситуация схожа со многими другими контрибьюторами в Hadoop. eBay назвал своё приложение «Kylin»: когда возможно, оно оптимизирует хранение информации за счёт существующих технологий (применяя компоненты из основной ветки экосистемы).
По умолчанию данные хранятся в Apache Hive, который выступает прослойкой для SQL-интерфейса, созданного поверх Hadoop. Когда Kylin сталкивается с повторами в строках и столбцах внутри подпроекта (например, один товар с разными ценами), он перекладывает данные в пару ключ-значение и заносит их в Apache Hive, который является компонентом, изначально задумывавшимся для нагрузок такого типа. Hive предоставляет случайный доступ к информации, чтобы избежать последовательного сканирования десятков и сотен миллиардов строк, когда работники ищут определённую бизнес-деталь.
Эта технология значительно сокращает затраты времени: eBay утверждает, что она позволяет обрабатывать определённые запросы быстрее секунды, и это делает аналитику по-настоящему интерактивной. Помимо высокой производительности, Kylin предоставляет дополнительные возможности вроде интеграции с популярными системами бизнес-аналитики (например, Tableau), популярными платформами виртуализации данных, сжатия и мониторинга.
Kylin может показаться не таким инновационным, как другие недавние проекты, связанные с Hadoop. Однако он закрывает серьёзную «боль» предприятий, что в итоге позволит увеличить количество внедрений экосистемы на предприятиях в целом. Сайт проекта — www.kylin.io.
Постоянная ссылка к новости: http://www.nixp.ru/news/12894.html. Никита Лялин по материалам Siliconangle.Com.
© nixp
