Изучаем Storm Framework. Часть I
В 2011 году Twitter открыл, под лицензией Eclipse Public License, проект распределенных вычислений Storm. Storm был создан в компании BackType и перешел к Twitter после покупки. Storm это система ориентированная на распределенную обработку больших потоков данных, аналогичная Apache Hadoop, но в реальном времени. Ключевые особенности Storm: Масштабируемость. Задачи обработки распределяются по узлам кластера и потокам на каждом узле. Гарантированная защита от потери данных. Простота развертывания и спровождения. Восстановление после сбоев. Если какой либо из обработчиков отказывает, задачи переадресуются на другие обработчики. Возможность написания компонентов не только на Java. Простой Multilang protocol с использованием JSON объектов. Есть готовые адаптеры для языков Python, Ruby и Fancy. В первой части рассматриваются базовые понятия и основы создания приложения c использованием Storm версии 0.8.2.Читать дальше →
