библиотека - Cloud Dataflow SDK для Java

Cloud Dataflow SDK для Java — инструмент, который упрощает разработчикам написание и интеграцию приложений с сервисом Cloud Dataflow компании Google для обработки больших массивов данных.

18 декабря 2014 г. Google предоставила сообществу разработчиков SDK под свободной лицензией для работы с Cloud Dataflow. Идея проекта — помочь разработчикам в переносе SDK на другие языки программирования и в другие окружения. «Повторное использование шаблонов программирования — ключевой фактор эффективности разработчика.

Cloud Dataflow SDK предоставляет единую модель групповой и потоковой обработки данных, которую разработчики могут использовать новыми способами», — пишет в блоге Сэм МакВити (Sam McVeety), программный инженер в Google.

В компании описывают Cloud Dataflow как технологию, которая строится на MapReduce и более современных Flume и MillWheel, каждая из которых используется внутри компании для анализа огромных хранилищ данных. В Google надеются, что благодаря Cloud Dataflow разработчики и компании получат аналогичные крупным компаниям возможности.

В Amazon строят сервис с аналогичной функциональностью, он получил имя Kinesis.

Исходный код SDK опубликован на GitHub на условиях второй редакции лицензии Apache.

Тип приложения: библиотека
Сайт разработчика: https://github.com/GoogleCloudPlatform/DataflowJavaSDK