Spark

0
Ваша оценка: Нет

Фреймворк для обработки и анализа больших объёмов информации.

Apache Spark относится к числу наиболее приоритетных в Apache Software Foundation (ASF). Версия 1.0 предлагает стабильное API (с обратной совместимостью в ветке 1.x), новый Spark SQL для доступа к структурированным данным, а также интеграцию с другим ПО от ASF: Hadoop YARN, Hive и Mesos.

В дополнение к долгосрочной поддержке API данный выпуск содержит несколько новых возможностей.

Spark 1.0 включает унифицированный инструмент для развёртывания приложений на локальном компьютере через Mesos или YARN, а также на выделенном кластере. Добавлен новый модуль Spark SQL для обеспечения моделирования данных с учетом схемы (schema-aware) и поддержки языка SQL в Spark. Библиотека машинного обучения Spark (MLLib) была улучшена путём добавления нескольких новых алгоритмов. Библиотеки потоков и графов также получили значительные обновления.

Созданы инструменты для расширения возможностей учёных, занимающихся изучением больших данных, людей, занимающихся статистикой и инженеров, сталкивающихся с необходимостью обрабатывать большие объёмы данных каждый день.

Сайт разработчика: http://spark.apache.org/


Разместил: vikos 31 Май 2014 в 19:45