Кластерные системы

Apache Falcon

Pешение по обработке и управлению данными для другого проекта Apache — Hadoop.

Apache Mahout

Apache Mahout представляет собой реализацию большого количества алгоритмов машинного обучения: кластеризацию, классификацию, фильтрацию и т.п. Основные алгоритмы разработаны с применением парадигмы map/reduce и применяются для обработки и анализа больших объемов данных на платформе Hadoop.

Apache Mesos

Apache Mesos сочетает в себе функции системы обеспечения совместного доступа к ресурсам кластера, оркестровки контейнеров и распределённого ядра для организации выполнения заданий на группе узлов.

Beowulf

Кластером называют группу независимых компьютеров, объединенных в одну систему с помощью сетевых средств и специального программного обеспечения. Beowulf Clusters - это масштабируемый кластер, строящийся из обычных компьютеров и выделенной частной сети на основе открытого программного обеспечения (Linux).

BOINC

BOINC (Berkeley Open Infrastructure for Network Computing) — свободная (лицензия LGPL) программная платформа для организации распределённых вычислений, разработанная университетом Беркли.

Calamari

Визуализация данных кластера и система для настройки и анализа Ceph-кластера.

CGRU

Свободный пакет, в состав которого входит диспетчер сетевых вычислений «Афанасий» и набор сценариев. Поддерживает Blender, Nuke, Houdini и Maya. Управляется через веб-интерфейс.

Condor

Система Condor распределяет независимые подзадачи по существующей в организации сети рабочих станций, заставляя компьютеры работать в свободное время (то есть в то время, когда они простаивали бы без своих пользователей).

DRBD (Distributed Replicated Block Device)

Distributed Replicated Block Device (DRBD) - Open Source-продукт, предназначенный для создания отказоустойчивых систем на базе распределённых по сети блочных устройств.

DrQueue

DrQueue - мощный менеджер для фермы распределенных вычислений с открытым исходным кодом. Он используется для графических, научных, инженерных и даже финансовых вычислений.

Eucalyptus

Eucalyptus представляет собой инфраструктуру для реализации модели облачных вычислений уровня IAAS (Infrastructure As A Service), к особенностям которого можно отнести совместимость интерфейса управления с Amazon EC2 и простоту развертывания и конфигурирования.

Farmerjoe

FarmerJoe - очень простая в настройке и поэтому популярная система распределенного рендеринга для Blender.

Ganeti

Ganeti — система управления виртуальными машинами на кластере физических серверов, построенном на основе систем виртуализации Xen или KVM. Использует DRBD для организации отказоустойчивых кластеров. Знает про живую миграцию (для KVM, начиная с Ganeti 2.0) и умеет ею пользоваться.

Globus Toolkit

Globus Toolkit - набор программного обеспечения и служб, созданный партнерством Globus Alliance. Является базисом для построения грид и приложений для него.

GlusterFS

Pаспределённая, параллельная, линейно масштабируемая файловая система с возможностью защиты от сбоев.

HPCC (High Performance Computing Cluster)

HPCC (High Performance Computing Cluster) - система, предназначенная для создания кластеров для обработки большого объема данных (петабайты).

Kubernetes

Kubernetes представляет собой программу Google на базе свободного кода, позволяющую управлять кластером Linux-контейнеров как одной системой. Хотя технологии контейнеров, например Docker, дают вам возможность создавать контейнеры и управлять ими, Kubernetes позволяет оркестровать кластеры контейнеров и виртуальных машин и управлять такими кластерами.

Linux Cluster Management Console (LCMC)

LCMC - это графическое приложение на Java, с помощью которого можно конфигурировать, управлять и визуализировать поведение высоко-нагруженных кластеров.

Loki Render

Loki Render - это кросплатформенный менеджер очереди работ для рендеринга 3D-фреймов. Обычно называемый "рендер-ферма" или "сеть распределенного рендеринга" он рассылает задания ренедринга по группе компьютеров.

Makeflow

Makeflow - это система управления (движок) для выполнения большого числа сложных приложений на кластерах, в "облаках" и "решетках" (grids).