Кластерные системы - Apache Mesos

Apache Mesos сочетает в себе функции системы обеспечения совместного доступа к ресурсам кластера, оркестровки контейнеров и распределённого ядра для организации выполнения заданий на группе узлов.

Изначально проект Mesos был разработан компанией Twitter и в 2010 году передан в руки фонда Apache. Кластеры на базе Mesos развёрнуты в таких компаниях, как Netflix, Samsung, Twitter, IBM, PayPal и Yelp.

Mesos позволяет работать с кластером как с единым набором ресурсов, абстрагируя процессоры, GPU, память, системы хранения и другие вычислительные ресурсы на физических серверах и виртуальных машинах. При выполнении распределённых приложений и фреймворков Mesos берёт на себя работу по динамическому распределению и изоляции имеющихся ресурсов. Поддерживается работа с такими фреймворками, как Hadoop, MPI, Hypertable и Spark, а также приложениями, работающими в условиях динамического разделения мощности доступных узлов кластера.

Mesos предоставляет практически линейную масштабируемость, позволяющую охватывать тысячи узлов. При помощи Zookeeper возможно создание отказоустойчивых конфигураций. Также можно отметить такие возможности, как применение обновлений без остановки, поддержка контейнеров с образами в форматах Docker и AppC, средства для изоляции ресурсов, поддержка запуска в одном кластере обычных и облачных приложений, подключение расширений через HTTP API, наличие web-интерфейса для управления и мониторинга, независимость от конкретных облачных сервисов.

Сайт разработчика: http://mesos.apache.org/
Что почитать?

• Apache Mesos и GPU