08 июня 2018

Google Cloud Composer


Google представил новый облачный сервис Google Cloud Composer для управления любым множеством слабо и сильно связанных задач.

Основой сервиса Google Cloud Composer является Apache Airflow (см. рис. ниже), который предоставляет возможность визуально создать граф зависимостей между любыми задачами и обеспечить их запуск по расписанию, с учётом зависимостей между ними.

При этом, отслеживаются все возможные ошибки выполнения задач и в случае их появления выбираются альтернативные маршруты для выполнения согласно вашего графа зависимостей.


Отличие реализации Google Cloud Composer состоит в том, что этот сервис полностью интегрирован в консоль разработчика Google, не требует установки ПО и имеет коннекторы ко всем сервисам Google, а также к множеству других облаков и просто внешних задач.

Для того, чтобы запустить Google Cloud Composer в консоли разработчика Google фактически достаточно сделать четыре действия (клика), а именно:
1) Открываем консоль разработчика  Google

2) Включаем сервис Google Cloud Composer
3) Создаём пустую корзину Google Storage
4) Создаём пустую среду Google Cloud Composer

Далее в среде Cloud Composer ресуем граф зависимостей между задачами по вкусу и отправляем его на выполнение в среде Google Cloud Platform.
Отправить комментарий