-
Healthcheck для Apache Airflow в Kubernetes кластере
В одной из предыдущих статей мы довольно подробно рассматривали процесс развертывания Apache Airflow в Kubernetes кластере, особенностью которого был запуск веб-сервера и планировщика в одном docker-контейнере. В такой реализации довольно скоро я столкнулся с необходимостью использования кастомного хелсчека для проверки работоспособности сервиса - давайте разберемся!
-
Интеграция Apache Airflow и Slack для отправки уведомлений
Ранее мы уже рассматривали процесс развертывания Apache Airflow (далее Airflow) в кластере Kubernetes и запуск задач с помощью API. Как и обещал, в данной статье на конкретном примере я покажу как настроить отправку уведомлений о статусе задач Airflow в Slack. Давайте разберемся!
-
Apache Airflow: запуск Kubernetes Pod Operator через API
Ранее мы уже упоминали об Apache Airflow - инструменте для разработки, планирования и мониторинга batch-процессов обработки данных. В данной статье рассмотрим запуск Airflow-задач (Directed Acyclic Graph, далее DAG) и передачу параметров с помощью Airflow REST API - давайте разберемся!
-
Безопасная работа с секретами при сборке docker-образов
При сборке Docker-образов иногда необходимо использовать секреты (например, пароль к приватному репозиторию пакетов), которые не должны в конечном итоге оставаться в образе. В последних версиях Docker этого можно добиться благодаря BuildKit - давайте разберемся!
-
Валидация миграций flyway c помощью testcontainers
Ранее мы уже упоминали о необходимости контроля версий БД и применения миграций с помощью инструмента Flyway и даже реализовали функционал валидации миграций в бесплатной (community edition) версии. Но мир не стоит на месте и с каждым днем появляются новые варианты решения проблем - в данной статье рассмотрим валидацию миграций flyway с помощью testcontainers. Давайте разберемся!
-
Использование PostStart хука при запуске пода в Kubernetes-кластере
После написания статьи о вставке данных в redis при запуске контейнера в кластере Kubernetes Александр Косенко вполне резонно заметил, что для решения такой задачи можно использовать PostStart хук, который предоставляется “из коробки” для управления жизненным циклом контейнера. Давайте разберемся!
-
Вставка данных в Redis при запуске контейнера в Kubernetes кластере
Довольно часто встречаются варианты конфигурирования и запуска Redis сервиса в кластере Kubernetes классифицируемые как stateless (т.е. без сохранения данных). В данной статье рассмотрим вариант вставки данных в Redis на старте пода в кластере - давайте разберемся!
-
Отправка логов Apache Airflow в Elasticsearch
В одной из предыдущих статей мы рассматривали особенности развертывания Apache Airflow в кластере Kubernetes, а в данном материале поговорим об отправке логов из Airflow в Elasticsearch. Давайте разберемся!
-
Валидация flyway-миграций без СМС и регистрации
В одной из предыдущих статей мы уже рассматривали контроль версий БД и миграции с помощью инструмента Flyway, причем довольно подробно и с конкретным примером, а в конце статьи я обещал показать, как можно организовать валидацию миграций до их применения к БД (фича, доступная только в платной подписке) своими силами и совершенно бесплатно. Давайте разберемся!
-
Сбор и анализ логов Kubernetes кластера с помощью EFK-стека
На дворе уже 2020 год, а стандартного решения для агрегации логов в Kubernetes до сих пор нет. В данной статье рассмотрим особенности сбора и анализа логов в кластере Kubernetes с помощью EFK-стека. Давайте разберемся!
