Archive Tags About RSS

Yevhen Lebid's website

DevOps, CKAD, GPCA, Father

  • Aug 26
    Healthcheck для Apache Airflow в Kubernetes кластере

    В одной из предыдущих статей мы довольно подробно рассматривали процесс развертывания Apache Airflow в Kubernetes кластере, особенностью которого был запуск веб-сервера и планировщика в одном docker-контейнере. В такой реализации довольно скоро я столкнулся с необходимостью использования кастомного хелсчека для проверки работоспособности сервиса - давайте разберемся!

  • Jul 12
    Интеграция Apache Airflow и Slack для отправки уведомлений

    Ранее мы уже рассматривали процесс развертывания Apache Airflow (далее Airflow) в кластере Kubernetes и запуск задач с помощью API. Как и обещал, в данной статье на конкретном примере я покажу как настроить отправку уведомлений о статусе задач Airflow в Slack. Давайте разберемся!

  • May 22
    Apache Airflow: запуск Kubernetes Pod Operator через API

    Ранее мы уже упоминали об Apache Airflow - инструменте для разработки, планирования и мониторинга batch-процессов обработки данных. В данной статье рассмотрим запуск Airflow-задач (Directed Acyclic Graph, далее DAG) и передачу параметров с помощью Airflow REST API - давайте разберемся!

  • Apr 30
    Безопасная работа с секретами при сборке docker-образов

    При сборке Docker-образов иногда необходимо использовать секреты (например, пароль к приватному репозиторию пакетов), которые не должны в конечном итоге оставаться в образе. В последних версиях Docker этого можно добиться благодаря BuildKit - давайте разберемся!

  • Feb 5
    Валидация миграций flyway c помощью testcontainers

    Ранее мы уже упоминали о необходимости контроля версий БД и применения миграций с помощью инструмента Flyway и даже реализовали функционал валидации миграций в бесплатной (community edition) версии. Но мир не стоит на месте и с каждым днем появляются новые варианты решения проблем - в данной статье рассмотрим валидацию миграций flyway с помощью testcontainers. Давайте разберемся!

  • Dec 8
    Использование PostStart хука при запуске пода в Kubernetes-кластере

    После написания статьи о вставке данных в redis при запуске контейнера в кластере Kubernetes Александр Косенко вполне резонно заметил, что для решения такой задачи можно использовать PostStart хук, который предоставляется “из коробки” для управления жизненным циклом контейнера. Давайте разберемся!

  • Dec 1
    Вставка данных в Redis при запуске контейнера в Kubernetes кластере

    Довольно часто встречаются варианты конфигурирования и запуска Redis сервиса в кластере Kubernetes классифицируемые как stateless (т.е. без сохранения данных). В данной статье рассмотрим вариант вставки данных в Redis на старте пода в кластере - давайте разберемся!

  • Apr 9
    Отправка логов Apache Airflow в Elasticsearch

    В одной из предыдущих статей мы рассматривали особенности развертывания Apache Airflow в кластере Kubernetes, а в данном материале поговорим об отправке логов из Airflow в Elasticsearch. Давайте разберемся!

  • Mar 27
    Валидация flyway-миграций без СМС и регистрации

    В одной из предыдущих статей мы уже рассматривали контроль версий БД и миграции с помощью инструмента Flyway, причем довольно подробно и с конкретным примером, а в конце статьи я обещал показать, как можно организовать валидацию миграций до их применения к БД (фича, доступная только в платной подписке) своими силами и совершенно бесплатно. Давайте разберемся!

  • Mar 15
    Сбор и анализ логов Kubernetes кластера с помощью EFK-стека

    На дворе уже 2020 год, а стандартного решения для агрегации логов в Kubernetes до сих пор нет. В данной статье рассмотрим особенности сбора и анализа логов в кластере Kubernetes с помощью EFK-стека. Давайте разберемся!

Older Posts →

© Copyright 2023 Yevhen Lebid