Rebrain, Алексей Калакин, Николай Макаров, Матвей Сухов | Мини-практикум Kafka (2025) PCRec [RU]
Автор: Алексей Калакин, Николай Макаров, Матвей Сухов
Производство: RebrainЖанр: Apache Kafka, брокеры сообщений, DevOps, data engineering, микросервисная архитектура
Описание: Практикум по Kafka — программа охватывает все основные аспекты работы с Apache Kafka: от установки кластера до настройки безопасности, мониторинга и Disaster Recovery. Kafka сегодня является стандартом индустрии в качестве брокера сообщений. Практикум построен вокруг реальных задач на виртуальных машинах, приближенных к работе DevOps-инженера, с автоматическими проверками и поддержкой менторов.
Продолжительность: 18:41:08
Качество видео: PCRec
Язык озвучки: Русский
- Data-инженерам (Middle/Senior) — работающим с большими потоками данных, которым нужен надёжный инструмент для их обработки и передачи.
- Backend-разработчикам — создающим распределённые и микросервисные архитектуры, где необходима асинхронная обработка сообщений.
- DevOps-инженерам (Middle) — ответственным за развертывание и поддержку высоконагруженных систем, включая брокеры сообщений.
- Установка и базовая настройка Apache Kafka.
- Настройка авторизации и аутентификации через GSSAPI + Kerberos.
- Организация мониторинга Kafka с использованием Prometheus и JMX Exporter.
- Создание защищённых мультиброкерных кластеров Kafka.
- Конфигурация и использование Consumer API и Producer API.
- Работа с Schema Registry.
- Настройка и управление репликацией в Kafka.
- Использование Kafka Connect и Kafka Streams для интеграции и потоковой обработки данных.
- Введение
- Введение в Apache Kafka
- Установка кластера в режиме Zookeeper
- Установка кластера в режиме KRaft
- Конфигурация брокера
- Управление топиками через CLI
- Producer и Consumer
- Consumer Group
- Хранение данных: логи, сегменты и ретеншн
- Мониторинг кластера через JMX-метрики
- Безопасность: Шифрование (SSL/TLS)
- Безопасность: Аутентификация (SASL)
- Безопасность: Авторизация (ACL)
- Обслуживание кластера и Disaster Recovery (MirrorMaker)
- Итоговый проект
- Заключение
- Алексей Калакин — System Architect, Solution Architect, DevOps, UNIX-эксперт. Руководитель департамента по работе с большими данными и ИИ в компании «Билайн».
- Матвей Сухов — более 12 лет опыта разработки интеграционных систем для бизнеса в качестве ведущего инженера и разработчика. Архитектор в «Билайн».
- Николай Макаров — более 6 лет разрабатывает различные backend и data intelligence системы, любит event-driven архитектуру. Software Engineer в «Иви».
Запустить брокер Kafka и подключить к нему мониторинг Prometheus. Kafka и Prometheus представлены в виде docker-compose. Подключиться к выделенной машине по SSH, добавить записи в /etc/hosts, запустить docker-compose с параметрами JMX для каждого экземпляра Kafka и настроить сбор метрик в Prometheus.
Скриншоты:
Время раздачи: 24/7 (круглосуточно) (минимум до появления первых 3–5 скачавших)