Курс "Администрирование кластера Kafka"

Код: Kafka-N1
Специализация: Авторские курсы: СУБД и хранилища данных

Продолжительность - 3 дня

Расписание:
18 февраля 2026 года (Москва)

Программа курса «Администрирование кластера Kafka»

День 1 — Архитектура, установка и базовые операции

Модуль 1.1 — Роль Kafka и архитектура кластера

• Kafka в современной data‑платформе, типовые сценарии использования.
• рхитектура: брокеры, топики, партиции, репликация, ISR, группы потребителей.

Модуль 1.2 — Внутреннее устройство и ключевые концепции

• Распределённый журнал (distributed commit log), порядок сообщений, гарантии доставки.
• Лидеры и фолловеры, under‑replicated partitions, влияние на доступность.

Модуль 1.3 — KRaft против ZooKeeper, проектирование кластера

• Управление метаданными: ZooKeeper и KRaft, преимущества KRaft.
• Планирование размеров и конфигурации: количество брокеров, партиций, фактор репликации, диски, сеть.

Модуль 1.4 — Установка и базовая конфигурация

• Варианты установки: пакеты, архивы, Docker/Kubernetes.
• Базовые параметры брокера: listeners, каталоги журналов, репликация, политики хранения (retention).

Практика 1 — Базовый кластер и операции

• Развёртывание кластера из нескольких брокеров.
• Проверка состояния кластера, просмотр метаданных брокеров и топиков.
• Создание тестового топика и выполнение операций produce/consume через консоль.

Итоги дня 1 — Обзор и ответы на вопросы

• Разбор типичных ошибок при первом развёртывании.
• Обсуждение лучших практик дня, Q&A.

День 2 — Управление, мониторинг и оптимизация

Модуль 2.1 — Управление топиками и партициями

• Жизненный цикл топика: создание, просмотр, изменение, удаление.
• Выбор числа партиций и фактора репликации, влияние на производительность и отказоустойчивость.
• Перераспределение партиций и балансировка по брокерам.

Практика 2.1 — Жизненный цикл топика и перераспределение

• Создание топиков для разных типов нагрузок.
• Выполнение перераспределения партиций и наблюдение за состоянием under‑replicated partitions.

Модуль 2.2 — Мониторинг и логирование

• Ключевые метрики: under‑replicated partitions, ISR, задержки запросов, нагрузка на диск и сеть.
• JMX, JMX Exporter, Prometheus, Grafana — базовый стек мониторинга.
• Журналы брокера: где искать причины проблем.

Практика 2.2 — Prometheus и Grafana

• Подключение JMX Exporter и сбор метрик в Prometheus.
• Создание базового дашборда в Grafana и настройка оповещений по ключевым метрикам (URP, сокращение ISR).

Модуль 2.3 — Оптимизация производительности и масштабирование

• Настройка брокера: политики хранения, сжатие, сетевые буферы.
• Настройка производителей и потребителей: подтверждения (acks), размер партий, задержка отправки, параметры выборки.
• Масштабирование и балансировка нагрузки: добавление брокеров, перераспределение партиций.

Итоги дня 2 — Чек‑лист "здоровья" кластера

• Формирование регулярного списка проверок для кластера.
• Обсуждение порогов срабатывания оповещений.

День 3 — Безопасность, отказоустойчивость, резервирование и процессы

Модуль 3.1 — Безопасность и сеть

• TLS/SSL: сертификаты, шифрование трафика между клиентами и брокерами, между брокерами.
• SASL (SCRAM, при необходимости Kerberos) — аутентификация.
• ACL: модель прав доступа, подход минимально необходимого набора прав.
• Сетевые аспекты: порты, файрвол, задержки, трафик между центрами обработки данных.

Практика 3.1 — TLS, SASL и ACL

• Включение TLS в кластере и перевод клиентов на защищённый канал.
• Настройка SASL/SCRAM и ACL для администраторов, производителей и потребителей.

Модуль 3.2 — Высокая доступность и устранение неисправностей

• Конфигурация высокой доступности: фактор репликации, привязка к стойкам (rack awareness), обработка отказов.
• Типовые аварии: падение брокера, проблемы с ISR, "зависшие" партиции.
• Подход к устранению неисправностей: какие метрики, журналы и команды проверять.

Практика 3.2 — Отказ и обновление без простоя

• Моделирование отказа брокера и проверка восстановления.
• Проведение поочерёдной перезагрузки кластера (rolling restart) без потери доступности.

Модуль 3.3 — Резервирование и несколько площадок (DR и multi‑DC)

• Стратегии аварийного восстановления: целевые RTO и RPO, актив‑пассив и актив‑актив схемы.
• Репликация между кластерами и типовые схемы.

Практика 3.3 — Базовый сценарий аварийного восстановления

• Настройка простой репликации между двумя кластерами в демонстрационном сценарии.

Модуль 3.4 — Автоматизация, инструменты и лучшие практики

• Инструменты: Kafka Manager / CMAK, Confluent Control Center и другие.
• Автоматизация и процессы: Ansible/Terraform, эксплуатационные инструкции (runbooks), процедуры реагирования на инциденты, эталонная архитектура.

Итоговый сценарий — Интегрированная практическая работа

• · Сквозной кейс: кластер с TLS+SASL, мониторингом, оповещениями и базовым сценарием аварийного восстановления.
• · Разбор решений, ответы на вопросы.

В конце обучения на курсе проводится итоговая аттестация в виде теста или на основании оценок за практические работы, выполненных в процессе обучения

В современном мире сложно обойтись без информационных технологий и их производных - компьютеров, мобильных телефонов, интернета и т.д., особенно в крупных компаниях и государственных организациях, работающих с большим количеством людей, а не только с парой VIP-клиентов, как это может быть в случае небольшой компании. А там, где есть большое количество контрагентов, заявителей и т.д. - не обойтись без баз данных, необходимых для обработки информации. Естественно, что времена гроссбухов и карточек, памятных многим по библиотекам, давно прошли, сегодня используются персональные компьютеры и электронные базы данных.

Сегодня невозможно представить работу крупнейших компаний, банков или государственных организаций без использования баз данных и средств Business Intelligence. Базы данных позволяют нам хранить и получать доступ к большим объемам информации, а система управления базами данных (СУБД) — осуществлять менеджмент доступных хранилищ информации.

В Учебном центре « Интерфейс» Вы научитесь эффективно использовать системы управления базами данных: быстро находить нужную информацию, ориентироваться в схеме базы данных, создавать запросы, осуществлять разработку и создание баз данных.

Обучение позволит Вам не только получить знания и навыки, но и подтвердить их, сдав соответствующие экзамены на статус сертифицированного специалиста . Опытные специалисты по СУБД Microsoft SQL Server или Oracle могут быть заинтересованы в изучении систем бизнес-аналитики. Это задачи достаточно сложные, использующие громоздкий математический аппарат, но они позволяют не только анализировать происходящие процессы, но и делать прогнозы на будущее, что востребовано крупными компаниями. Именно поэтому специалисты по бизнес-аналитике востребованы на рынке, а уровень оплаты их труда весьма и весьма достойный, хотя и квалифицированным специалистам по базам данных, администраторам и разработчикам, жаловаться на низкий уровень дохода тоже не приходится. Приходите к нам на курсы и получайте востребованную и высокооплачиваемую профессию. Мы ждем Вас!

В конце обучения на курсах проводится итоговая аттестация в виде теста или путём выставления оценки преподавателем за весь курс обучения на основании оценок, полученных обучающимся при проверке усвоения изучаемого материала на основании оценок за практические работы, выполненные в процессе обучения.

Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.

• Нужна помощь в поиске курса?
  Наша цель заключается в обеспечении подготовки специалистов, когда и где им это необходимо. Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса. Если вам нужен курс, который вы не видите на графике или у нас на сайте, или если Вы хотите пройти курс в другое время и в другом месте, пожалуйста, сообщите нам, по адресу mail@interface.ru или shopadmin@itshop.ru
• Поговорите со своим личным тренинг-менеджером!
  Мы предоставляет Вам индивидуальное обслуживание. Если у вас есть потребность обсудить, все вопросы касательно обучения, свяжитесь, пожалуйста c нами по телефонам: +7 (495) 925-0049, + 7 (495) 229-0436. Или любым другим удобным для Вас средствами связи, которые Вы можете найти на сайтах www.interface.ru или www.itshop.ru