(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 

Курс "Data Pipeline на Apache Airflow и Apache Hadoop"

Код: AIRF
Специализация: Авторские курсы: СУБД и хранилища данных

Продолжительность - 3 дня

Расписание:
27 марта 2023 года (Москва)        

Стоимость:  66 000 руб.  

2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow.

Аудитория: Системные администраторы, системные архитекторы, разработчики Hadoop, желающие получить практические навыки по управлению потоковыми данными с использованием Apache AirFlow.

Предварительный уровень подготовки:
  • Начальный опыт работы в Unix
  • Опыт работы с текстовым редактором vi (желателен)
  • Начальный опыт программирования Python/bash

Программа курса

  1. Введение в AirFlow
    • История появления, решаемые задачи, место в наборе инструментов по обработке данных
    • Основные объекты (DAG, оператор и task, сенсор, объединение компонентов в DAG)
    • Процесс исполнения (worker-ы и executor-ы, параллельное и последовательное исполнение)
    • Планирование и график исполнения DAG
    • Компоненты Airflow (scheduler, административный web-интерфейс)
    • Алерты и логирование
    • Переменные и xcomm
    • Connection и работа с источниками данных
  2. Разработка Data Flow с Apache AirFlow
    • Процесс создания DAG
    • Основные операторы
    • Создание (настройка) python и bash операторов
    • Создание собственных операторов и сенсоров
    • Использование connection
    • Hooks и практические примеры использования
    • xcomm и переменные: зачем нужны и что дают
    • Возможности макроязыка (Jinja)
    • Настройка расписания и его особенности
  3. Развертывание и настройка Airflow
    • Установка Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
    • Основные параметры конфигурации
    • Использование Celery executor
    • Кластеризация (масштабируемость, отказоустойчивость)
  4. Особенности разработки и использования Airflow
    • Отладка и тестирование
    • Поиск информации в лог-файлах
    • Нюансы встраивания Airflow в CI/CD конвейеры и системы управления версиями
    • Airflow и Apache Spark

ПРАКТИЧЕСКИЕ ЗАНЯТИЯ:

  • Создание простых DAG
  • Настройка python и bash операторов
  • Разработка операторов и сенсоров
  • Работа с источниками данных
  • Взаимодействие с Apache Spark

В конце обучения на курсе проводится итоговая аттестация в виде теста или на основании оценок за практические работы, выполненных в процессе обучения


В современном мире сложно обойтись без информационных технологий и их производных - компьютеров, мобильных телефонов, интернета и т.д., особенно в крупных компаниях и государственных организациях, работающих с большим количеством людей, а не только с парой VIP-клиентов, как это может быть в случае небольшой компании. А там, где есть большое количество контрагентов, заявителей и т.д. - не обойтись без баз данных, необходимых для обработки информации. Естественно, что времена гроссбухов и карточек, памятных многим по библиотекам, давно прошли, сегодня используются персональные компьютеры и электронные базы данных.

Сегодня невозможно представить работу крупнейших компаний, банков или государственных организаций без использования баз данных и средств Business Intelligence. Базы данных позволяют нам хранить и получать доступ к большим объемам информации, а система управления базами данных (СУБД) — осуществлять менеджмент доступных хранилищ информации.

В Учебном центре « Интерфейс» Вы научитесь эффективно использовать системы управления базами данных: быстро находить нужную информацию, ориентироваться в схеме базы данных, создавать запросы, осуществлять разработку и создание баз данных.

Обучение позволит Вам не только получить знания и навыки, но и подтвердить их, сдав соответствующие экзамены на статус сертифицированного специалиста . Опытные специалисты по СУБД Microsoft SQL Server или Oracle могут быть заинтересованы в изучении систем бизнес-аналитики. Это задачи достаточно сложные, использующие громоздкий математический аппарат, но они позволяют не только анализировать происходящие процессы, но и делать прогнозы на будущее, что востребовано крупными компаниями. Именно поэтому специалисты по бизнес-аналитике востребованы на рынке, а уровень оплаты их труда весьма и весьма достойный, хотя и квалифицированным специалистам по базам данных, администраторам и разработчикам, жаловаться на низкий уровень дохода тоже не приходится. Приходите к нам на курсы и получайте востребованную и высокооплачиваемую профессию. Мы ждем Вас!

В конце обучения на курсах проводится итоговая аттестация в виде теста или путём выставления оценки преподавателем за весь курс обучения на основании оценок, полученных обучающимся при проверке усвоения изучаемого материала на основании оценок за практические работы, выполненные в процессе обучения.

Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.

  • Нужна помощь в поиске курса?
    Наша цель заключается в обеспечении подготовки специалистов, когда и где им это необходимо. Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса. Если вам нужен курс, который вы не видите на графике или у нас на сайте, или если Вы хотите пройти курс в другое время и в другом месте, пожалуйста, сообщите нам, по адресу mail@interface.ru или shopadmin@itshop.ru
  • Поговорите со своим личным тренинг-менеджером!
    Мы предоставляет Вам индивидуальное обслуживание. Если у вас есть потребность обсудить, все вопросы касательно обучения, свяжитесь, пожалуйста c нами по телефонам: +7 (495) 925-0049, + 7 (495) 229-0436. Или любым другим удобным для Вас средствами связи, которые Вы можете найти на сайтах www.interface.ru или www.itshop.ru


 Распечатать »
 Правила публикации »
   
 Рекомендовать »  
 

Магазин программного обеспечения   WWW.ITSHOP.RU
Advanced Data Export VCL Suite (with sources) + 1 Year Maintenance
Oracle Database Standard Edition 2 Named User Plus License
SmartBear QAComplete Concurrent User Subscription License - On Premise (1 Year Subscription)
AutoCAD LT 2022 Commercial New Single-user ELD Annual Subscription
Panda Global Protection - ESD версия - на 1 устройство - (лицензия на 1 год)
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Поиск курсов
 
 
Интересные факты

Учебный центр "Интерфейс" - в десятке ведущих учебных центров России в сфере IT.

  • У нас преподают такие известные эксперты, как Пржиялковский В.В., Леоненков А.В., Новичков А.Н., Зайцев А.Л., Зайцев Р.А., Большаков О.Н., Мирончик И.Я., Саксонов А.А., Пригодина Н.Ю.
  • Учебный центр "Интерфейс" проводит авторизованные курсы по продуктам компаний Microsoft, ERwin, Embarcadero (CodeGear), Postgres Professional
  • Подтвердить полученные знания можно, сдав сертификационные экзамены. Учебный центр "Интерфейс" является авторизованным центром тестирования Pearson VUE
  • Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.
  • Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса.
  • Где Вам удобнее учиться? В Москве? Санкт-Петербурге? Подмосковье? В вашем собственном офисе? Позвоните нам по тел.:+7 (495) 925-0049 и мы обсудим удобный для Вас вариант обучения.

Горячая линия:
+ 7 (495) 925-0049
mail@interface.ru
Отправить быстрое сообщение

Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Новости ITShop.ru - ПО, книги, документация, курсы обучения
Обучение для IT-профессионалов
Обучение и сертификация Microsoft
IT сертификация
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
Выбор лучшего онлайн казино (18)
Очень важным критерием для составления рейтинга являются честные отзывы клиентов о казино. Люди...
 
Нормальные казино в 2021 году (23)
После долгих поисков все таки смог найти хорошие игровухи, хотя и ушла куча времени, пока я...
 
Онлайн казино ПокерДом (7)
Поспешите начинать зарабатывать играя в онлайн казино ПокерДом...
 
Играть в Книгу мертвых (4)
Тайные гробницы древнего Египта, богатства и забытые мумии фараонов - это все вы можете увидеть...
 
Заработок в сети интернет (24)
Зайди сюда - http://www.netbusin.boom.ru и узнай подробности.
 
 
 



    
rambler's top100 Rambler's Top100