Код: INTR Специализация: Авторские курсы: СУБД и хранилища данных
Продолжительность - 3 дня
Расписание:
19 июня 2023 года (Москва)
25 сентября 2023 года (Москва)
Стоимость:
66 000 руб.
Курс "Основы Hadoop" содержит базовые сведения по установке и настройке кластера Hadoop, выполнению основных операций в файловой системе HDFS, запуска задач MapReduce, основам управления ресурсами Hadoop с помощью планировщика задач YARN и знакомит слушателей с концепциями использования Hadoop и компонент экосистемы Hadoop (MapReduce, Apache Hive, ApachePig, ApacheFlume, ApacheSqoop и ApacheSpark) для организации хранения больших данных и процессинга.
Курс построен на сквозных практических примерах с тренировочными наборами данных, для запуска batch и потоковых (streaming) задач в Hadoop кластере. Индивидуальные кластера Hadoop для каждого слушателя в облачной инфраструктуре Amazon WebServices, что позволяет закрепить все концепции и понятия на практических заданиях с использованием выбранного слушателем дистрибутива (Cloudera Distributed Hadoop,HortonWorks HDP или ArenaData Hadoop) и познакомиться с выбранным программным обеспечением по управлению кластером ClouderaManager или Apache Ambari на выбор.
Аудитория: Системные администраторы, системные архитекторы, разработчики Hadoop, желающие получить теоретические знания и практические навыки по установке, настройке и использованию кластера Hadoop с использованием дистрибутивов Cloudera и HortonWorks.
Предварительный необходимый уровень подготовки:
Начальный опыт работы в Unix
Опыт работы с текстовым редактором vi, nano
Программа курса «Основы Hadoop»
Основы Hadoop и Big Data
Что такое Big Data. Понимание проблемы Big Data
Эволюция систем распределенных вычислений Hadoop
Концепция Data Lakeи pipelines
Архитектура Apache Hadoop
Hadoop сервисы и основные компоненты. Name node. DataNode.
YARN сервис-планировщик
Демоны HDFS
Отказоустойчивость и высокая доступность
Hadoop Distributed File System
Архитектура HDFS. Блоки HDFS
Основные команды работы с HDFS
Операции чтения и записи, назначения HDFS
Дисковые квоты. Поддержка компрессии
Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы
Импорт (загрузка) данных на HDFS
MapReduce
Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2/3.
Ограничения и параметры MapReduce и YARN
Управление запуском пользовательских задач (jobs) под MapReduce.
Дизайн кластера Hadoop
Сравнение дистрибутивов и версий Hadoop 2/3 (Cloudera Data Platform, Apache Hadoop, Arenadata Hadoop): различия и ограничения
Интеграция с другими решениями: streaming (DataFlow), NoSQL
Установка кластера CDP
Оптимизация OS для узлов кластера
Установка Hadoop кластера с использованием Cloudera Data Platform Private Cloud
Выбор начальной конфигурации
Начальная конфигурация HDFS и MapReduce
Файлы логов и конфигурации
Установка Hadoop клиентов
Установка Hadoop кластера в облаке
Операции обслуживания кластера Hadoop
Дисковая подсистема
Квоты
Остановка, запуск, перезапуск (Graceful Shutdown)
Управление узлами
Оптимизация и управление ресурсами
Производительность. Файловая система. Data Node и Data layout и партиционирование, bucketing
Планировщики: FIFO Scheduler. Планировщик емкости (Capacity Scheduler). Гранулярное управление ресурсами (Fair Scheduler). Защита очередей и доминантное управление ресурсами DRF
Управление кластером Hadoop с использованием Cloudera Manager
Основные операции и задачи Cloudera Manager
Мониторинг с Cloudera Manager
Диагностика и разрешение проблем с Cloudera Manager
Инструментарий Apache Hadoop экосистемы
Графический интерфейс сервиса HUE/Zeppelin
Основы Apache Zookeeper
Введение в Hadoop SQL: Apache Hive, понятие Hive таблицы, установка Hive
Использование Apache Sqoop — установка и выполнение базовых операций
Обзор и назначение компонент: Apache Spark, Apache Solr, Cloudera Impala, Apache HBase, Apache Phoenix, Apache Oozie
Примерный список практических занятий для курса «Основы Hadoop»:
Установка 3х-узлового кластера в облаке AmazonWeb Services с использованием ClouderaManager/ApacheAmbari
Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
Управление ресурсами и запуском задач с использованием YARN и MapReduce
ETL операции преобразования с использованием ApachePig
Знакомство с SQL интерфейсом доступа ApacheHive
Выполнение базовых операций импорта/экспорта с применением Apachesqoop
Настройка агента потоковой обработки ApacheFlume(опционально)
Применение веб-интерфейса HUE/Zeppelin (опционально)
В конце обучения на курсе проводится итоговая аттестация в виде теста или на основании оценок за практические работы, выполненных в процессе обучения
В современном мире сложно обойтись без информационных технологий и их производных - компьютеров, мобильных телефонов, интернета и т.д., особенно в крупных компаниях и государственных организациях, работающих с большим количеством людей, а не только с парой VIP-клиентов, как это может быть в случае небольшой компании. А там, где есть большое количество контрагентов, заявителей и т.д. - не обойтись без баз данных, необходимых для обработки информации. Естественно, что времена гроссбухов и карточек, памятных многим по библиотекам, давно прошли, сегодня используются персональные компьютеры и электронные базы данных.
Сегодня невозможно представить работу крупнейших компаний, банков или государственных организаций без использования баз данных и средств Business Intelligence. Базы данных позволяют нам хранить и получать доступ к большим объемам информации, а система управления базами данных (СУБД) — осуществлять менеджмент доступных хранилищ информации.
В Учебном центре « Интерфейс» Вы научитесь эффективно использовать системы управления базами данных: быстро находить нужную информацию, ориентироваться в схеме базы данных, создавать запросы, осуществлять разработку и создание баз данных.
Обучение позволит Вам не только получить знания и навыки, но и подтвердить их, сдав соответствующие экзамены на статус сертифицированного специалиста . Опытные специалисты по СУБД Microsoft SQL Server или Oracle могут быть заинтересованы в изучении систем бизнес-аналитики. Это задачи достаточно сложные, использующие громоздкий математический аппарат, но они позволяют не только анализировать происходящие процессы, но и делать прогнозы на будущее, что востребовано крупными компаниями. Именно поэтому специалисты по бизнес-аналитике востребованы на рынке, а уровень оплаты их труда весьма и весьма достойный, хотя и квалифицированным специалистам по базам данных, администраторам и разработчикам, жаловаться на низкий уровень дохода тоже не приходится. Приходите к нам на курсы и получайте востребованную и высокооплачиваемую профессию. Мы ждем Вас!
В конце обучения на курсах проводится итоговая аттестация в виде теста или путём выставления оценки преподавателем за весь курс обучения на основании оценок, полученных обучающимся при проверке усвоения изучаемого материала на основании оценок за практические работы, выполненные в процессе обучения.
Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.
Нужна помощь в поиске курса? Наша цель заключается в обеспечении подготовки специалистов, когда и где им это необходимо. Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса. Если вам нужен курс, который вы не видите на графике или у нас на сайте, или если Вы хотите пройти курс в другое время и в другом месте, пожалуйста, сообщите нам, по адресу mail@interface.ru или shopadmin@itshop.ru
Поговорите со своим личным тренинг-менеджером! Мы предоставляет Вам индивидуальное обслуживание. Если у вас есть потребность обсудить, все вопросы касательно обучения, свяжитесь, пожалуйста c нами по телефонам: +7 (495) 925-0049, + 7 (495) 229-0436. Или любым другим удобным для Вас средствами связи, которые Вы можете найти на сайтах www.interface.ru или www.itshop.ru
Учебный центр "Интерфейс" - в десятке ведущих учебных центров России в сфере IT.
У нас преподают такие известные эксперты, как Пржиялковский В.В., Леоненков А.В., Новичков А.Н., Зайцев А.Л., Зайцев Р.А., Большаков О.Н., Мирончик И.Я., Саксонов А.А., Пригодина Н.Ю.
Подтвердить полученные знания можно, сдав сертификационные экзамены. Учебный центр "Интерфейс" является авторизованным центром тестирования Pearson VUE
Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.
Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса.
Где Вам удобнее учиться? В Москве? Санкт-Петербурге? Подмосковье? В вашем собственном офисе? Позвоните нам по тел.:+7 (495) 925-0049 и мы обсудим удобный для Вас вариант обучения.