(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 

Курс "Администрирование кластера Hadoop"

Код: EDU-BD-HADM
Специализация: Авторские курсы: СУБД и хранилища данных

Продолжительность - 5 дней

Расписание:
30 марта 2020 года (Москва)        

Стоимость:  90 000 руб.  

Apache Hadoop является наиболее популярной открытой платформой для распределенных вычислений. Данный курс содержит информацию по планированию и развертыванию распределенных вычислительных кластеров на базе Hadoop, мониторингу и оптимизации производительности системы, резервному копированию и аварийному восстановлению узлов кластера и отдельных компонент, настройки безопасности системы Kerberos на базе Hadoop.

Курс "Администрирование кластера Hadoop" построен на сквозных практических примерах развертывания и администрирования Hadoop кластера, в том числе в облачной инфраструктуре; использования компонент Hadoop для запуска задач распределенных вычислений с тестовыми данными. Практические занятия выполняются в кластерной среде Amazone Web Services с использованием дистрибутивов Cloudera Distributed Hadoop и программного обеспечения управления кластером Cloudera Manager.

5 дней практического обучения установке и настройке кластера Hadoop, безопасность Kerberos, Apache Sentry, Cloudera Navigator, мониторинг, репликация и резервное копирование, взаимодействие с компонентами экосистемы Hadoop: Spark, Hive, sqoop, HDFS, MapReduce.

Примечание: с 1 января 2019 года данный курс проводится в объединеном формате по дистрибутивам Hadoop версии 2 компаний Cloudera/HortonWorks/ArenaData на выбор для пользователей. Для корпоративного формата обучения возможна выделенная программа по одной версии дистрибутива Hadoop (уточняйте у менеджера).

Аудитория: Системные администраторы, системные архитекторы, разработчики Hadoop желающие получить практические навыки по установке, конфигурированию, обслуживанию и управлению кластером Hadoop с использованием дистрибутива Cloudera и Cloudera Manager.

Предварительный уровень подготовки:

  • Начальный опыт работы в Unix, опыт работы с текстовым редактором vi (желателен)

Программа курса

1. Введение в Big Data

  • Что такое Big Data. Понимание проблемы Big Data
  • Эволюция систем распределенных вычислений Hadoop
  • Формирование Data Lake

2. Архитектура Apache Hadoop

  • Hadoop сервисы и основные компоненты. Name node. Data Node. YARN сервис
  • Планировщик
  • HDFS
  • Отказоустойчивость и высокая доступность

3. Hadoop Distributed File System

  • Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Архитектура HDFS
  • Дисковые квоты
  • Поддержка компрессии
  • Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы
  • Импорт(загрузка) данных на HDFS

4. MapReduce

  • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2
  • Ограничения и параметры MapReduce и YARN
  • Управление запуском пользовательских задач (jobs) под MapReduce

5. Дизайн кластера Hadoop

  • Сравнение дистрибутивов и версий Hadoop 2/3 (Cloudera Distributed Hadoop, MapR, HortonWorks Data Platform, Arenadata Hadoop): различия и ограничения
  • Требования программного и аппаратного обеспечения
  • Планирование кластера
  • Масштабирование кластера Hadoop. Отказоустойчивость Hadoop
  • Federated NameNode. Hadoop в облаке. Сравнение Cloud решений для Hadoop. Amazon EMR

6. Установка кластера

  • Установка Hadoop кластера
  • Выбор начальной конфигурации
  • Оптимизация уровня ядра для узлов
  • Начальная конфигурация HDFS и MapReduce
  • Файлы логов и конфигураций
  • Установка Hadoop кластера в облаке
  • Выбор вендора и хостинга
  • Установка с использованием виртуального образа

7. Операции обслуживания кластера Hadoop

  • Дисковая подсистема
  • Квоты
  • Остановка, запуск, перезапуск
  • Управление узлами
  • Сетевая топология
  • Настройка высокой доступности кластера и обновлений

8. Оптимизация и управление ресурсами

  • Поиск узких мест.
  • Производительность
  • Файловая система
  • Data Node
  • Сетевая производительность
  • Планировщики: FIFO scheduler. Планировщик емкости (Capacity scheduler). Гранулярное управление ресурсами (Fair scheduler). Защита очередей и доминантное управление ресурсами DRF.

9. Управление кластером Hadoop с использованием Cloudera Manager

  • Установка Cloudera Manager
  • Основные операции и задачи Cloudera Manager
  • Мониторинг с Cloudera Manager
  • Диагностика и разрешение проблем с Cloudera Manager

10. Безопасность Hadoop

  • Безопасность по умолчанию
  • Многопользовательский режим
  • Аутентификация и авторизация: Kerberos, keytabs, principals. Установка и конфигурирование Kerberos в Hadoop
  • Обзор возможностей Apache Sentry, Cloudera Navigator
  • Резервное копирование и аварийное восстановление
  • Репликация данных и snapshoting
  • Конфигурирование высокой доступности Name node (HA)
  • Компоненты безопасности Hadoop
  • Best practices

11. Мониторинг

  • Apache Zookeeper
  • Встроенные средства мониторинга Cloudera Manager
  • Логи сервисов и компонент
  • Внешние системы мониторинга: Zabbix, JMX, Grafana, Nagios, Ganglia

12. Troubleshooting

  • Data Node
  • Name Node
  • Восстановление Name Node

13. Инструментарий Hadoop экосистемы

  • Графический интерфейс сервиса HUE
  • Подключение Cloudera Data Science Workbench
  • Введение Apache Zookeeper
  • Введение Apache Pig — установка и выполнение базовых операций
  • Введение в Apache Hive, понятие Hive таблицы, установка Hive
  • Введение в Apache sqoop — установка и выполнение базовых операций
  • Введение в Apache Flume — установка и выполнение базовых операций
  • Введение в Apache Spark — установка и выполнение базовых операций
  • Обзор и назначение компонент: Cloudera Impala, Apache HBase, Apache Kafka

Примерный список практических занятий:
• Ручная установка кластера Hadoop с дистрибутива Cloudera Distributed Hadoop на локальной системе 3х-узловый кластер
• Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager
• Базовые операции с кластером Hadoop и файловые операции HDFS.
• Управление ресурсами и запуском задач с использованием YARN MapReduce.
• Управление кластером с использованием Cloudera Manager(развертывание сервисов, репликация, мониторинг, alerting и т.д.)
• Настройка аутентификации Kerberos для кластера Hadoop под управление Cloudera Manager
• Установка и выполнение базовых операций в Apache Hive, Apache sqoop, Apache Flume, Apache Spark
• Выполнение задач в веб-интерфейсе HUE
• Настройка мониторинга кластера Hadoop с использованием Zabbix (опционально)
• Настройка высокой доступности Name Node (опционально).

Примечание:
• Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
• Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

В конце обучения на курсе проводится итоговая аттестация в виде теста или на основании оценок за практические работы, выполненных в процессе обучения.


В современном мире сложно обойтись без информационных технологий и их производных - компьютеров, мобильных телефонов, интернета и т.д., особенно в крупных компаниях и государственных организациях, работающих с большим количеством людей, а не только с парой VIP-клиентов, как это может быть в случае небольшой компании. А там, где есть большое количество контрагентов, заявителей и т.д. - не обойтись без баз данных, необходимых для обработки информации. Естественно, что времена гроссбухов и карточек, памятных многим по библиотекам, давно прошли, сегодня используются персональные компьютеры и электронные базы данных.

Сегодня невозможно представить работу крупнейших компаний, банков или государственных организаций без использования баз данных и средств Business Intelligence. Базы данных позволяют нам хранить и получать доступ к большим объемам информации, а система управления базами данных (СУБД) — осуществлять менеджмент доступных хранилищ информации.

В Учебном центре « Интерфейс» Вы научитесь эффективно использовать системы управления базами данных: быстро находить нужную информацию, ориентироваться в схеме базы данных, создавать запросы, осуществлять разработку и создание баз данных.

Обучение позволит Вам не только получить знания и навыки, но и подтвердить их, сдав соответствующие экзамены на статус сертифицированного специалиста . Опытные специалисты по СУБД Microsoft SQL Server или Oracle могут быть заинтересованы в изучении систем бизнес-аналитики. Это задачи достаточно сложные, использующие громоздкий математический аппарат, но они позволяют не только анализировать происходящие процессы, но и делать прогнозы на будущее, что востребовано крупными компаниями. Именно поэтому специалисты по бизнес-аналитике востребованы на рынке, а уровень оплаты их труда весьма и весьма достойный, хотя и квалифицированным специалистам по базам данных, администраторам и разработчикам, жаловаться на низкий уровень дохода тоже не приходится. Приходите к нам на курсы и получайте востребованную и высокооплачиваемую профессию. Мы ждем Вас!

В конце обучения на курсах проводится итоговая аттестация в виде теста или путём выставления оценки преподавателем за весь курс обучения на основании оценок, полученных обучающимся при проверке усвоения изучаемого материала на основании оценок за практические работы, выполненные в процессе обучения.

Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.

  • Нужна помощь в поиске курса?
    Наша цель заключается в обеспечении подготовки специалистов, когда и где им это необходимо. Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса. Если вам нужен курс, который вы не видите на графике или у нас на сайте, или если Вы хотите пройти курс в другое время и в другом месте, пожалуйста, сообщите нам, по адресу mail@interface.ru или shopadmin@itshop.ru
  • Поговорите со своим личным тренинг-менеджером!
    Мы предоставляет Вам индивидуальное обслуживание. Если у вас есть потребность обсудить, все вопросы касательно обучения, свяжитесь, пожалуйста c нами по телефонам: +7 (495) 925-0049, + 7 (495) 229-0436. Или любым другим удобным для Вас средствами связи, которые Вы можете найти на сайтах www.interface.ru или www.itshop.ru


 Распечатать »
 Правила публикации »
   
 Рекомендовать »  
 

Магазин программного обеспечения   WWW.ITSHOP.RU
ABBYY Business Card Reader 2.0 for Windows (download), электронный ключ
Rational ClearQuest Floating User License
TeeBI for RAD Studio Suite with source code single license
ESET NOD32 Антивирус - лицензия на 2 года на 3ПК
The BAT! Home- 1 компьютер
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Поиск курсов
 
 
Интересные факты

Учебный центр "Интерфейс" - в десятке ведущих учебных центров России в сфере IT.

  • У нас преподают такие известные эксперты, как Пржиялковский В.В., Леоненков А.В., Новичков А.Н., Золотухина Е.Б., Зайцев А.Л., Зайцев Р.А., Большаков О.Н., Мирончик И.Я., Саксонов А.А., Пригодина Н.Ю.
  • Учебный центр "Интерфейс" проводит авторизованные курсы по продуктам компаний Microsoft, ERwin, Embarcadero (CodeGear), Postgres Professional
  • Подтвердить полученные знания можно, сдав сертификационные экзамены. Учебный центр "Интерфейс" является авторизованным центром тестирования Pearson VUE
  • Учебный центр "Интерфейс" оказывает консалтинговые услуги по построению моделей бизнес-процессов, проектированию информационных систем, разработке структуры баз данных и т.д.
  • Возможна корректировка программ курсов по желанию заказчиков! Мы расскажем Вам о том, что интересует именно Вас, а не только о том, что жестко зафиксировано в программе курса.
  • Где Вам удобнее учиться? В Москве? Санкт-Петербурге? Подмосковье? В вашем собственном офисе? Позвоните нам по тел.:+7 (495) 925-0049 и мы обсудим удобный для Вас вариант обучения.

Горячая линия:
+ 7 (495) 925-0049
mail@interface.ru
Отправить быстрое сообщение

Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Новости ITShop.ru - ПО, книги, документация, курсы обучения
Обучение для IT-профессионалов
Обучение и сертификация Microsoft
IT сертификация
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
работа на дому! (5)
Доброго времени суток дорогие друзья. Многоуровневый маркетинг окончательно признан...
 
Регистрация на Oracle.com (4)
Сразу прошу прощения за тупой вопрос, но вчера зарегался на oracle.com (чтоб 9i слить себе...
 
Ищу кодера (2)
Добрый день! Ищу кодера который сможет сделать копии сайтов. Сколько будет стоить скопировать...
 
Где взять лицензионный ключ для AllFusion Process Modeler (BPwin) 7? (4)
Выручайте!!! где найти ключ, ужасно срочно нужна программа. заранее спасибо!
 
Проблемы с интернетом в Windows 7 (2)
Здравствуйте, подписан на вашу рассылку - весьма полезная вещь. Если не сложно чиркните пару...
 
 
 



    
rambler's top100 Rambler's Top100