Hadoop 101: Основы работы с Hadoop

Анализ больших данных — востребованный и ценный навык, и этот курс быстро научит вас двум фундаментальным технологиям для работы с большими данными: MapReduce и Hadoop. Задумывались ли вы когда-нибудь, как Google удается непрерывно анализировать весь Интернет? Вы освоите те же методы, используя свою собственную систему Windows прямо у себя дома. На этом курсе вы научитесь и освоите искусство формулирования задач анализа данных как задач MapReduce на более чем 10 практических примерах, а затем масштабируете их для работы на облачных вычислительных сервисах. Учиться будете у бывшего инженера и старшего менеджера из Amazon и IMDb. Изучите концепции MapReduce Быстро запускайте задания MapReduce с помощью Python и MRJob Преобразуйте сложные задачи анализа в многоэтапные задания MapReduce Масштабируйте до больших наборов данных с помощью сервиса Amazon Elastic MapReduce Поймите, как Hadoop распределяет MapReduce по вычислительным кластерам Узнайте о других технологиях Hadoop, таких как Hive, Pig и Spark К концу этого курса вы сможете запускать код, который анализирует гигабайты информации — в облаке — за считанные минуты. Попутно мы немного повеселимся. Вы разогреетесь на нескольких простых примерах использования MapReduce для анализа данных рейтингов фильмов и текста в книге. Как только вы освоите основы, мы перейдем к более сложным и интересным задачам. Мы будем использовать миллион рейтингов фильмов, чтобы найти похожие друг на друга фильмы, и вы даже можете открыть для себя новые фильмы, которые вам понравятся! Мы проанализируем социальный граф супергероев и выясним, кто из них самый «популярный», а также разработаем систему для определения «степеней разделения» между супергероями. Все ли супергерои Marvel связаны с Невероятным Халком всего несколькими степенями? Вы найдете ответ. Этот курс очень практический; большую часть времени вы будете следовать указаниям преподавателя, вместе писав, анализируя и запуская реальный код — как на вашей собственной системе, так и в облаке с использованием сервиса Amazon Elastic MapReduce. В курс включено более 5 часов видеоконтента с более чем 10 реальными примерами возрастающей сложности, которые вы можете создать, запустить и изучить самостоятельно. Проходите их в своем темпе и по своему расписанию. Курс завершается обзором других технологий на основе Hadoop, включая Hive, Pig и очень популярный фреймворк Spark — с работающим примером на Spark. Что вы узнаете: Поймёте, как использовать MapReduce для анализа больших наборов данных Напишете собственные задания MapReduce с использованием Python и MRJob Запустите задания MapReduce на кластерах Hadoop с помощью Amazon Elastic MapReduce Объедините задания MapReduce для анализа более сложных задач Проанализируете данные социальных сетей с помощью MapReduce Проанализируете данные рейтингов фильмов с помощью MapReduce и создадите рекомендации фильмов. Поймёте другие технологии на основе Hadoop, включая Hive, Pig и Spark Поймёте, для чего нужен Hadoop и как он работает Есть ли какие-либо требования или предварительные условия для курса? Вам понадобится система Windows, и мы поможем вам загрузить и установить среду разработки Python и необходимые инструменты в рамках курса. Если вы используете Linux и у вас уже есть знакомая среда разработки Python, это тоже подойдёт. Ещё раз, убедитесь, что у вас есть хотя бы некоторый опыт программирования или написания скриптов. Для успешного прохождения этого курса вам не потребуется быть экспертом по Python, но вам понадобятся базовые концепции программирования, чтобы понять, что мы делаем. Для кого предназначен этот курс: Этот курс лучше всего подходит для студентов, уже имеющих некоторый опыт программирования или написания скриптов. Мы будем рассматривать вас как новичка в MapReduce и настройке всего необходимого для написания заданий MapReduce с использованием Python, MRJob и сервиса Amazon Elastic MapReduce, но мы не будем тратить много времени на обучение написанию кода. Основное внимание будет уделено формулированию задач анализа данных как задач MapReduce и их выполнению либо локально, либо в кластере Hadoop. Если вы не знаете Python, вам нужно будет освоить его на основе приведенных нами примеров. Если вы новичок в программировании, вам следует изучить какой-либо язык программирования или скриптов перед прохождением этого курса. Запишитесь сегодня: https://www.udemy.com/course/taming-b... СВЯЖИТЕСЬ С НАМИ В СОЦИАЛЬНЫХ СЕТЯХ: LinkedIn:   / sundogeducation   Twitter:   / sundogeducation   Facebook:   / sundogedu   #машинноеобучение #глубокоеобучение #наукаоданных #компьютерныенауки #рекомендательныесистемы #большиеданные #ИИ #искусственныйинтеллект