Apache Spark за 15 минут | Что такое Apache Spark? Для разработки приложений в области обработки ...

Что такое Apache Spark? Распределенные вычисления, Hadoop и место Spark в разработке данных, машинного обучения и искусственного интеллекта Прежде чем настраивать хотя бы одну задачу Spark, необходимо понять, что такое Spark и зачем он нужен. В этом видео мы рассмотрим распределенные вычисления с самых основ, как Hadoop и MapReduce решили эту задачу и в чем их недостатки, а также как появился Apache Spark. Мы рассмотрим, где Spark находится сегодня: • Разработка данных — пакетные и потоковые конвейеры в масштабе • Машинное обучение — разработка признаков, распределенное обучение и оценка • Разработка ИИ — подготовка обучающих данных, пакетный вывод и привязка данных для LLM и агентов В заключение мы обсудим, кому следует изучать Spark, кому необходимо глубоко его знать и насколько глубоко — в зависимости от вашей роли. -------------------------------------------------------------------------------------------------------------- ⏱️ Временные метки 0:00 – Повестка дня 0:26 – Пример использования больших данных на маркетплейсе 1:18 – Как Uber ежедневно запускает более 2 миллионов заданий Spark 1:38 – Что такое распределенные вычисления? 4:19 – Что такое Apache Hadoop и как он работает? 7:14 – Что такое Apache Spark и как он работает? 10:18 – Как Apache Spark вписывается в инженерию данных 11:49 – Как Uber перешел с Hive на Spark SQL 12:08 – Как Apache Spark вписывается в инженерию машинного обучения 14:10 – Как Apache Spark вписывается в инженерию ИИ 16:56 – Кому следует изучать Apache Spark? --------------------------------------------------------------------------------------------------------------- Новый эпизод каждую неделю. Подпишитесь, чтобы не пропустить первый подробный обзор. 🔗 Следите за Deep Dives в социальных сетях Apache Spark, чтобы учиться ежедневно ▶️ YouTube -    / @sparkdeepdives   💼 LinkedIn -   / sparkdeepdives   🐦 X - https://x.com/sparkdeepdives ⚡ Попробуйте и оцените версию Apache Spark, которая в 5 раз быстрее 🌐 Посетите - https://quanton.dev 💬 Присоединяйтесь к сообществу в Slack - https://quanton.short.gy/onehouse-slack #ApacheSpark #DataEngineering #Tutorial