Создайте настоящую модель машинного обучения, которая предсказывает чаевые таксистам с помощью XG...

Вы когда-нибудь задумывались, почему люди оставляют больше чаевых в такси? 🚕💵 В этом практическом проекте по машинному обучению мы создадим полноценный рабочий процесс на основе реальных данных из Нью-Йорка — очищенных, спроектированных и обученных полностью на GPU с использованием XGBoost CUDA и cuDF Pandas! 🐼 (🚨Нет GPU?🚨 Я покажу вам, как использовать его бесплатно в Google Colab! 😉) Вы увидите, как профессионалы подходят к решению задач, обрабатывают большие объёмы данных и исправляют ошибки памяти, шаг за шагом разрабатывая настоящие конвейеры для анализа данных! 😎 К концу у вас будет значимый проект, который интересно реализовывать, который технически впечатляет и идеально смотрится в вашем портфолио!! 🤩 Присоединяйтесь ко мне в этом приключении — и научитесь мыслить как профессиональный специалист по данным. 💡 Чему вы научитесь Работа с реальными наборами данных: очистка, пропущенные значения, аномалии, агрегация. 📊 Решение проблем с памятью и крахом времени выполнения с помощью cuDF Pandas + RMM. 💾 Ускорение машинного обучения с помощью XGBoost на видеокартах NVIDIA. 🤖 Оцените производительность своей модели и продолжайте делать её умнее! 💪🤓 И самое главное — развивайте мышление специалиста по данным, решая задачи, а не гадая. 🔎 🧠 Чем отличается этот проект Это не очередная «демонстрация для новичков» — это настоящий рабочий процесс, основанный на реальных данных и реальных задачах. Вы столкнётесь с теми же проблемами, с которыми сталкиваются профессионалы: огромные неаккуратные наборы данных, пропущенные метки, ограничения памяти CPU и GPU — всё это объясняется шаг за шагом и простыми словами. Я покажу вам, почему мы принимаем каждое решение, а не только как это запрограммировать, — чтобы вы научились думать, отлаживать и рассуждать как профессионал. 🔗 Важные ссылки ------------------------------------------------ 🔹Скачать обучающий код и небольшой набор данных с GitHub: https://github.com/MariyaSha/nyc_taxi... 🔹Скачать полный набор данных из NYC Open Data: https://data.cityofnewyork.us/Transpo... 🔹Руководство по установке RAPIDS: https://docs.rapids.ai/install/ 🔹Официальный блокнот NVIDIA Google Colab — 🧐 ОЧЕНЬ ПРОДВИНУТЫЙ 🧐: https://colab.research.google.com/dri... 📽️ Важно Обучающие материалы ------------------------------------------------ ⭐ Настройка WSL + Conda:    • My Go-To Python Setup! 🐍 WSL + Conda Minif...   ⭐ Машинное обучение с Scikit-Learn:    • Simple Machine Learning Code Tutorial for ...   ⭐ cuDF Pandas для начинающих:    • Much Faster Pandas with cuDF GPU Processin...   ⭐ Что такое CUDA?    • CUDA Simply Explained - GPU vs CPU Paralle...   ⏰ Временные метки ------------------------------------------------ 01:08 - Скачать набор данных 01:43 - Решение проблем с большими данными с помощью обработки на GPU 02:46 - Настройка Google Colab с бесплатным графическим процессором T4 03:02 - Локальная настройка с графическим процессором NVIDIA 03:43 - Руководство по установке RAPIDS 05:07 - Решение проблемы сбоя ядра Jupyter с помощью cuDF Pandas 05:29 - Обработка пропущенных значений 05:53 - Обнаружение пропущенных значений 06:29 - Замена на ноль 07:31 - Замена на среднее значение 08:57 - Исследование столбцов с неоднозначными именами 11:21 - Удаление столбцов (если нет других вариантов) 12:01 - Разделение данных для обучения и тестирования 12:07 - Перемешивание данных 13:39 — Разделение признаков и целей 14:02 — Разделение обучения и тестирования 16:20 — Загрузка модели XGBoost на GPU 17:55 — Обучение модели XGBoost 18:08 — Тестирование модели XGBoost и получение прогнозов 18:45 — Решение проблемы ValueError: DataFrame.dtypes должен быть int float bool или category 20:15 — Оценка обученной модели 22:39 — Оптимизация данных и аномалии 22:41 — Выявление аномалий данных с помощью агрегации 23:47 — Решение проблемы XGBoostError: Не осталось памяти GPU с помощью RMM 25:04 — Обработка отрицательных зарядов и нереалистичных расстояний 28:19 — Выявление и обработка нереалистичных транзакций 30:28 — Второй запуск обучения на оптимизированных данных 31:45 — Рекомендации 31:45 - Построение графика результатов обучения и важности признаков 32:17 - Настройка гиперпараметров 32:49 - Извлечение данных: из строки в целое число или категорию 33:05 - Проверка K-фолда 33:45 - Спасибо за просмотр! 🚀 Настройка среды ------------------------------------------------ Вы можете запустить этот проект двумя способами, программируя вместе со мной: 1️⃣ Google Colab: Измените среду выполнения на T4 GPU. Используйте уменьшенную версию набора данных NYC Taxi (5 миллионов строк). Скачать выше 👆 2️⃣ Локальная настройка: Убедитесь, что у вас есть совместимый с CUDA GPU. Используйте WSL и Minforge/Conda (⚠️ОБЯЗАТЕЛЬНО! ⚠️). Используйте текущую команду из руководства по установке RAPIDS для вашей настройки (⚠️ОБЯЗАТЕЛЬНО! ⚠️). Используйте полную версию набора данных NYC Taxi (38 миллионов строк). Скачать выше 👆 💻 Код руководства ------------------------------------------------ 📌 Удалите все ...