ML на Python с нуля
Иван Шацков
0:00 / 0:00
ML на Python с нуля
184 просмотра · 13 дней назад
Иван Шацков
25 подписчиков
184 просмотра · 13 дней назад
Видели теорию машинного обучения, но не видели, как она выглядит в коде? Пишем модель с нуля на Python и настоящих данных: 5,5 миллиона объявлений о продаже квартир, pandas, scikit-learn и Google Colab.
Шаг за шагом: откуда брать данные, как их загрузить и почистить, как честно проверить модель и почему одна модель лучше другой. Ошибка падает с 4 273 116 ₽ у самой простой модели до 598 974 ₽ у случайного леса - это 6,5 % от цены квартиры.
Ноутбук из ролика, открывается в Colab, код тот же, что в кадре:
https://gist.github.com/Iva-q
Датасет на Kaggle: Russia Real Estate 2018-2021. Прямая ссылка и инструкция, как его скачать, - внутри ноутбука.
Чтобы повторить, нужны браузер, аккаунт Google и минут десять. Ничего устанавливать не надо.
Главы:
00:00 О чём этот урок
00:26 Сколько стоит эта квартира
01:14 Что значит «предсказать цену»
02:12 Kaggle: откуда взять данные
02:45 Google Colab: где писать код
04:45 Загружаем csv в pandas
06:33 Что внутри таблицы: head и info
08:00 Числовые и категориальные признаки
09:00 describe и запись 5.47e+06
10:32 Чистим данные
11:50 Оставляем только Москву
12:36 Выбросы: правила здравого смысла
15:15 Честное разбиение: train и test
16:55 Дубли объявлений и отпечаток квартиры
19:45 Метрика: медианная ошибка
24:25 Модель 1: средняя цена по городу
25:35 Модель 2: линейная регрессия по площади
26:40 Добавляем координаты
27:10 Где прямая ошибается
27:35 Почему для таблиц берут деревья
28:33 Модель 3: решающее дерево
30:40 Глубина дерева и переобучение
32:20 Градиентный бустинг
33:40 Случайный лес
34:05 Ловушка: утечка данных
35:18 Итог: все модели рядом
35:55 Что важнее синтаксиса
Сайт: https://ivanshatskov.ru
Короткие разборы: https://www.instagram.com/ishatskov.ml/
#машинноеобучение #python #pandas #sklearn #ivanshatskov