Перейти к содержимому

ML на Python с нуля

Иван Шацков

0:00 / 0:00

ML на Python с нуля

184 просмотра · 13 дней назад
Иван Шацков
25 подписчиков
184 просмотра · 13 дней назад
Видели теорию машинного обучения, но не видели, как она выглядит в коде? Пишем модель с нуля на Python и настоящих данных: 5,5 миллиона объявлений о продаже квартир, pandas, scikit-learn и Google Colab. Шаг за шагом: откуда брать данные, как их загрузить и почистить, как честно проверить модель и почему одна модель лучше другой. Ошибка падает с 4 273 116 ₽ у самой простой модели до 598 974 ₽ у случайного леса - это 6,5 % от цены квартиры. Ноутбук из ролика, открывается в Colab, код тот же, что в кадре: https://gist.github.com/Iva-q Датасет на Kaggle: Russia Real Estate 2018-2021. Прямая ссылка и инструкция, как его скачать, - внутри ноутбука. Чтобы повторить, нужны браузер, аккаунт Google и минут десять. Ничего устанавливать не надо. Главы: 00:00 О чём этот урок 00:26 Сколько стоит эта квартира 01:14 Что значит «предсказать цену» 02:12 Kaggle: откуда взять данные 02:45 Google Colab: где писать код 04:45 Загружаем csv в pandas 06:33 Что внутри таблицы: head и info 08:00 Числовые и категориальные признаки 09:00 describe и запись 5.47e+06 10:32 Чистим данные 11:50 Оставляем только Москву 12:36 Выбросы: правила здравого смысла 15:15 Честное разбиение: train и test 16:55 Дубли объявлений и отпечаток квартиры 19:45 Метрика: медианная ошибка 24:25 Модель 1: средняя цена по городу 25:35 Модель 2: линейная регрессия по площади 26:40 Добавляем координаты 27:10 Где прямая ошибается 27:35 Почему для таблиц берут деревья 28:33 Модель 3: решающее дерево 30:40 Глубина дерева и переобучение 32:20 Градиентный бустинг 33:40 Случайный лес 34:05 Ловушка: утечка данных 35:18 Итог: все модели рядом 35:55 Что важнее синтаксиса Сайт: https://ivanshatskov.ru Короткие разборы: https://www.instagram.com/ishatskov.ml/ #машинноеобучение #python #pandas #sklearn #ivanshatskov