Линейный и Квадратичный Дискриминантный Анализ

Обзор и описание методов машинного обучения «Линейный дискриминантный анализ (LDA)» и «Квадратичный дискриминантный анализ (QDA)» — классических многоклассовых алгоритмов классификации. Оба подхода моделируют условные распределения классов многомерными нормальными законами и выводят решающие правила в замкнутой форме. В LDA предполагается общая ковариационная матрица для всех классов, что приводит к линейным границам решений и устойчивости при малом числе параметров; в QDA ковариации различаются по классам, формируя более гибкие (квадратичные) границы. Методы не требуют подбора гиперпараметров, а оценки параметров получаются аналитически. LDA также используется для контролируемого снижения размерности (до C−1 признаков), сохраняя дискриминативную структуру классов. На практике применяются разные оценочные схемы (например, 'svd', 'lsqr', 'eigen') и техники «усадки» (shrinkage) ковариаций для улучшения устойчивости оценок в условиях ограниченных данных или высокой размерности. 00:00 — Введение в линейный и квадратичный дискриминантный анализ 00:20 — Как научить машину классифицировать? 01:02 — Знакомство с LDA и QDA: два подхода 01:58 — Разница в одном предположении: общая vs. своя ковариация 03:36 — Гибкость против простоты: когда выбирать LDA, а когда QDA 04:25 — Секретный навык LDA: понижение размерности (до C−1) 05:52 — Практика: оценочные схемы и shrinkage для ковариаций Плейлист:    • Машинное обучение   Сайт: https://systems-analysis.ru Wiki: https://systems-analysis.ru/wiki Все ссылки: https://systems-analysis.ru/links.html Telegram: https://t.me/systems_analysis_ru X (Twitter): https://x.com/system_ru Facebook:   / systemlabspb   Instagram:   / systems.analysis.ru   TikTok:   / systems.analysis.ru   Threads: https://www.threads.com/@systems.anal... Substack: https://substack.com/@systemru Medium:   / systems-analysis.ru   Teletype: https://teletype.in/@systems-analysis Dzen: https://dzen.ru/systems-analysis.ru Поддержать: https://boosty.to/systems.analysis.ru Каталог видео: https://systems-analysis.ru/systems_a... #LDA #QDA #ЛинейныйДискриминантныйАнализ #КвадратичныйДискриминантныйАнализ #Классификация #МашинноеОбучение #ИскусственныйИнтеллект #DataScience #Статистика #ГауссовыМодели #Ковариация #Shrinkage #ПонижениеРазмерности #SVD #LSQR #Eigen #SupervisedLearning #FeatureExtraction #ML #AI