Гиперпараметры, недообучение и переобучение в наивном байесовском классификаторе || Урок 51 || Ма...

#машинноеобучение #обучающаясяобезьяна На этом занятии мы обсудим недообучение и переобучение гиперпараметров в наивном байесовском классификаторе. Чтобы понять недообучение и переобучение гиперпараметров в наивном байесовском классификаторе, нам необходимо понять наивный байесовский классификатор. На предыдущем занятии мы обсуждали сглаживание Лапласа. Если сглаживание Лапласа не применяется к нашей модели, предположим, слово присутствует только в одном отзыве, и если этот отзыв удален из набора данных, то вероятность этого слова равна нулю. Небольшое изменение в наборе данных приводит к значительному изменению вероятности. Это означает переобучение. Небольшие изменения в решении сильно влияют на это, поэтому мы называем модели с высокой дисперсией. Когда нет сглаживания Лапласа, то есть значение альфа равно нулю, происходит переобучение. По мере увеличения значения альфа мы удаляемся от переобучения. Давайте возьмем альфа равным десяти тысячам. В рассматриваемом нами примере 100 положительных отзывов. Предположим, слово присутствует в десяти вариантах обратной связи. Тогда вероятность равна 10 + 10000 / (100 + 20000). Значение вероятности близко к 0,5. Здесь влияние вероятности слова компенсируется значением альфа. Поскольку альфа равна 10000, то есть десять тысяч плюс десять, где десять не влияет на результат, Таким образом, вероятность любого слова будет близка к 0,5. Поэтому мы получаем одинаковое значение вероятности как для отрицательной, так и для положительной обратной связи. Это означает, что наша модель недообучена. Наша модель смещена в сторону определенного значения. Модели с высоким смещением называются недообученными моделями. Здесь альфа называется гиперпараметром. Изменяя модель, мы переходим к переобучению или недообучению. Поэтому нам необходимо настроить модель, чтобы найти наилучший гиперпараметр. Проверьте точность для разных гиперпараметров и найдите оптимальное значение альфа. Для поиска оптимального значения альфа-канала мы используем класс gridsearchcv из библиотеки sklearn. Это называется компромиссом между смещением и дисперсией. Настройка гиперпараметров осуществляется с помощью кросс-валидации, что легко сделать с помощью класса grid-search. Ссылка на плейлисты:    / @wisdomerscse   Ссылка на наш сайт: https://learningmonkey.in Подписывайтесь на нас в Facebook:   / learningmonkey   Подписывайтесь на нас в Instagram:   / learningmonkey1   Подписывайтесь на нас в Twitter:   / _learningmonkey   Напишите нам: learningmonkey01@gmail.com