Comment choisir les variables d'un modèle? Comment réduire le nombre de variables avec Boruta?

Que ce sit dans la régression ou la classification, la question qui se pose est toujours le nombre de variables à inclure dans le modèle. Sur base des théories et des travaux empiriques, on peut inclure dans le modèle plusieurs variables en vue d'identifier celles qui sont significatives. Des fois, on a besoin de savoir la méthode de réduction de la dimensionnalité ou de réduction du nombre de variables. Cette vidéo explique le processus d'identification des variables à inclure dans le modèle de régression ou classification. Il faut savoir qu'il faut supprimer les variables hautement corrélées pour éviter les problèmes de multicollinéalité. Ensuite il faut supprimer toutes les variables qui n'ont pas de lien avec la variable dépendante. Il faut des fois supprimer les variables avec beaucoup de données manquantes. Quand aux techniques de réduction, nous présentons différents algorithimes comme boruta, stepwise, step, backward, forward,etc. L'algorithme boruta permet d'identifier les variables importantes dans les classification. StepAIC et step sont permettent de sélectionner automatiquement les variables significatives dans la régression linéaire (lm) et les modèles de régression généralisée (glm). A l'aide d'un exemple, nous montrons qu'un modèle de 33 variables est plus performant et donne un degré de précision élevé qu'un modèle de 60 variables. Les mots clés: Boruta, stepwise, step, régression, classification, réduction de variables, réduction de dimensionnalité, feautures selection . #boruta #stepaic #reductiondevariables