Manejo de datos desbalanceados en clasificadores: Modificación de pesos en la función de pérdida

Al estudiar outputs cualitativos, como en la asignación de un crédito, es común tener más individuos en un grupo que en el otro. Por ejemplo, a más gente se le niega el crédito que a los que se les aprueba. En estos casos, un análisis predictivo usual puede arrojar métricas engañosas, en particular la exactitud o accuracy que puede ser demasiado optimistas al ser mejor clasificado el grupo mayoritario. Existen varias herramientas para combatir este problema, uno es modificando la pérdida tomando costos distintos por grupo, obligando así a que mejore la clasificación en el grupo minoritario. Este costo puede basarse en las frecuencias por grupo. En este video se muestra un ejemplo completo del manejo de desbalance a través de modificar la función de pérdida, así como la métrica, usando mejor la sensitividad (recall) o la precisión, y cambiando el punto de corte del predictor. En este proceso, pueden dividirse los datos en cuatro partes, dos para el entrenamiento y en donde se va a realizar la selección de variables, una tercera para la selección del punto de corte y una cuarta para prueba. Este es un proceso que combate de varias formas el desbalance, así que puede darnos resultados más realistas y correctos al llevar a producción al modelo. Para aprender a hacer análisis similares y de cualquier área de análisis de datos, Estadística y modelos de IA: 🌐 Web: https://lumialearning.com/ 📧 Contacto: info@lumialearning.com 💙🅿️ Apoyo: https://www.paypal.com/paypalme/lumia... #Clasificador #Desbalance #FunciónPérdida #Logística #Trainset #TestSet #ValidationSet #Cutoff #Sensibilidad #Recall #Python