Отбор признаков с помощью Lasso

Google Tech Talks 21 ноября 2006 г. АННОТАЦИЯ Достижения в области информационных технологий делают возможным сбор данных в большинстве, если не во всех, областях науки и техники и за их пределами. Статистика как научная дисциплина сталкивается с новыми вызовами и обогащается благодаря новым возможностям, возникающим в результате обработки этих многомерных наборов данных. Часто сокращение данных или выбор признаков является первым шагом к решению этих задач, связанных с большими объемами данных. Однако сокращение данных посредством выбора модели или оптимизации методом наименьших квадратов с ограничением l_0 приводит к комбинаторному поиску, который вычислительно нецелесообразен для задач, связанных с большими объемами данных. Вычислительно эффективной альтернативой является оптимизация методом наименьших квадратов с ограничением l_1 или оптимизация Lasso. В этом докладе мы сначала изучим свойство выбора модели Lasso в моделях линейной регрессии. Мы покажем, что условие непредставимости для матрицы плана является почти необходимым и достаточным условием для согласованности выбора модели Lasso для фиксированных случаев p и p n при условии, что истинная модель является разреженной. Кроме того, мы описываем алгоритм Boosted Lasso (BLasso), который создает приближение к полному пути регуляризации Lasso. BLasso состоит из прямого и обратного шагов. Прямой шаг аналогичен алгоритмам Boosting и Forward Stagewise Fitting, но обратный шаг является новым и решающим для того, чтобы BLasso мог аппроксимировать путь Lasso во всех ситуациях. В случаях с конечным числом базовых обучающих моделей, когда размер шага стремится к нулю, показано, что путь BLasso сходится к пути Lasso. Наконец, алгоритм BLasso расширен для получения приближенного пути в случае выпуклой функции потерь плюс выпуклый штраф. Google engEDU Докладчик: Бин Ю