Обзор инженерии данных

Инженеры данных объединяют и подготавливают данные для визуализации, очистки, масштабирования и разделения данных для обучения, проверки и тестирования. Инженерия данных: Часть 1 Сбор данных — это процесс объединения разрозненных данных (электронные таблицы Excel, CSV-файлы, PDF-отчеты, базы данных, облачные хранилища) в единое хранилище. Для данных временных рядов таблицы объединяются для сопоставления признаков и меток в определенные моменты времени. Статистика предоставляет краткое описание данных, такое как количество наборов данных, среднее значение, стандартное отклонение и информация о квартилях. Статистический профиль данных показывает, сколько данных было собрано и каково их качество. Визуализация — это графическое представление данных. Визуализация важна для первого ознакомления с данными, анализа их разнообразия, взаимосвязей, пропущенных данных, некорректных данных или других факторов, которые могут повлиять на решения об исключении или включении соответствующего подмножества для обучения. Очистка данных — это процесс удаления некорректных данных, которые могут включать выбросы, пропущенные записи, неисправные датчики или другие типы отсутствующей или поврежденной информации. Инженерия данных: Часть 2 Инженерия признаков — это процесс выбора и создания входных дескрипторов для машинного обучения. Категориальные данные преобразуются в числовые значения, такие как True=1 и False=0. Инженерия признаков создает индикаторы из изображений, слов, чисел или дискретных категорий. Признаки ранжируются по степени значимости. Неважные признаки выявляются и удаляются для сокращения времени обучения, снижения затрат на хранение и минимизации ресурсов развертывания. Несбалансированные данные являются проблемой для точности классификации, поскольку в прогнозах предпочтение отдается классу большинства. Передискретизация класса меньшинства или недодискретизация класса большинства — два метода восстановления баланса. Масштабирование данных (входных и выходных) в диапазоне от 0 до 1 или от -1 до 1 может улучшить процесс обучения. Существуют различные методы масштабирования, которые важны в зависимости от наличия выбросов или статистических свойств данных, которые могут указывать на больший общий диапазон, так что большая часть данных находится в диапазоне от 0 до 1 или от -1 до 1. Разделение данных обеспечивает наличие независимых наборов для обучения, тестирования и валидации. Тестовый набор используется для оценки соответствия модели независимо от обучающего набора и для улучшения гиперпараметров без переобучения на обучающем наборе. Валидация может включать третье разделение для оценки оптимизации гиперпараметров. Перекрестная валидация — это альтернативный подход, при котором обучающие данные разделяются на несколько наборов, которые обучаются отдельно и тестируются на другом наборе. Согласованность параметров сравнивается между несколькими моделями. Входные данные (признаки) и выходные данные (метки) разделяются на отдельные структуры данных. Функция потерь, такая как квадрат разности между предсказанной меткой и измеренной меткой, является типичной функцией потерь (целевой функцией). Матрица ошибок — это графическое представление ошибок классификации. Разработка данных: Часть 3 Развертывание машинного обучения — это процесс предоставления решения машинного обучения для получения результатов, доступных пользователям или компьютерам для удаленного доступа к сервису. Он включает в себя управление потоком данных в приложение для обучения или прогнозирования. Поток данных может быть пакетным или непрерывным. Приложение машинного обучения может быть развернуто различными способами, например, через API (интерфейс прикладного программирования), веб-интерфейс, приложение для мобильных устройств или через Jupyter Notebook или скрипт Python. Если модель машинного обучения обучается в автономном режиме, модель инкапсулируется и передается на целевой хостинг. Масштабируемое развертывание означает, что вычислительная архитектура может обрабатывать возросший спрос, например, через облачный вычислительный хост с масштабированием по требованию. Машинное обучение для инженеров: https://apmonitor.com/pds Разработка данных: https://apmonitor.com/pds/index.php/M...