Создайте собственное хранилище данных для персональной аналитики с помощью SQLite и Datasette.

Саймон Уиллисон https://2020.pycon.org.au/program/73UK8X Многие энтузиасты данных мечтают анализировать свои личные данные, но мало кто находит время для создания собственного конвейера анализа. В этом докладе мы покажем, как начать заниматься персональной аналитикой с максимальной отдачей от вложенных усилий. SQLite — идеальный инструмент для создания конвейера анализа персональных данных: он бесплатный, быстрый и широко поддерживаемый. Каждая база данных представляет собой один файл на диске, поэтому вам не нужно настраивать сервер баз данных, чтобы начать его использовать. Инструменты для импорта данных в SQLite могут быть написаны на любом языке программирования, а поддержка JSON означает, что он может даже обрабатывать данные, которые могут не помещаться в стандартную таблицу реляционной базы данных. Datasette — это приложение на Python, предоставляющее интерфейс над SQLite. Оно позволяет добавлять закладки и запросы в браузере и экспортировать результаты в формате JSON и CSV. Экосистема плагинов Datasette насчитывает более 30 плагинов, которые расширяют возможности Datasette различными способами, добавляя инструменты визуализации, альтернативные форматы экспорта и многое другое. Я покажу, как объединить SQLite, Datasette и несколько простых скриптов на Python для сбора персональных данных из различных источников и создания личного хранилища данных для вашей цифровой жизни. Источники данных будут включать: Twitter Facebook Apple Photos LinkedIn Google (через Google Takeout) Foursquare / Swarm GitHub Apple Health 23AndMe Методы, работающие для отдельных лиц, могут работать и для организаций. В заключение я покажу, как этот подход к работе с данными может масштабироваться для решения профессиональных задач в дополнение к личной аналитике. Создано NDV:    / @nextdayvideo   Python, PyCon, PyConAU, PyConline Пт, 4 сентября 2020 г., 16:00:00 в Curlyboi