Django + Celery + Selenium для парсинга чего угодно с помощью Python

🚀 Зарегистрируйтесь в Bright Data прямо сейчас https://brdta.com/justin Selenium с Bright Data позволяет парсить практически любой веб-сайт, независимо от наличия капчи или необходимости авторизации. В этой серии вы будете использовать Django и Celery, чтобы парсить данные по своему расписанию и хранить их в отличной структуре. Мы будем отслеживать колебания цен на товары Amazon. Рассматриваемые темы: ⦿ Интеграция Django с Celery для обработки запланированных и фоновых задач ⦿ Практический опыт работы с Selenium в Jupyter для автоматизации работы в браузере ⦿ Передовые методы парсинга прокси-серверов с использованием Bright Data и Selenium, включая обработку сложных задач, таких как капча Amazon ⦿ Создание вспомогательных функций для оптимизации модуля парсинга ⦿ Сочетание Django и Jupyter для улучшения опыта разработки на основе данных ⦿ Парсинг данных с помощью BeautifulSoup4 для эффективного поиска и извлечения необходимых данных ⦿ Эффективное хранение данных с использованием моделей Django ⦿ Перенос ресурсоемких задач парсинга с помощью Celery для повышения производительности приложения ⦿ Автоматизация и планирование задач парсинга в административной панели Django с использованием Celery ⦿ Кроме того, множество более подробных знаний и практических советов! Рекомендуем посмотреть ⦿ Попробуйте Django 3.2 (или аналогичный):    • Try Django 3.2 - Python Web Development Tu...   ⦿ 30 дней Python (до примерно 15-го дня):    • 30 Days of Python ~ Python 3.8+   ⦿ Желателен некоторый опыт работы с HTML/CSS Ресурсы ⦿ Код: https://github.com/codingforentrepren... ⦿ Подписаться: https://cfe.sh/youtube ⦿ Django: https://djangoproject.com ⦿ Bright Data: https://brdta.com/justin 🚀 Что дальше? Веб-скрейпинг с Python + ИИ: наш бесплатный курс на Udemy: https://www.udemy.com/course/smarter-... 00:00:00 - Приветствие 00:02:23 - Инструменты 00:06:07 - Быстрая интеграция Django + Celery 00:19:06 - Настройка проекта 00:21:23 - Первый взгляд на Selenium с Jupyter 00:25:08 - Скрейпинг через прокси с Bright Data + Selenium 00:32:08 - Вспомогательные функции для модуля Bright Data 00:35:55 ​​- Интеграция Django + Jupyter 00:39:00 - Парсинг данных с помощью BeautifulSoup4 00:52:02 - Amazon Captcha + Вспомогательные функции для подготовки парсера 00:58:30 - Сохраненные скрейпированные данные с помощью Django Модели 01:10:51 - Задача Celery для переноса процесса сбора данных в хранилище 01:22:29 - Планирование событий сбора данных с помощью Celery в административной панели Django 01:33:16 - Спасибо и дальнейшие шаги