Перейти к содержимому

Requests VS Aiohttp | Ускоряем HTTP запросы на максимум

ZProger [ IT ]

0:00 / 0:00

Requests VS Aiohttp | Ускоряем HTTP запросы на максимум

40 203 просмотра · 3 года назад
ZProger [ IT ]
152 тыс. подписчиков
40 203 просмотра · 3 года назад
⭐ Какие прокси я использую: https://asocks.com/ru ⬆️ Промокод на первые 5 GB бесплатно: GTHDSQ1 ⭐ Курс ООП и Приват канал: https://www.zproger-school.com/?utm_s... ⭐ Телеграм канал: https://t.me/codeblog8 ⭐ Исходный код: https://t.me/codeblog8/169 ⭐ Прокси для обхода блокировок: https://proxy6.net/c/91388 В данном видео мы напишем парсер изображений с сайта Nvidia и сделаем синхронную и асинхронную версию с использованием прокси. Наша задача сделать парсинг данных с сайта и сохранить итоговые изображения. Мы сделаем тесты производительности обычных requests запросов и асинхронной версии, с использованием: aiohttp, asyncio и aiofiles. Также узнаем, почему синхронность работает медленней асинхронности, и узнаем как ускорить все эти процессы на максимум. Асинхронный парсинг сайтов, позволяет в разы ускорить запросы Python и завершить процесс намного быстрее. 📁 Github: https://github.com/Zproger 📁 Все плейлисты с уроками: https://bit.ly/39GaY89 📁 Связаться со мной: zproger777@gmail.com 📁 Поддержать канал: https://github.com/Zproger/donate Тайм-коды: 0:00 - Делать ли видео о aiofiles? 0:48 - Извлекаем запросы из сайта Nvidia 2:12 - Какие прокси будем использовать? 2:39 - Генерируем названия файлов через время Unix 3:18 - Извлекаем расширение файла из content-type 4:08 - Сохраняем изображения в папку images 4:35 - Скорость синхронной версии без прокси 4:52 - Скорость синхронной версии с прокси 5:20 - Почему синхронность медленней асинхронности? 5:57 - Запускаем асинхронные задания параллельно 7:07 - Делаем запросы полностью асинхронными 7:23 - Делаем запись в файл асинхронно, с помощью aiofiles и chunks 8:07 - Скорость асинхронной версии (прирост в 8 раз) 8:17 - Скорость асинхронной версии с прокси (прирост в 2 раза) 8:30 - 1000 лайков == видео с aiofiles 8:45 - Исходный код в описании. Полезные видео в подсказках