Параллельный Python в Anyscale с Ray — Talk Python to Me, эп. 547

Когда OpenAI обучала GPT-3, они не создавали собственный слой оркестровки. Они использовали Ray, открытый фреймворк на Python, разработанный в той же исследовательской лаборатории Беркли, что и Apache Spark. И вот в чем загвоздка: Ray изначально создавался для исследований в области обучения с подкреплением, а затем незаметно исчез, когда эта область исследований столкнулась с трудностями. Пока не появился ChatGPT. Внезапно обучение с подкреплением вернулось, став этапом после обучения, превращающим исходную языковую модель в нечто действительно полезное. Эдвард Оукс и Ричард Лиау, два инженера-основателя Ray и Anyscale, присоединятся ко мне на Talk Python, чтобы рассказать эту историю. Мы проследим путь Ray от его истоков в лаборатории RISE в Калифорнийском университете в Беркли до обеспечения работы одних из самых масштабных обучающих процессов в мире. Мы поговорим о том, что представляет собой Ray — распределенный механизм выполнения для рабочих нагрузок ИИ, и как несколько строк кода на Python превращаются в работу, запускаемую на сотнях графических процессоров. Мы рассмотрим Ray Data для многомодальных конвейеров, панель мониторинга, удаленный отладчик VS Code, KubRay для Kubernetes, а также место Ray рядом с Dask, многопроцессорной обработкой и asyncio. Если вы когда-либо смотрели на скрипт Python для одной машины и думали: «Должен быть лучший способ масштабировать это», то этот выпуск для вас. ▬▬▬▬ О подкасте ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ Это видео — полная, неотредактированная запись подкаста Talk Python To Me ( https://talkpython.fm ). Мы еженедельно обсуждаем темы, связанные с Python, и публикуем отредактированную и отполированную версию в аудиоформате. Подпишитесь в любом удобном для вас подкаст-плеере (совершенно бесплатно) по ссылке https://talkpython.fm/subscribe. ▬▬▬▬ Гости ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ Ричард Лиау Эдвард Оукс ▬▬▬▬ Ссылки и ресурсы из программы ▬▬▬▬▬▬▬▬▬▬▬▬ Ray: https://www.ray.io Пример кода (который мы использовали для пошагового руководства): https://docs.ray.io/en/latest/ray-ove... Начало работы с Ray: https://docs.ray.io/en/latest/ray-obs... Библиотеки Ray: https://docs.ray.io/en/latest/ray-ove... kuberay: https://github.com/ray-project/kuberay ▬▬▬▬ Подробнее ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ Слушайте подкаст Talk Python To Me по адресу https://talkpython.fm и изучите более 275 часов курсов по Python по адресу https://training.talkpython.fm/courses. ▬▬▬▬ Следите за нами в социальных сетях ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ Mastodon: Майкл - https://fosstodon.org/@mkennedy и Talk Python - https://fosstodon.org/@talkpython Bluesky: Майкл - https://bsky.app/profile/mkennedy.codes и Talk Python - https://bsky.app/profile/talkpython.fm X: Майкл - https://x.com/mkennedy и Talk Python - https://x.com/talkpython