Создание набора данных для дообучения LLM

Процесс создания набора данных для тонкой настройки языковой модели QLoRA. Регистрация на NVIDIA GTC: https://nvda.ws/3XTqlB6 Код тонкой настройки: https://github.com/Sentdex/LLM-Finetu... 5000-шаговый адаптер Walls1337bot: https://huggingface.co/Sentdex/Walls1... Набор данных WSB: https://huggingface.co/datasets/Sentd... Оригинальный пост на Reddit и информация о торренте «У меня есть каждый комментарий на Reddit»:   / i_have_every_publicly_available_reddit_com...   Архив Reddit Archive.org за 2007-2015 годы: https://archive.org/download/2015_red... Reddit BigQuery 2007-2019 (здесь есть и другие данные, помимо комментариев Reddit!):   / 17_billion_reddit_comments_loaded_on_bigquery   Содержание: 0:00 - Введение в создание наборов данных для тонкой настройки. 02:53 - Варианты набора данных Reddit (Torrent, Archive.org, BigQuery) 06:07 - Экспорт данных Reddit из BigQuery (и некоторых других данных) 14:44 - Распаковка всех gzip-архивов 25:13 - Повторное объединение архивов для целевых сабреддитов 28:29 - Как структурировать данные 40:40 - Создание обучающих выборок и сохранение в базу данных 48:49 - Создание пользовательских обучающих JSON-файлов 54:11 - Обучение QLoRA и результаты Книга «Нейронные сети с нуля»: https://nnfs.io Членство в канале:    / @sentdex   Discord:   / discord   Reddit:   / sentdex   Поддержите контент: https://pythonprogramming.net/support... Twitter:   / sentdex   Instagram:   / sentdex   Facebook:   / pythonprogramming.net   Twitch:   / sentdex