Обучаем BERT модель для классификации текста / NLP на PyTorch
Дмитрий Колесников
0:00 / 0:00
Обучаем BERT модель для классификации текста / NLP на PyTorch
2 805 просмотров · 6 месяцев назад
Дмитрий Колесников
5,68 тыс. подписчиков
2 805 просмотров · 6 месяцев назад
В этом видео пройдем полный цикл разработки модели бинарной классификации текстовых отзывов на PyTorch. Научимся определять, является ли отзыв позитивным или негативным. По итогу задеплоим обученную RoBERTa модель в Triton Server.
Что разберем:
Предобработка данных и подготовка датасета
Принцип работы токенизаторов
Архитектура трансформеров и fine-tuning
Лучшие методики для достижения высокого качества обучения
Интерпретация предсказаний модели
Экспорт в ONNX и деплой ансамбля в Triton Inference Server
📦 Материалы и код к видео:
https://github.com/Koldim2001/text-fe...
⏱ Таймкоды из видео:
0:58 - Предобработка данных и подготовка датасета
7:07 - Как нейросети обрабатывают текст
13:24 - Изучаем работу токенизатора
19:19 - Подготовка датасета и даталоадера в PyTorch
25:35 - Загружаем модель и настраиваем ее
34:42 - Пишем код обучения модели
45:28 - Анализируем итоги обучения
48:05 - Изучаем тестовые метрики и ищем инсайты
55:19 - Инференс обученной модели через PyTorch
57:00 - Интерпретация работы модели с помощью LIME
1:00:48 - Переводим модель в ONNX
1:02:39 - Запускаем Triton Inference Server в Docker
1:04:17 - Как устроено ансамблирование моделей в Triton
1:15:18 - Выполняем инференс ансамбля Triton по gRPC
🎓 Собрал плейлист с видео по нарастающей сложности - от основ до продвинутых практик DL: • Компьютерное зрение с нуля до профи
#NLP #PyTorch #Transformers #ONNX #TritonInferenceServer #MLOps #DeepLearning #RoBERTa #DL #BERT