Как на самом деле создают ChatGPT: от текстов из интернета до ассистента

Спросите «сырую» языковую модель «Как заварить чай?» — и она ответит новыми вопросами: «Как сварить кофе? Как сварить яйцо?». И всё же ChatGPT построен из такой же нейросети. На доске мы проводим один вопрос про чай через весь конвейер: предобучение, supervised fine-tuning, настройку по предпочтениям (RLHF и DPO), настройку безопасности, system prompt и, наконец, что происходит token за token, когда вы нажимаете «отправить». 0:00 От текстов из интернета к токенам и угадыванию следующего токена 2:54 Базовая модель и почему она несёт чепуху 5:43 Учим роли: fine-tuning и человеческие предпочтения 9:00 Безопасность, system prompt и что происходит после «отправить» #ChatGPT #LLM #RLHF #AI #MachineLearning #AIExplained #fyp #viral #viralvideo #fypシ