Что происходит при вызове Amazon Bedrock?

Вы обращаетесь в Bedrock, получаете ответ, внедряете функцию. Но именно в этом промежутке между запросом и ответом кроется вся путаница: почему потоковая обработка кажется быстрее, почему ответы обрываются, почему температура изменяет выходные данные. Всё это происходит из-за одного механизма. Один запрос, отслеживаемый вашим кодом до получения ответов. Полный конвейер: аутентификация и маршрутизация, токенизация, механизм внимания, распределение вероятностей, которое модель строит для каждого слова, softmax, температура, top p, авторегрессионный цикл и потоковая обработка. Инструментарий агента для AWS: https://go.aws/4w2ip17 Amazon Bedrock: https://go.aws/4whL0jm Подписывайтесь на AWS Developers! 🆇 X: https://go.aws/4wGKXyt 💼 LinkedIn: https://go.aws/3TxUt8s 0:00 Один трюк: Какое слово будет следующим 0:39 Что происходит, когда вы называете Bedrock 1:57 Модель не учится у вас 2:55 Аутентификация и маршрутизация (до запуска модели) 4:00 Токенизация: текст в числа 5:05 Чтение подсказки (внимание) 5:49 Выбор следующего слова (настоящая математика) 7:21 Объяснение температуры 8:08 Объяснение Top P 8:36 Авторегрессивный цикл: выбираем, добавляем, повторяем 9:04 Объяснение математики 10:03 Токены обратно в текст + потоковая передача 10:50 Почему теперь все имеет смысл 12:12 Ваш набор инструментов Turn + Agent для WS #AWS #AmazonBedrock #AgentToolkit