Джаред Каплан | Законы масштабирования и их последствия для программирования ИИ

Семинар «Новые технологии в математике» 02.03.2022 Докладчик: Джаред Каплан, кафедра физики и астрономии Университета Джонса Хопкинса Название: Законы масштабирования и их значение для ИИ в программировании Аннотация: Законы масштабирования и связанные с ними тенденции могут использоваться в качестве организующего принципа при рассмотрении текущего и будущего прогресса в машинном обучении. Я кратко рассмотрю законы масштабирования для генеративных моделей в ряде областей, уделяя особое внимание моделированию языка. Затем я обсужу результаты масштабирования для переноса из естественного языка в код, а также результаты производительности программирования на Python на основе «codex» и других моделей. Если останется время, я обсужу перспективы на будущее — ограничения, связанные с размерами наборов данных, и перспективы RL и других методов.