Monarch Mixer: повышение эффективности базовых моделей — Дэн Фу | Семинар Stanford MLSys № 86

86-й выпуск серии семинаров Stanford MLSys! Monarch Mixer: Повышение эффективности базовых моделей Докладчик: Дэн Фу Аннотация: Модели машинного обучения все чаще масштабируются как по длине последовательности, так и по размерности модели для достижения более длинных контекстов и повышения производительности. Однако существующие архитектуры, такие как Transformers, масштабируются квадратично по обеим этим осям. В этом докладе я расскажу о Monarch Mixer (M2), новой архитектуре, которая использует один и тот же субквадратичный примитив как по длине последовательности, так и по размерности модели. M2 смешивает информацию по размерности последовательности и модели, используя матрицы Monarch — простой класс выразительных структурированных матриц, которые охватывают множество линейных преобразований, обеспечивают высокую эффективность работы оборудования на графических процессорах и масштабируются субквадратично. Биография: Дэн Фу — аспирант кафедры компьютерных наук Стэнфордского университета, где его научными руководителями являются Кристофер Ре и Кайвон Фатахалиан. Его исследования находятся на стыке системного и машинного обучения и сосредоточены на разработке алгоритмов и архитектур для повышения эффективности машинного обучения. Monarch Mixer arXiv: https://arxiv.org/abs/2310.12109 FlashFFTConv arXiv: https://arxiv.org/abs/2311.05908 -- Ведущие семинара Stanford MLSys: Симран Арора, Дэн Фу Твиттер:   / simran_s_arora     / realdanfu​   -- Расписание смотрите на нашем сайте: http://mlsys.stanford.edu Подпишитесь на нашу рассылку, чтобы получать еженедельные обновления: https://groups.google.com/forum/#!for... #машинноеобучение #искусственныйинтеллект #системы #mlsys #компьютерныенауки #стэнфорд