MedAI #41: Эффективное моделирование длинных последовательностей с помощью структурированных прос...

Название: Эффективное моделирование длинных последовательностей с помощью структурированных пространств состояний Докладчик: Альберт Гу Аннотация: Центральная цель моделирования последовательностей — разработка единой принципиальной модели, способной обрабатывать данные последовательностей в различных модальностях и задачах, особенно при наличии долгосрочных зависимостей. Хотя традиционные модели, включая RNN, CNN и Transformer, имеют специализированные варианты для учета долгосрочных зависимостей, они по-прежнему испытывают трудности с масштабированием до очень длинных последовательностей, состоящих из 10000 и более шагов. В этом докладе представлена ​​структурированная модель последовательностей в пространстве состояний (S4), простая новая модель, основанная на фундаментальном представлении пространства состояний $x*(t) = Ax(t) + Bu(t), y(t) = Cx(t) + Du(t)$. S4 сочетает в себе элегантные свойства моделей пространства состояний с недавней теорией HiPPO непрерывного запоминания, в результате чего получается класс структурированных моделей, которые математически обрабатывают долгосрочные зависимости и могут быть вычислены очень эффективно. S4 демонстрирует убедительные эмпирические результаты на широком спектре общепринятых эталонных тестов, особенно для непрерывных сигнальных данных, таких как изображения, аудио и временные ряды. Биография докладчика: Альберт Гу — аспирант последнего года обучения на кафедре компьютерных наук Стэнфордского университета, научный руководитель — Кристофер Ре. Его исследования посвящены структурированным представлениям для повышения возможностей моделей машинного обучения и глубокого обучения, с акцентом на структурированную линейную алгебру, неевклидовы представления и теорию моделей последовательностей. Ранее он получил степень бакалавра математики и компьютерных наук в Университете Карнеги-Меллона и прошел стажировку в DeepMind в 2019 году. ------ Групповые сессии обмена опытом MedAI — это платформа, где мы можем критически рассматривать ключевые темы в области ИИ и медицины, генерировать новые идеи и дискуссии на стыке этих областей и, что наиболее важно, учиться друг у друга. Мы будем проводить еженедельные сессии, на которых приглашенные спикеры будут представлять свои работы, после чего состоится интерактивное обсуждение и сессия вопросов и ответов. Наши сессии проходят каждый четверг с 13:00 до 14:00 по тихоокеанскому времени. Чтобы получать уведомления о предстоящих сессиях, пожалуйста, подпишитесь на нашу рассылку: https://mailman.stanford.edu/mailman/... Более подробную информацию о MedAI вы найдете на нашем сайте: https://medai.stanford.edu. Вы можете следить за нами в Twitter @MedaiStanford Организаторы: сотрудники лаборатории Рубина (http://rubinlab.stanford.edu) Нандита Бхасхар (https://www.stanford.edu/~nanbhas) Сийи Тан (https://siyitang.me)