Означает ли SubQ конец Anthropic и OpenAI?

#llms #claude #subq Что если бы модели ИИ могли обрабатывать огромные контекстные окна — миллионы токенов — без резкого увеличения вычислительных затрат? В этом видео мы разбираем SubQ и его смелые заявления: Субквадратичная производительность В 1000 раз эффективнее Контекстное окно до 12 миллионов токенов Менее чем на 5% дешевле, чем Opus Без потери качества Так как же это возможно? Традиционные трансформеры используют плотное внимание, где каждый токен сравнивается с каждым другим токеном, создавая печально известную проблему квадратичного масштабирования (O(n²)). По мере увеличения длины контекста требования к вычислительным ресурсам резко возрастают. SubQ представляет субквадратичную архитектуру разреженного внимания (SSA): Использует зависимый от содержимого выбор Направляет внимание только на наиболее релевантные токены Фокусируется на значении, а не на позиции Позволяет проводить рассуждения в длительном контексте без значительного увеличения вычислительных ресурсов Мы также визуально сравниваем плотное и разреженное внимание и объясняем, почему разреженная маршрутизация меняет экономику ИИ в больших контекстах. Если вас интересует масштабирование ИИ, модели с длительным контекстом, эффективность трансформеров и архитектуры следующего поколения — эта статья для вас.