MoE explicado: muitos parâmetros, poucos ativos por token

Entenda como um modelo MoE escolhe experts para cada token e o que significam parâmetros totais versus ativos. A demonstração em Python mostra a diferença entre cálculo por token e pesos armazenados, sem tratar o exemplo como benchmark de velocidade. Usamos como exemplos os anúncios de Muse Spark Open e LFM2.5-24B-A2B. Também explicamos por que parâmetros ativos, memória e velocidade real não são a mesma coisa. Fontes: Muse Spark Open: https://huggingface.co/blog/meta-muse... LFM2.5-24B-A2B: https://huggingface.co/blog/LiquidAI/... Otimizações de kernels MoE na AWS: https://aws.amazon.com/blogs/machine-... Se essa explicação ajudou, inscreva-se e conte nos comentários qual nome de modelo você quer ver decodificado a seguir. Capítulos: 00:00 816B no total. ~42B ativos por token. E a memória? 00:24 Total ≠ ativo por token 01:09 Token → roteador → experts selecionados 01:47 Exemplo didático: 420 totais / 220 usados por token 02:23 Roteamento ilustrativo, não benchmark 03:03 Menos cálculo por token não é o mesmo que menos pesos armazenados 03:47 Muse Spark Open: ~816B total / ~42B ativos por token 04:27 LFM2.5-24B-A2B: 24B total / 2B ativos por token 05:04 Velocidade depende do hardware e do teste 05:50 Arquitetura eficiente ≠ execução automaticamente eficiente 06:29 Total • Ativos/token • Hardware • Tarefa 07:05 Mais capacidade total; ativação seletiva #MoE #InteligenciaArtificial #IAExplicada #MachineLearning