Перейти к содержимому

AI的底层真相:1100个大模型指向同一子空间 | 通用权重子空间假设 | LoRA | HOSVD | 海森矩阵 | 戴维斯-卡汉界| HumanEval | StyleGAN2

最佳拍档

0:00 / 0:00

AI的底层真相:1100个大模型指向同一子空间 | 通用权重子空间假设 | LoRA | HOSVD | 海森矩阵 | 戴维斯-卡汉界| HumanEval | StyleGAN2

7 653 просмотра · 5 ч назад
最佳拍档
249 тыс. подписчиков
7 653 просмотра · 5 ч назад
本期视频解读约翰霍普金斯大学论文《通用权重子空间假设》:研究团队用HOSVD算法分析1200多个神经网络,发现不同任务、不同模态的模型权重倾向收敛到共享低维子空间。自媒体夸张为"所有AI都是同一个模型"和"只需16维",但16维只是SVD截断口径、LoRA共享同一基座、不同架构子空间互不对应。2021年Meta AI内在维度研究揭示数学根源:海森矩阵"主体与外点"谱分布使99%以上方向曲率近零。定理3.7证明子空间估计收敛性。Steven Thompson投影悖论实验:权重几何误差99%但代码能力在HumanEval上几乎无损。论文显示ViT内存压缩100倍、新任务适配仅需1万参数,既指向"MP3时刻"也敲响单作危机警钟。