[알고테크] 복원 점수가 같아도 같은 특징은 아니다: SAE 데이터 실험

경고 논문 — SAE는 쓸 목적부터 정하고, 특징을 근거로 쓸 땐 기준 모델과의 일대일 일치율부터 세어 보라는 결론. Gemma-2-2B BatchTopK SAE는 적은 데이터로도 복원 점수가 기준에 가깝지만, 기준 모델과 엄격히 일치하는 특징은 2.20%에서 28.86%로만 늘었다. 알고테크 — AI 기술 딥다이브 0:00 데이터를 늘려도 일치 특징 29% 0:31 복원 잘되면 특징도 맞다는 전제 0:57 희소 오토인코더란 무엇인가 1:16 활성값에서 특징 짝짓기까지 3:02 모델 3개·SAE 4종·예산 4단계 3:40 복원은 일찍, 특징은 아직 5:33 기준 모델도 정답은 아니다 6:37 그래서 엔지니어는 7:51 복원 점수만 믿지 말 것 출처 논문: Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility (arXiv:2610.20680) https://arxiv.org/abs/2610.20680 화면의 논문 그림·표·문단은 원문 일부를 인용한 것이며 노란 강조 표시는 알고테크가 추가했습니다. (CC BY 4.0) #알고테크 #AI기술 #알고머니