작은 AI 모델을 바닥부터 학습해보자 (실습편)

미리 학습된 언어 모델의 가중치를 가져오지 않고, 약 114만 파라미터의 작은 모델을 직접 학습합니다. 실제 Colab에서 실행한 코드와 출력을 따라가면서 실습합니다. 소스는 아래 링크에서 받으실수 있습니다. https://drive.google.com/file/d/1BJG-... 이번 실행 결과 전체 고유 학습 파라미터: 1,135,744 train 20,000 stories / validation 1,000 stories 직접 학습한 byte-level BPE: vocab 4,096 hidden 128 / 3 decoder blocks / 4 attention heads / context 128 6,000 updates / 48,768,000 target occurrences training loop: 254.137초, Tesla T4에서 관측 고정된 24개 검증 배치의 loss: 8.3505 → 2.4883 같은 프로세스의 새 모델 인스턴스에서 재로드: logits 최대 차이 0.0, 고정 조건 생성 일치 별도 Python 프로세스에서 prompt 1 / seed 4407 추론: token IDs와 전체 텍스트 일치 (학습 재개나 다른 기기 검사는 아님) 생성 결과는 여전히 반복과 이야기의 일관성 부족을 보입니다. 세 after 출력 모두 EOS 종료 없이 새 토큰 80개 한도에 도달했습니다. loss 개선을 유창한 이야기 생성이나 논문 성능 재현으로 해석하지 않습니다. 챕터 00:00 Colab 환경과 처음부터 학습의 범위 02:49 TinyStories 데이터와 직접 학습한 BPE 05:59 배치·한 번의 시프트·임베딩 09:03 Q·K·V와 causal attention 12:15 MLP·가중치 공유·다음 토큰 loss 15:14 backward·AdamW·실제 GPU 학습 18:34 실제 loss와 체크포인트 재로드 21:41 생성 결과·한계·재현 파일