딥러닝 학습 과정 지도

학습은 “순전파 → 손실 → 기울기 구하기(신용 할당) → 가중치 갱신”을 배치마다 반복한다. 새 개념을 볼 때는 이 지도에서 어느 단계인지 먼저 찾는다.

단계	하는 일	지금까지 본 개념
0. 데이터 준비	문장을 토큰으로 자르고 배치로 묶음	FineWeb, 배치 16k 토큰 = 2048 × 8
1. 모델 정의·초기화	층 구조를 정하고 가중치 W를 난수로 채움	8층·폭 512 GPT, 선형층 y = Wx
2. 순전파	입력이 층을 지나며 활성화값을 만듦	활성화 x·y, DUST 섭동 y → y+σa, K draw, clean 캐시, 역전파용 VRAM 보관, forward gradient 접선
3. 손실 계산	예측과 정답 차이를 토큰마다 숫자로 만듦	토큰별 손실 ℓ_s, DUST 점수 c_s, 보상 r_t
4. 신용 할당	각 가중치의 책임(기울기)을 구함	역전파 δ·G=δxᵀ, forward gradient, DUST ĝ·Ĝ, 0차·1차 정보
5. 가중치 갱신	기울기 반대로 W를 옮김	경사하강법 W ← W − ηG, SGD, Adam
6. 반복	2~5단계를 배치마다 되풀이	스텝, 에폭, 토큰 예산
7. 평가	학습에 안 쓴 데이터로 성능 측정	검증·테스트 손실, 역전파와의 코사인
8. 추론	학습된 모델로 새 입력 처리	순전파만 사용

2~5단계가 학습 1스텝이다. 새 세션에서 본 개념은 “지금까지 본 개념” 열에 계속 추가한다.

관련 세션