역전파의 활성화값 보관 구조순전파가 층 1부터 4까지 진행하며 각 층 입력을 VRAM에 저장하고, 역전파가 층 4부터 1까지 거꾸로 진행하며 저장된 값을 꺼내 쓰는 구조층 1 순전파층 2 순전파층 3 순전파층 4 순전파x₁ 보관가장 오래 보관x₂ 보관VRAMx₃ 보관VRAMx₄ 보관가장 먼저 사용층 1 역전파δ₁·x₁ᵀ층 2 역전파δ₂·x₂ᵀ층 3 역전파δ₃·x₃ᵀ층 4 역전파δ₄·x₄ᵀ청록 = 순전파(왼→오) · 주황 = VRAM 보관 · 보라 = 역전파(오→왼)