모아의 기웃기웃 · AI 이해하기 · 2편
학습률·모멘텀·Adam
같은 출발점에서 비교해 보세요.
손실 지형과 학습률을 바꾸면서 매개변수가 이동하는 경로를 살펴보세요. 손실이 줄어드는 과정은 설정과 관찰 시점에 따라 달라집니다.
설정을 바꾸면 세 방법이 함께 처음부터 시작합니다. Adam은 β₁=0.9, β₂=0.999, ε=10⁻⁸로 고정합니다.
슬라이더로 20걸음·60걸음을 바로 골라 보세요. 움직이면 자동 비교가 멈추고 그래프와 손실이 함께 바뀝니다.
● 경사하강법
손실
▲ 모멘텀
손실
◆ Adam
손실
교육용 함수의 정확한 기울기를 사용합니다. 같은 α는 각 방법의 최적 설정을 뜻하지 않으며, 걸음 수는 실행 시간이 아닙니다.
지도 위 점의 의미
한 점은 매개변수 (u,v)입니다. 관측 데이터나 새 입력의 위치가 아닙니다. 등고선은 손실이 같은 곳을 잇고 +는 최소점입니다.
같은 함수에서 출발
기본 F=½(u²+12v²), 출발 (−3,2), 처음 손실 28.5입니다. 단위 없는 교육용 함수이며 최소 손실은 0입니다.
이동 크기를 정하는 학습률
경사하강법에서는 학습률×현재 기울기만큼 이동합니다. 기본 지형에서 α=0.18을 선택하면 손실이 커집니다. 수렴 범위 0<α<1/6은 이 함수의 기본 경사하강법에 대한 조건입니다.
과거 방향을 기억하는 모멘텀
q=βq+g, θ=θ−αq로 갱신합니다. β를 0으로 바꾸면 경사하강법과 같습니다. 관성이 최소점을 지나쳐 손실을 일시적으로 키울 수 있습니다.
각 조절 다이얼에 기록을 남기는 Adam
이전 방향을 기억하면서 매개변수마다 움직이는 크기도 조절합니다. 최근 방향과 기울기 크기를 각 좌표에 따로 기록하는 셈입니다. 오래된 영향은 줄이고 최근 값을 더 반영하는 평균을 사용하며, 자세한 편향 보정 수식은 아래에 모았습니다.
같은 학습률, 다른 실제 이동
첫 걸음의 v 이동은 경사하강법이 −1.92, Adam이 약 −0.08입니다. 경사하강법은 v=2에서 최적값 0 근처인 0.08까지 가고, Adam은 약 1.92로 갑니다. 공통 α=0.08은 실제 이동량이나 최적 설정이 같다는 뜻이 아닙니다.
‘비교 시점’을 20걸음·60걸음으로 맞춰 보세요. 기본 설정의 20걸음은 경사하강법, 60걸음은 모멘텀의 손실이 더 작습니다. 각 방법의 전반적인 우열이나 실제 실행 시간·새 데이터 성능을 정하는 비교는 아닙니다.
수식과 표시 범위 더 알아보기
기본 기울기는 (u,12v)입니다. 회전 지형은 a=cos30°u+sin30°v, b=−sin30°u+cos30°v, F=½(a²+12b²)로 계산합니다. 출발 좌표를 고정하므로 회전하면 시작 손실도 달라집니다.
Adam: m=0.9m+0.1g, v=0.999v+0.001g², m̂=m/(1−0.9ᵗ), v̂=v/(1−0.999ᵗ), θ=θ−αm̂/(√v̂+10⁻⁸). 모든 연산은 좌표별로 합니다.
이동 경로는 u,v=−4~4 범위입니다. 손실이 10⁶보다 커지면 해당 방법의 시연을 멈추고 표에 표시합니다. 로그 그래프는 10⁻¹²~10⁶이며 하한보다 작은 손실은 하한에 그립니다. 정확한 값은 표를 보세요.
정확한 기울기를 사용하므로 SGD의 무작위 표본·미니배치 잡음은 없습니다. 모멘텀은 q=βq+g 정의이며, 가중치 감쇠·AdamW·스케줄은 포함하지 않았습니다.
그림으로 다시 보기






56초 영상으로 복습하기
56초 · 직접 제작한 한국어 자막 애니메이션 · 음성 없음