모아의 기웃기웃 · AI 이해하기 · 2편

학습률·모멘텀·Adam
같은 출발점에서 비교해 보세요.

손실 지형과 학습률을 바꾸면서 매개변수가 이동하는 경로를 살펴보세요. 손실이 줄어드는 과정은 설정과 관찰 시점에 따라 달라집니다.

설정을 바꾸면 세 방법이 함께 처음부터 시작합니다. Adam은 β₁=0.9, β₂=0.999, ε=10⁻⁸로 고정합니다.

갱신 0 / 120걸음

● 경사하강법

손실 28.5000

▲ 모멘텀

손실 28.5000

◆ Adam

손실 28.5000

교육용 함수의 정확한 기울기를 사용합니다. 같은 α는 각 방법의 최적 설정을 뜻하지 않으며, 걸음 수는 실행 시간이 아닙니다.

지도 위 점의 의미

한 점은 매개변수 (u,v)입니다. 관측 데이터나 새 입력의 위치가 아닙니다. 등고선은 손실이 같은 곳을 잇고 +는 최소점입니다.

같은 함수에서 출발

기본 F=½(u²+12v²), 출발 (−3,2), 처음 손실 28.5입니다. 단위 없는 교육용 함수이며 최소 손실은 0입니다.

이동 크기를 정하는 학습률

경사하강법에서는 학습률×현재 기울기만큼 이동합니다. 기본 지형에서 α=0.18을 선택하면 손실이 커집니다. 수렴 범위 0<α<1/6은 이 함수의 기본 경사하강법에 대한 조건입니다.

과거 방향을 기억하는 모멘텀

q=βq+g, θ=θ−αq로 갱신합니다. β를 0으로 바꾸면 경사하강법과 같습니다. 관성이 최소점을 지나쳐 손실을 일시적으로 키울 수 있습니다.

좌표별 이력을 쓰는 Adam

기울기 평균과 제곱의 평균을 편향 보정해 사용합니다. 제곱의 평균은 분산 자체가 아닙니다. 같은 α라도 경사하강법과 실제 이동량은 다릅니다.

비교 결과를 읽는 방법

기본 설정의 20걸음은 경사하강법, 60걸음은 모멘텀의 손실이 더 작습니다. 각 방법을 최적으로 조정한 비교가 아니며 실제 시간·새 데이터의 성능도 측정하지 않았습니다.

수식과 표시 범위 더 알아보기

기본 기울기는 (u,12v)입니다. 회전 지형은 a=cos30°u+sin30°v, b=−sin30°u+cos30°v, F=½(a²+12b²)로 계산합니다. 출발 좌표를 고정하므로 회전하면 시작 손실도 달라집니다.

Adam: m=0.9m+0.1g, v=0.999v+0.001g², m̂=m/(1−0.9ᵗ), v̂=v/(1−0.999ᵗ), θ=θ−αm̂/(√v̂+10⁻⁸). 모든 연산은 좌표별로 합니다.

이동 경로는 u,v=−4~4 범위입니다. 손실이 10⁶보다 커지면 해당 방법의 시연을 멈추고 표에 표시합니다. 로그 그래프는 10⁻¹²~10⁶이며 하한보다 작은 손실은 하한에 그립니다. 정확한 값은 표를 보세요.

정확한 기울기를 사용하므로 SGD의 무작위 표본·미니배치 잡음은 없습니다. 모멘텀은 q=βq+g 정의이며, 가중치 감쇠·AdamW·스케줄은 포함하지 않았습니다.

그림으로 다시 보기

56초 영상으로 복습하기

56초 · 직접 제작한 한국어 자막 애니메이션 · 음성 없음

개념 출처

Google ML Crash Course: HyperparametersSutskever et al., 2013: Initialization and momentumKingma & Ba: Adam, Algorithm 1PyTorch 공식 Adam 수식Loshchilov & Hutter: Decoupled Weight Decay