모아의 기웃기웃 · AI 이해하기 2편
지난 편에서는 점 다섯 개에 선을 맞추며 기울기와 절편을 바꿨습니다. 같은 문제라도 숫자를 바꾸는 규칙과 한 번에 움직이는 크기에 따라, 오차가 줄어드는 과정은 달라집니다.
이번에는 손실을 줄이는 방법인 최적화를 살펴볼게요. 현재 위치에서 내려갈 방향을 구하는 경사하강법, 이전 방향을 기억하는 모멘텀, 좌표마다 이동량을 조절하는 Adam을 직접 비교해 봅니다.

그림 1. 왼쪽은 입력과 예측의 관계, 오른쪽은 매개변수를 바꾸었을 때의 손실입니다. 두 그래프의 축은 서로 다른 뜻이에요.
먼저 기본 설정에서 ‘한 걸음’을 눌러 보세요. 이어서 ‘자동 비교’를 실행하고 ‘이동 경로’와 ‘오차 변화’를 번갈아 보면 좋습니다. 설정을 바꾸면 모든 방법이 같은 출발점에서 다시 시작해요.
1. 이번 지도에서 움직이는 점은 무엇일까?
지난 편 그래프의 점은 관측 데이터였습니다. 이번 지도의 점은 모델의 두 매개변수 u와 v를 나타냅니다. 예를 들어 가로로 움직이면 u를, 세로로 움직이면 v를 바꾸는 셈이에요. u와 v는 두 숫자를 대표하는 이름이며, 실제 지도 위의 거리나 새 입력 데이터가 아닙니다.
위에서 내려다본 지도라고 생각해 보세요. 등고선은 손실이 같은 곳을 잇습니다. 같은 선 위에서는 매개변수 조합이 달라도 손실은 같아요. 이 예제에서는 안쪽 등고선일수록 손실이 작고, 가운데의 +에서 최소가 됩니다.
이번에는 차이를 관찰하기 위해 직접 정한 단위 없는 교육용 함수를 씁니다. 기본 지형은 F(u,v)=½(u²+12v²), 출발점은 (−3,2)입니다. 최소점은 (0,0), 최소 손실은 0이며, 처음 손실은 28.5예요. 지난 편의 다섯 점이나 MSE를 그대로 사용한 것은 아닙니다.
v 방향의 곡률은 u 방향의 12배입니다. 한 방향으로 더 가파른 그릇이라 등고선이 길쭉해져요. 실제 신경망의 손실은 훨씬 많은 매개변수에 의존하고, 이런 단순한 그릇 하나로 표현되지 않을 수 있습니다.
2. 학습률은 ‘기울기를 얼마나 반영할까’를 정해요
경사하강법은 현재 손실의 기울기를 구하고 반대 방향으로 이동합니다. 학습률 α는 그 이동량에 곱하는 계수예요. 실제 이동 거리는 학습률과 기울기 크기가 함께 정합니다. 학습률을 0.08로 정했다고 매번 정확히 0.08만큼 움직이는 것은 아닙니다. Google 학습률 설명
기본 지형의 출발점 (−3,2)에서 기울기는 (−3,24)입니다. α=0.08이면 첫 이동은 (+0.24,−1.92), 도착점은 (−2.76,0.08)이 됩니다. 손실은 28.5에서 3.8472로 줄어요. 숫자는 이 교육용 함수에서 직접 계산했습니다.

그림 2. 같은 지형·출발점에서 경사하강법의 학습률만 바꿨습니다. 큰 학습률에서는 가파른 방향을 오가며 손실이 커질 수 있어요. 세로축은 손실의 로그 눈금입니다.
실험에서 길쭉한 그릇을 선택하고 α를 0.18로 올려 보세요. 이 함수의 경사하강법이 모든 출발점에서 최소점으로 수렴하려면 0<α<1/6≈0.1667이어야 합니다. 0.18은 그 범위를 벗어나요. 이는 이번 고정 함수의 계산 결과이며, 실제 AI 전체에 적용하는 학습률 기준은 아닙니다.
3. 모멘텀은 이전에 움직이던 방향을 기억해요
매번 현재 기울기만 보면, 가파른 방향을 따라 좌우로 움직이면서 완만한 방향으로는 조금씩 나아갈 수 있습니다. 모멘텀은 이전 기울기의 영향을 누적한 값을 다음 이동에 반영합니다. 반복해서 같은 방향을 가리키는 성분과 방향이 자주 바뀌는 성분에 서로 다른 효과가 생기는 거예요. 모멘텀 연구, Sutskever 외, 2013
이번 구현은 누적값 q를 ‘q = β×이전 q + 현재 기울기’로 계산하고, 매개변수에서 α×q를 뺍니다. β=0이면 이전 기억이 사라져 기본 경사하강법과 같아져요. 기본 β는 0.80으로 정했습니다.

그림 3. β=0.80이면 이전 누적값의 80%를 다음 계산에 반영합니다. ‘최적화 속도가 80% 빨라진다’는 뜻은 아닙니다. 관성 때문에 최소점을 지나치며 일시적으로 손실이 커질 수도 있어요.
첫 걸음은 누적값이 0에서 시작하므로 기본 경사하강법과 같습니다. 두 번째부터 차이가 생겨요. 이번 기본 설정에서는 모멘텀의 두 번째 손실이 16.8515로 첫 걸음보다 커집니다. 이후에는 다시 줄어듭니다. 한 걸음의 손실 증가와 장기적인 수렴을 구분해서 봐야 하는 이유예요.
4. Adam은 매개변수마다 이동량을 조절해요
Adam은 기울기의 지수이동평균 m과 기울기를 제곱한 값의 지수이동평균 v를 유지합니다. 편향 보정한 m을 편향 보정한 v의 제곱근으로 나누어 갱신에 사용해요. v는 기울기의 분산 자체와는 다릅니다. Adam 원 논문, Algorithm 1, PyTorch 공식 Adam 수식
쉽게 말하면, 방향에 대한 기억과 최근 기울기의 크기에 대한 정보를 함께 사용합니다. 각 좌표의 계산 이력에 따라 실제 이동량이 달라지며, Adam에서도 기본 학습률 α를 정해야 합니다.

그림 4. 출발점의 기울기는 (−3,24)이지만, 이번 Adam 첫 이동은 약 (+0.08,−0.08)입니다. 편향 보정 후 첫 기울기가 자기 크기로 나뉘기 때문이에요. 이후 이동량은 누적 이력에 따라 달라집니다.
실험의 Adam은 β₁=0.9, β₂=0.999, ε=10⁻⁸을 사용합니다. 원 논문이 제시한 기본 설정에는 α=0.001도 있지만, 이번에는 세 방법에 공통 α=0.08을 넣어 갱신 방식의 차이를 관찰합니다. 이 값은 실제 신경망의 권장 학습률이 아닙니다.
5. 같은 횟수로 비교하면 어떤 결과가 나올까?
다음은 길쭉한 그릇, 출발점 (−3,2), 공통 α=0.08, 모멘텀 β=0.80에서 계산한 결과입니다. Adam의 설정은 앞 문단과 같습니다. 무작위 표본이나 잡음 없이 매번 정확한 기울기를 사용했어요.
| 갱신 횟수 | 경사하강법 손실 | 모멘텀 손실 | Adam 손실 |
|---|---|---|---|
| 0걸음 | 28.5000 | 28.5000 | 28.5000 |
| 20걸음 | 0.1602 | 0.3559 | 2.7344 |
| 60걸음 | 0.0002031 | 0.00003450 | 0.02350 |
| 120걸음 | 9.168×10⁻⁹ | 8.933×10⁻¹³ | 8.298×10⁻⁵ |

그림 5. 20걸음에서는 경사하강법의 손실이 더 작고, 60걸음에서는 모멘텀의 손실이 더 작습니다. 이 설정에서의 결과이며 각 방법을 최적으로 조정한 성능 비교는 아닙니다. 표는 표시 자릿수에 맞춰 반올림했습니다.
공통 학습률은 관찰 조건을 맞추기 위한 장치입니다. 갱신 수식이 다르므로 같은 α가 같은 실제 이동량이나 각 방법의 최적 설정을 뜻하지는 않아요. 방법별 학습률과 스케줄을 조정하면 결과가 달라질 수 있습니다. 실험에서 그릇을 둥글게 만들거나 30° 돌려 비교해 보세요.
여기서 ‘60걸음’은 매개변수 갱신 60번입니다. 실제 몇 초가 걸렸다는 뜻은 아니에요. 각 방법이 저장하는 값과 추가 계산이 다르고, 실제 학습 시간에는 데이터와 하드웨어도 영향을 줍니다.
6. 손실이 빨리 줄면 좋은 AI가 된 걸까?
손실 감소는 학습의 중요한 관찰값이지만, 새 데이터의 예측 성능을 함께 봐야 합니다. 이번 실험에는 검증 데이터나 테스트 정답이 없으므로 일반화 성능과 실제 AI 제품의 속도를 비교할 수는 없습니다.
실제 학습에서는 전체 데이터 대신 일부 묶음인 미니배치로 기울기를 계산하기도 합니다. 배치 크기와 학습률을 바꾸거나, 학습 중 학습률을 낮추는 스케줄을 적용하면 경로가 달라질 수 있어요. 이번 실험에는 미니배치 잡음과 학습률 스케줄을 넣지 않았습니다. Google의 배치와 학습률 설명

그림 6. 지형·출발점·설정을 기록하고 손실을 비교한 뒤, 실제 문제에서는 검증 성능과 시간·메모리까지 확인해야 합니다. 이번 시연은 첫 번째 비교까지 다룹니다.
AdamW라는 이름도 볼 수 있습니다. AdamW는 가중치 감쇠를 손실의 기울기에 따른 갱신과 분리한 방법입니다. 이번 구현은 가중치 감쇠가 없는 Adam이며 AdamW 비교는 포함하지 않았어요. AdamW 원 논문
직접 실험할 때 볼 세 가지
• 길쭉한 그릇에서 α를 0.08에서 0.18로 올리면, 경사하강법의 손실은 어떻게 달라질까요?
• 모멘텀 β를 0으로 바꾸면 경사하강법과 같은 경로가 나오는지 확인해 보세요.
• 같은 20걸음과 60걸음에서 표의 순서가 어떻게 달라지는지 살펴보세요.
수식으로 더 알아보기
이 부분은 계산을 따라가고 싶은 분을 위한 심화 설명입니다. 그림과 실험으로 흐름을 이해했다면 다음 편으로 넘어가도 좋아요.
경사하강법과 이번 함수의 수렴 범위
θ=(u,v), 기울기를 g라고 쓰면 경사하강법은 θₜ=θₜ₋₁−αgₜ입니다. 기본 F=½(u²+12v²)에서 g=(u,12v)이므로, 각 걸음에 u는 (1−α)배, v는 (1−12α)배가 됩니다. 두 배율의 절댓값이 모두 1보다 작다는 조건에서 0<α<1/6이 나옵니다. 이 조건은 기본 경사하강법에 대한 것이며 모멘텀이나 Adam에 그대로 적용하지 않습니다.
모멘텀의 표기
qₜ=βqₜ₋₁+gₜ, θₜ=θₜ₋₁−αqₜ를 사용합니다. q₀=0입니다. 기울기에 (1−β)를 곱하는 다른 표기도 있으므로 수식을 비교할 때 계수와 학습률의 정의를 함께 확인해야 해요.
Adam의 편향 보정
mₜ=β₁mₜ₋₁+(1−β₁)gₜ, vₜ=β₂vₜ₋₁+(1−β₂)gₜ²로 갱신합니다. m̂ₜ=mₜ/(1−β₁ᵗ), v̂ₜ=vₜ/(1−β₂ᵗ)로 초기값 0의 영향을 보정하고, θₜ=θₜ₋₁−αm̂ₜ/(√v̂ₜ+ε)로 이동합니다. 제곱·나눗셈·제곱근은 좌표별 계산이에요.
지형을 30° 돌리는 방법
a=cos30°×u+sin30°×v, b=−sin30°×u+cos30°×v로 놓고 F=½(a²+12b²)를 씁니다. 곡률 비율은 같고 좌표축에 대한 방향만 달라집니다. Adam의 보정은 좌표별이므로 이런 회전에 대해 경로가 달라질 수 있어요. 회전 설정의 출발점은 계속 (u,v)=(−3,2)이므로 시작 손실도 함께 달라집니다. 지형 간 성능을 같은 난이도의 비교로 해석하지 마세요.
56초 · 직접 제작한 한국어 자막 애니메이션 · 음성 없음
다음 편에서는 신경망: 직선으로 설명할 수 없는 관계는 어떻게 배울까?로 이어갑니다. 최적화가 숫자를 조정하는 방법이라면, 신경망은 더 복잡한 관계를 표현할 계산 구조를 만드는 이야기예요.
자료 확인: 2026년 11월 20일. 그림 6장·영상·실험은 직접 만든 교육용 자료입니다. 수치는 가상 함수의 직접 계산 결과이며 실제 업무·제품의 성능 수치가 아닙니다. 영상은 음성 없는 한국어 자막 애니메이션입니다.
#AI #인공지능 #머신러닝 #딥러닝 #최적화 #경사하강법 #학습률 #모멘텀 #Adam #손실함수 #AI공부 #인터랙티브애니메이션