[AI Day 06] 편미분, AI는 왜 편미분을 사용할까?
[AI 수학] Day 6 - 편미분(Partial Derivative), AI는 왜 편미분을 사용할까?
들어가며
지금까지는 변수가 하나인 함수만 미분했다.
예를 들어
1
y = x²
에서는 x만 존재하기 때문에 x에 대해서만 미분하면 되었다.
하지만 AI에서는 하나의 변수만 사용하는 경우가 거의 없다.
입력값도 여러 개이고, 가중치도 수십 개에서 수백만 개까지 존재한다.
그렇다면 여러 변수 중 하나가 변할 때 결과가 얼마나 변하는지는 어떻게 구할까?
이때 사용하는 것이 편미분(Partial Derivative) 이다.
일반 미분과 편미분의 차이
먼저 일반 미분부터 살펴보자.
1
y = x²
미분하면
1
dy/dx = 2x
이다.
변수가 x 하나뿐이기 때문에 특별히 고민할 것이 없다.
반면 다음과 같은 함수는 어떨까?
1
z = x² + y²
이번에는 x와 y 두 개의 변수가 존재한다.
이 함수에서는 다음 두 가지 질문이 모두 가능하다.
- x가 변하면 z는 얼마나 변할까?
- y가 변하면 z는 얼마나 변할까?
두 질문의 답은 서로 다르다.
그래서 각각 따로 미분해야 한다.
이것이 바로 편미분이다.
편미분이란?
편미분은
여러 변수 중 하나만 변수로 보고, 나머지는 모두 상수로 생각하는 미분
이다.
즉,
1
z = x² + y²
에서 x를 미분한다면
y는 변하지 않는 값이라고 생각한다.
반대로 y를 미분한다면
x를 상수라고 생각한다.
이 한 가지 원칙만 기억하면 편미분은 크게 어렵지 않다.
예제 1
다음 함수를 보자.
1
z = x² + y²
x에 대해 편미분
이번에는 x만 변수이다.
1
x² → 2x
y²은 상수이므로
1
y² → 0
따라서
1
∂z/∂x = 2x
y에 대해 편미분
이번에는 y만 변수이다.
1
2
3
x² → 0
y² → 2y
따라서
1
∂z/∂y = 2y
이다.
예제 2
다음 함수를 보자.
1
z = 3x² + 2y
x에 대해 편미분
1
2
3
3x² → 6x
2y → 0
따라서
1
∂z/∂x = 6x
이다.
y에 대해 편미분
1
2
3
3x² → 0
2y → 2
따라서
1
∂z/∂y = 2
이다.
예제 3
이번에는 곱셈이 있는 식이다.
1
z = xy
x에 대해 편미분
이번에는 y를 상수로 생각한다.
예를 들어
1
y = 5
라면
1
xy = 5x
와 같은 식이 된다.
따라서
1
∂z/∂x = y
이다.
y에 대해 편미분
이번에는 x를 상수로 생각한다.
따라서
1
∂z/∂y = x
이다.
편미분 기호
일반 미분은
1
dy/dx
를 사용한다.
하지만 편미분은
1
∂z/∂x
처럼 ∂ 기호를 사용한다.
이 기호는
여러 변수 중 x에 대해서만 미분한다.
라는 의미를 가진다.
처음에는 낯설지만 계산 방법은 일반 미분과 거의 동일하다.
AI에서는 왜 편미분을 사용할까?
AI는 하나의 변수만 사용하는 프로그램이 아니다.
예를 들어 아주 간단한 모델이라도
1
2
3
4
w₁
w₂
w₃
...
처럼 여러 개의 가중치를 가진다.
손실 함수가
1
L = w₁² + w₂²
라고 가정하면
AI는
w₁을 조금 바꾸면 손실이 얼마나 변할까?
그리고
w₂를 조금 바꾸면 손실이 얼마나 변할까?
를 각각 계산해야 한다.
이를 위해
1
2
3
∂L/∂w₁
∂L/∂w₂
를 구한다.
즉,
AI는 각 가중치의 영향을 하나씩 계산하기 위해 편미분을 사용한다.
오늘 배운 내용 정리
- 일반 미분은 변수가 하나인 함수에서 사용한다.
- 편미분은 여러 변수 중 하나만 선택해서 미분한다.
- 미분하지 않는 변수는 모두 상수로 생각한다.
- 편미분은
∂기호를 사용한다. - AI는 여러 개의 가중치가 있기 때문에 편미분을 사용한다.
마무리
오늘은 편미분이라는 새로운 개념을 배웠다.
처음에는 일반 미분과 다른 것처럼 느껴졌지만, 실제 계산 방법은 거의 동일했다.
가장 중요한 차이는
미분하려는 변수만 변수로 보고, 나머지는 모두 상수로 생각한다.
는 점이었다.
다음 시간에는 오늘 배운 편미분을 하나로 모은 개념인 Gradient(그래디언트) 를 공부해볼 예정이다.
AI가 어떻게 학습 방향을 찾는지 이해하는 첫 단계가 될 것 같다.