Day 16. 활성화 함수(ReLU)와 다층 신경망 지난 시간에는 nn.Linear()를 이용해 여러 개의 입력 Feature를 여러 개의 출력 Feature로 변환하는 방법을 공부했다. 오늘은 Linear Layer를 여러 개 연결하는 방법과 활성화 함수가 필요한 이유를 알아보았다. 이번 학습의 핵심은 다음과 같다. Linear Laye...

[AI 수학] Day 15 - nn.Linear의 여러 출력과 뉴런, Shape 이해하기 들어가며 지난 시간에는 입력 Feature가 여러 개인 선형 모델을 공부했다. 입력이 두 개이고 출력이 하나라면 model = nn.Linear(2, 1) 을 사용했다. 내부 계산은 다음과 같다. ŷ = w₁x₁ + w₂x₂ + b 이번에는 여기...

[AI 수학] Day 14 - 여러 Feature와 nn.Linear 이해하기 들어가며 지난 시간에는 PyTorch의 nn.Linear를 이용하여 선형회귀를 구현했다. model = nn.Linear(1, 1) 이 모델은 하나의 입력값을 받아 하나의 결과를 출력한다. 수학적으로는 다음과 같은 형태였다. ŷ = wx + b 이번에는 여기...

[AI 수학] Day 13 - nn.Linear로 구현하는 PyTorch 선형회귀 들어가며 지난 시간에는 여러 개의 데이터를 이용하여 선형회귀 모델을 직접 구현해보았다. 사용했던 모델은 다음과 같았다. ŷ = wx + b 그리고 Weight와 Bias도 직접 만들었다. w = torch.tensor(0.0, requires_grad=Tru...

[AI 수학] Day 12 - 여러 데이터로 배우는 선형회귀와 MSE 들어가며 지난 시간에는 다음과 같은 모델에서 Weight와 Bias를 학습하는 과정을 공부했다. ŷ = wx + b 이번에는 데이터 하나가 아니라 여러 개의 데이터를 이용해 모델을 학습해보았다. 특히 이번 학습에서는 선형회귀 여러 데이터의 예측 MSE G...

[AI 수학] Day 11 - Weight와 Bias, 두 개의 값을 학습시켜보자 들어가며 지난 시간에는 PyTorch의 Autograd를 이용하여 Gradient를 계산하고, Optimizer를 이용해 가중치를 수정하는 과정을 공부했다. 기존 모델은 다음과 같이 단순했다. ŷ = wx 이번에는 여기에 Bias(편향)를 추가한다. ŷ = ...

[AI 수학] Day 10 - PyTorch Autograd와 Optimizer로 이해하는 학습 과정 들어가며 지난 시간에는 역전파(Backpropagation)를 공부하면서 편미분과 체인룰이 실제 AI 학습에서 어떻게 사용되는지 알아보았다. 간단하게 정리하면 역전파는 Loss ↓ Gradient 계산 ↓ 가중치가 Loss에 얼마나 영향을 주는...

[AI 수학] Day 9 - 역전파를 이해하기 위한 편미분과 체인룰 들어가며 지난 시간에는 Gradient Descent(경사하강법)를 공부했다. 경사하강법에서는 다음과 같이 가중치를 수정한다. 새로운 가중치 = 기존 가중치 - 학습률 × Gradient 그런데 여기서 한 가지 의문이 생긴다. Gradient는 어떻게 계산할까? ...

[AI 수학] Day 8 - Gradient Descent(경사하강법), AI는 어떻게 학습할까? 들어가며 지난 시간에는 그래디언트(Gradient)를 공부했다. 그래디언트는 여러 변수에 대한 편미분을 하나로 모은 벡터이며, 함수가 가장 빠르게 증가하는 방향 을 알려주는 역할을 한다. 그렇다면 AI는 그래디언트를 구한 뒤 무엇을 할까...

[AI 수학] Day 7 - 그래디언트란 무엇이고 AI는 왜 반대 방향으로 움직일까? 들어가며 지난 시간에는 여러 변수 중 하나만 선택하여 미분하는 편미분을 공부했다. 예를 들어 다음과 같은 함수가 있다고 하자. z = x² + y² 이 함수에는 x와 y라는 두 개의 변수가 있다. x에 대해 편미분하면 다음과 같다. ∂z/∂x = 2x ...