[강화학습 기초 4-1] 선형 회귀에서 심층 신경망까지

DQN, PPO 같은 요즘 강화학습 알고리즘은 대부분 안에 인공신경망을 씁니다. 인공신경망은 개념은 단순하지만 성능을 끌어내기는 어려운 기술입니다. 이번 편에서는 선형 회귀에서 출발해 심층 신경망까지 한 줄로 이어 봅니다.

머신러닝의 세 갈래

종류	학습 재료	예
지도학습	정답이 붙은 데이터	주가 예측, 개 · 고양이 사진 분류
비지도학습	정답 없는 데이터	구매 패턴이 비슷한 고객끼리 묶기(k-평균)
강화학습	행동해서 받은 보상	게임, 로봇 제어, 걸음마 배우기

강화학습 안에서 쓰는 신경망은 지도학습 방식으로 학습합니다. 그래서 지도학습의 기본인 회귀와 분류부터 봅니다.

선형 회귀: 직선 하나 찾기

점들이 대략 직선 모양으로 흩어져 있다면 y = Wx + b로 설명할 수 있습니다. W는 가중치, b는 편향이고, 학습이란 데이터를 가장 잘 설명하는 W와 b를 찾는 일입니다.

1. W와 b에 아무 값이나 넣습니다. 예를 들어 W = 1, b = 3이면 x = 10일 때 예측은 13입니다.
2. 실제 값이 6이라면 오차는 6 − 13 = −7입니다.
3. 모든 데이터의 오차를 제곱해 평균 낸 손실 함수(MSE)를 만듭니다. 제곱하는 이유는 오차의 방향(+, −)보다 크기가 중요하기 때문입니다.
4. 경사하강법으로 손실이 줄어드는 방향으로 W와 b를 조금씩 고칩니다. 5장에서 자세히 다룹니다.

손실이 가장 작을 때 W = 0.15, b = 5가 나왔다면 모델은 y = 0.15x + 5이고, 새로운 x가 들어오면 y를 예측할 수 있습니다.

분류: 직선에 활성 함수를 씌운다

X와 O 두 무리를 나누려면 먼저 경계 직선을 찾고, 그 결과를 "어느 쪽인가"로 바꿔야 합니다. 이때 쓰는 것이 활성 함수입니다. 대표적인 시그모이드는 어떤 값이든 0과 1 사이로 눌러 줍니다. 0.5보다 크면 한쪽, 작으면 다른 쪽으로 판단합니다.

활성 함수의 진짜 역할은 비선형성을 더하는 것입니다. 현실의 데이터는 대부분 직선으로 나뉘지 않습니다. 직선 계산 뒤에 활성 함수를 씌우면 곡선 모양의 경계도 표현할 수 있습니다. 시그모이드 외에 ReLU, tanh도 많이 씁니다.

인공신경망: 뉴런을 흉내 낸 계산

뇌의 뉴런은 가지돌기로 신호를 받고, 신호를 키우거나 줄여서 축삭 말단으로 다른 뉴런에 넘깁니다. 인공 뉴런도 같습니다.

뉴런	인공 뉴런
가지돌기(입력)	입력 x
신호를 키우거나 줄임	가중치 W, 편향 b
신호를 넘길지 결정	활성 함수
축삭 말단(출력)	출력 ŷ

신경망은 입력층 → 은닉층 → 출력층으로 구성됩니다. 출력과 정답의 오차를 구한 뒤, 그 오차를 출력층에서 입력층 쪽으로 거꾸로 보내며 가중치를 고치는 방법을 역전파(Backpropagation)라고 합니다.

심층 신경망: 층을 깊게 쌓는다

직선 하나로는 복잡한 경계를 만들 수 없습니다. 은닉층을 여러 개 쌓고 층마다 노드를 여러 개 두면, 수많은 "직선 + 활성 함수" 조합으로 아주 복잡한 경계도 표현할 수 있습니다. 이것이 심층 신경망, 곧 딥러닝입니다.

• 층과 노드 수는 사람이 정하고, 그 안의 수많은 가중치와 편향은 학습으로 찾습니다.
• 숫자, 이미지, 소리 모두 행렬로 바꿔 입력합니다. 28×28 이미지라면 28×28 행렬입니다.
• 층과 노드가 많을수록 계산이 많이 필요하니, 학습에 지장이 없는 선에서 정합니다.

필요한 수학은 사칙연산, 로그, 수열의 합, 행렬 연산 정도입니다. 수식이 막히면 식보다 그래프 모양을 먼저 보는 것이 이해에 도움이 됩니다.