04. 순전파(forward propagation)

 

순전파: 초기 입력신호를 가중치와 조합하여 마지막 계층 쪽으로 전달해나가는 연산의 과정.

 

1. 신경망 연산

- 주의: 활성화 함수는 첫번째 계층을 제외하고 각 노드에 적용된다.

- 가중치는 임의의 값으로 초기화되어있다.

- 가중치에는 곱연산이 적용된다.

- 계층 2에서 노드 1의 입력 값

  = (1.0*0.9) + (0.5*0.3) = 0.9 + 0.15 = 1.05

- 계층 2에서 노드 1의 출력 값

  = 1/(1+0.3499) = 0.7408

  참고로, 시그모이드 함수의 결과값은 항상 0과 1사이의 값을 가지게 된다.

 

- 행렬을 이용하면 위 처럼 수작업을 할 필요없이 더 빠른 연산을 수행할 수 있다.

X(다음 노드로의 입력 행렬) = W(가중치 행렬) X I(입력값 행렬)

O(노드의 출력 행렬) = sigmoid(X)

 

- 최종적으로 나온 출력 값을 실제 값과 비교하여 오차를 구하여 가중치를 업데이트 하면 된다.