03. 뉴런이란

1. 전통적인 컴퓨터와 동물의 뇌의 가장 큰 차이

전통적인 컴퓨터: 데이터를 순차적으로 처리

동물의 뇌: 데이터를 순차적이 아니라 병렬적으로 처리

---

2. 뉴런

: 동물학적 뇌에서 기본단위

- 뉴런은 전기 입력을 받으면 또 다른 전기신호를 발생시킴.

- 뉴런은 입력을 받았을 때 즉시 반응하지 않고 입력이 누적되어 어떤 수준으로 커진 경우에만 출력을 함.

  즉, 입력 값이 어떤 분계점에 도달해야 출력이 발생하는 것.

 

활성화 함수(activation function): 입력신호를 받아 특정 분계점을 넘어서는 경우에 출력신호를 생성해주는 함수.

1) 계단 함수

- 입력값이 작으면 출력은 0, 하지만 입력이 분계점 이상이 되면 출력값은 갑자기 커짐.

  하지만 우리가 살고 있는 이 세상은 아날로그 형태로 존재하므로 위 그래프처럼 즉각적으로 값이 튀는 그래프는 적절하지 못함.

 

2) 시그모이드 함수

- S자 모양의 함수로써 계단 함수보다 부드러운 형태를 지님. 이는 보다 자연에 적합한 모양을 보여줌.

y = 1/(1+e^-x)

- 시그모이드 함수는 다른 함수들보다 계산이 매우 편리하다는 장점을 가짐.

---

3. 뉴런 연산

- 뇌에서의 입력은 하나만 존재하는 것이 아니라 여러개로 존재한다.

- 입력을 받으면 이를 모두 더하고 시그모이드 함수에 넣어서 출력이 임계점을 넘는지 확인한다.

- 임계점을 넘으면 외부로 출력값을 전달.

---

4. 컴퓨터에서의 뉴런 표현

- 위 그림은 3개의 계층(layer)으로 존재하며 각각의 계층에는 뉴런이 3개씩 존재함을 확인 할 수 있다.

- 여기서 인공뉴런을 우리는 노드(node)라고 부른다.

- 각 노드는 직전 계층과 직후 계층에 존재하는 다른 모든 노드와 연결되어 있다는 점을 확인할 수 있다.

 

- 이러한 구조에서는 노드간 연결의 강도 즉 가중치(weight)를 학습시킨다.

  낮은 가중치는 신호를 약화시키고, 높은 가중치는 신호를 강화시킨다.

- 모든 노드간에 연결이 존재할 필요는 없다. 가중치가 0이면 끊어진거나 마찬가지이다.