09. 간단한 정리

1. 학습률 조정을 통한 성능 개선

- 학습률을 변경함으로써 성능을 변화시킬 수 있다.

- 너무 크거나 작은 학습률은 성능을 오히려 저해 시킬 수 있다.

---

2. 반복 수행을 통한 성능 개선

- 데이터 모음에 대한 학습을 여러번 반복함으로써 신경망의 성능을 개선할 수 있다.

- 주기(epoch): 한 번의 수행

ex) 5번의 주기학습은 전체 학습 데이터 모음에 대해 학습을 10번 반복한다는 것을 의미.

- 하지만 너무 많은 반복은 오버피팅을 발생하게 해 오히려 성능을 떨어뜨린다.

- 그러므로 각각의 학습률과 주기에 대한 다양한 조합에 대하여 여러번 실험함으로써 경사하강법에 내재되어 있는 임의적 요소의 효과를 최소화하여 성능을 극대화 할 수 있어야 한다.

 

---

3. 신경망 구조 변경하기

- 은닉노드의 개수를 변경해본다.

- 은닉노드의 개수가 늘어나며 성능이 개선되는 게 보이지만 그 양은 뒤로 갈 수록 미미해지고, 연산양도 증가하게 된다.