[빅리더_딥러닝_0728]

XOR는 직선 하나로 +와 -를 구분할 수 없다.

그래서 선을 그어 새로운 축을 만들어 설명해보겠다.

 

 

Back Propagation

 

딥러닝이 잘 안된 이유

1. 레이블 된 데이터 셋이 수 천배 작았다.

2. 컴퓨터가 너무 느렸다.

3. 초기 가중치 값을 멍청하게 잡았다.

4. 데이터 타입이 안맞았다?

 

1. Our labeld datasets were thousands of tiems to small

2. Our computers were millions of tiems too slow

3. We initialized the weights in a stupid way

4. We used the wrong type of non linearity

 

 

 

가중치 스케일링?, 초기화

DBM

좀더 정확하게 찾기 위해

 

Xavier

가중치를 가우시안 분포로 뽑고, 입력 수에 맞춰 나누어 주었다.

Relu랑 같이 쓰면 작동이 잘 안된다.

 

He initialization

가중치를 가우시안 분포로 뽑고, 입력 수에 맞춰 나누어 주었다.

Relu랑 써도 괜찮다.

입력층과 출력층 사이의 가우시간 분포를 따르도록 만들어준다?

 

은닉층의 노드 수를 늘였다 줄였다 하는 것의 의미?

가중치 스케일에서 의미를 가지는 것인가?

 

batch nomarlization

각 각 은닉층 앞에 배치 정규화 층을 추가한다.

배치 정규화 층에서는 배치가 들어오는 것들을 평균이란 분산을 구해 nomalization 시켜준다.

Internal Covariate Shift

층이 늘어나면서 정규분포를 띄지 않아 발생하는 문제

 

Advantages of Batch Normalization

1. BN enables higher learning rate

2. BN regularizes the model

3. 초기값에 크게 의존하지 않는다.

 

딥러닝에서의 과적합

hidden layer가 너무 많은 경우, 노드 수가 너무 많은 경우, epochs을 너무 올린 경우

validation이나 test에서 못 맞춘다.

 

Dropout

layer를 랜덤하게 꺼서 학습을 시킨다, 과적합일 경우에 사용한다.

 

Ensemble in Deeplearning

 

데이터에 따른 최적의 모델은 없다.

보통 relu, adam, he initialization, 배치 정규화, 드롭아웃 등을 사용하는데 경험에 의해 찾는 것이 좋다.