패스트캠퍼스 강필성의비즈니스분석 30일 도전 챌린지! 22일차

23.03.13

#패스트캠퍼스 #패캠챌린지 #수강료0원챌린지 #환급챌린지 #직장인인강 #직장인자기계발#패캠인강후기 #패스트캠퍼스후기 #오공완 #강필성의비즈니스데이터분석

.. 하 진짜 몸상태 너무너무 힘든 컨디션. 그럼에도 불구하고 환급챌린지는 계-속-된-다,,,,됴르륽

 

---

1. 오류 역전파 알고리즘 Error Back- Propagation by Gradient Descent

 

-K번째 관측치의 오차

 

- MLP는 과적합의 위험이 상대적으로 큰 모형이다.

데이터의 일반적인 특징뿐만 아니라 노이즈Noise로 인해 발현되는 학습 데이터만의 매우 특수한 상황도 외워버리려는 경향을 나타낸다. 그럼에 따라 학습 종료에 사용되는 다양한 조건들에 있는데 

 

1) 연속된 두 Epoch 사이 가중치 변화량이 작을 경우

2) 검증데이터에 대한 오분류율이 일정수준 이하로 낮아질 경우

3) 사전에 설정한 횟수 만큼의 반복 학습이 모두 수행된 경우

 

Adagrad

Adaptive Gradient의 줄임말로서 지금까지 많이 변화한 매개변수는 적게 변화하도록, 반대로 적게 변화한 매개변수는 많이 변화하도록 learning late의 값을 조절하는 개념을 기존의 SGD에 적용한 것입니다

AdaDelta

RMSProp과 유사하게 AdaGrad의 단점을 보완하기 위해 제안된 방법

Adam

아담(Adam)은 Adaptive Moment Estimation의 약자입니다. 모멘텀과 RMSprop을 섞어놓은 최적화 알고리즘 입기 때문에, 딥러닝에서 가장 흔히 사용되는 최적화 알고리즘

Momentum

 Gradient descent(이하 GD) 기반의 optimization algorithm

 

이외에 다양한 퍼셉트론 함수들이 존재함

 

 

교수님 추천 - 

유튜브 Brandon Rohrer 강좌

 

* 최종 요약 

 

1) 인공신경망 장점

- 우수한 예측성능

- 복잡한 입력변수-출력변수 관계를 규명할 수 있음

 

2) 인공신경망 단점

 - 입력변수와 출력변수 간의 인과관계를 규명할수없음(Blackbox Model)

- 변수선택 매커니즘 부재, 변수의 수 증가하면 과적합위험도 증가한다.

- 높은수준의 계산복잡도 == > 학습에 오랜시간이 소요

 

3) Deep Learning

- 최근 빅데이터 현상과 연산속도의 비약적인 발전으로 인해 다시 각광받고있다.

 

 

---

 

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.

http://bit.ly/3Y34pE0