코드스테이츠14 경사하강법 (Gradient Descent) 신경망에서 가장 중추가 되는 개념인 역전파 알고리즘! 역전파 알고리즘을 통해서 가중치를 업데이트하는 과정중에 한 방법인 경사하강법에 대해서 간략히 정리하려고 한다. 경사하강법 (Gradient Descent)이란 무엇일까? 최적화(Optimizatoin)의 수학적 기법 중 하나로 기울기를 통해 찾고자하는 최저점을 점진적으로 찾아가는 방법이다. 수식으로는 다음과 같다. $$x_{i+1} = x_{i} - r *▽f(x_{i})$$ 경사하강법의 작동원리는 다음과 같다. 처음 시작점(Initial starting point)은 랜덤으로 시작하여 시작점의 기울기,▽f(x) 를 구하여 a) 기울기의 경사정도(절대값)과 b) 음 또는 양의 방향인지 확인 Learning rate 또는 step size라고 불리는 r.. 2021. 6. 10. [Section 2] 2. 트리계열 모델과 분류(feat. 코드스테이츠) Tree-Based Model(2021/4/12 ~ 4/16) 이번주의 주제는 '트리계열 모델을 통한 분류방법'이다. 간단한 Decision Tree부터 앙상블 기법 그리고 하이퍼파라미터 튜닝을 통한 최적화까지 다루었다. 배웠던내용에 대한 간단한 정리와 실용적으로 유용하게 쓰일만한 꿀팁들을 위주로 적겠다. 의사결정나무(Decision Tree) 트리계열 모델에서 가장 기본모델이며 앙상블기법에서는 약학습기(Weak Learner)로 쓰인다. 결정나무의 구성요소는 다음과 같다. 구성요소 설명 부모마디 (Parent Node) 상위마디 자식마디 (Child Node) 부모마디로 부터 분리된 2개이상의 마디들 뿌리마디 (Root Node) 최상위 마디 (시작점) 끝마디 (Terminal Node) 잎(Leaf).. 2021. 4. 16. [Section 2] 1. 단순선형회귀 (feat. 코드스테이츠) [AI 부트캠프 2기] Simple Regression (2021/4/5) 기본선형회귀와 다중선형회귀에 대해서 기초적인부분을 다루었다. 내용중 핵심이 되는 기본 가설, OLS, 성능지표, 정규화의 중요성에 대해서 정리하자. 회귀분석의 가설 1. 선형성(Linearity) X와 Y는 선형적 관계를 가져야 함 2. 독립성(Independency) 각 잔차들은 독립성이 확보되어야 한다. 독립변수와 잔차는 상관관계가 없다. 3. 정규성(Normality) 변수와 잔차는 정규성을 가져야 함 잔차는 평균 = 0, 분산 = σ2를 따라야 함 4. 등분산성(Homoscedasticity) 잔차들의 분산은 같아야 함 가설들 중 하나라도 만족하지 못하면 모델성능에 제약적인 부분이 발생한다. OLS(Ordinary Leas.. 2021. 4. 5. [AI부트캠프] Section 1 정리하며... (feat. 코드스테이츠) Section 1 (2021/3/4 ~ 4/2) 부트캠프를 진행하고 한달이 지났다. 벌써 한달이라니... 아무튼 한달동안 부트캠프를 진행하면서 얻었던 점과 부족한 점 그리고 향후 계획을 중간점검처럼 남기려고 한다. 회고 얻었던 점 1. 파이썬의 익숙함 Naver AI부트캠프에 떨어진 가장 큰 이유는 파이썬의 미숙함이였다. 전혀 알지 못했으며 써본적이 없기에 더욱 아쉬웠다. 하지만 지금의 나를 그때의 나와 파이썬의 활용력을 비교하면 자신있게 말할 수 있을정도로 많이 성장했다. 아직 배울게 많은 만큼 꾸준히 내공을 쌓자. 2. Git hub의 사용 및 레포지토리를 통한 자료 저장 Github을 쓸 수 있는 기회가 있어서 진심으로 감사하다. 3. 블로그 정리하는 습관 블로그정리는 부트캠프를 시작하기 전 스스로.. 2021. 4. 2. 이전 1 2 3 4 다음
