성장通

최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam 신경망의 손실 함수가 복잡한 경우, 학습의 기본 최적화 알고리즘인 경사 하강법(Gradient Descent)과 미니 배치 훈련 방식으로 변형된 확률적 경사 하강법(Stochastic Gradient Descent, 이하 SGD)만으로는 최적해를 찾기 어려울뿐더러 학습 속도 또한 느리다. 이러한 한계를 극복하기 위해 확률적 경사 하강법을 변형한 많은 알고리즘이 제안되었다. 그중 주요 최적화 알고리즘인 SGD 모멘텀, 네스테로프 모멘텀, AdaGrad, RMSProp, Adam을 살펴보도록 하자. 확률적 경사 하강법의 문제점 확률적 경사 하강법의 개선 알고리즘들을 살펴보기 전에, 확률적 경사 하강법에는 어떠한 문제점이 있는지..

빈도주의 V.S. 베이즈주의 빈도주의(Freqatist) 빈도주의(Freqatist)는 철저히 데이터에 기반을 둔 개념으로, 확률을 사건의 빈도로 보는 주의를 의미한다. 빈도론자들은 특정한 사건이 얼만큼 빈번하게 반복되어 발생하는가를 관찰하고 가설을 세워 모델을 만들고 검증한다. 예를 들어, '주사위를 던질 때 6이 나올 확률'을 계산하기 위해 무수히 많이 주사위를 굴려보고 그 통계를 확인할 수 있다. 빈도주의에서는 이와 같이, 특정 사건의 확률을 계산하기 위해 가장 이상적인 방법은 무수한 시행이라고 주장한다. 다만, 이와 같은 방법은 물리적 한계가 존재할 뿐만 아니라 실제 실험에 적용되는 외부 요인이 너무나 많기 때문에 실제로 사용하기에는 무리가 있는 방법이다. 여러 번의 실험 및 관찰을 통해 알게된 ..

일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 $V$의 공집합이 아닌 부분공간 $S$에 속하는 유한 개의 벡터 $u_1, ... , u_k$와 유한 개의 스칼라 $a_1, ... , a_k$에 대하여 다음과 같은 벡터 $v$를 $S$의 일차결합(Linear combination)이라 한다. $$ v = a_1u_1 + ... + a_ku_k $$ 이때, $v$는 벡터 $u_1,...,u_k$의 일차결합이며 $a_1,...,a_k$를 계수(Coefficient)라고 한다. * 여기서, 정의에 따라 벡터 한 개와 스칼라의 곱 또한 일차결합에 해당함에 유의하자. 부분 공간의 정의에 따라, $S$의 모든 일차결합은 $V$에 속한다. 증명) $..