ML&DL30

• ALS, k-NN, Neural CF ALS: Alternating Least Square ALS는 Matrix Factorization 방법 중 하나로, 대규모 데이터셋을 처리할 때 모든 변수를 동시에 최적화하는 대신 한 번에 하나의 변수 세트를 고정하고 다른 변수 세트를 최적화하는 것이다. ALS는 특정 변수 세트를 고정하고 다른 세트를 최적화할 때, 이 최적화 과정을 여러 데이터 분할에 걸쳐 동시에 수행 가능 → 대규모 데이터셋에 대해 효율적인 병렬 처리 가능하다. 이와 같은 능력 덕에, 스케일 아웃이 비교적 용이하다. 또한 ALS는 Convex 목적함수 관점에서의 장점도 가진다. ALS에서 고정된 변수에 대해 다른 변수를 최적화할 때, 각 단계에서의 최적화 문제가 Convex 최적화 문제가 되어 Global minima에 도달할 수 .. ML&DL/추천시스템 2024. 3. 31.

• 

  고윳값 분해, 특이값 분해(SVD) 고윳값 분해, 특이값 분해 고윳값 분해와 특이값 분해는 두 가지 강력한 행렬 분해 방법으로, 행렬의 분해 및 재구성을 통해 데이터를 더 잘 이해하고 머신러닝 및 딥러닝 모델의 성능을 향상시킬 수 있는 도구 중 하나이다. 특히 특이값 분해는 데이터 차원의 축소 및 압축, 잠재 요인 모델링, 노이즈 제거, 특징 추출 등에 사용할 수 있는 방법이므로 잘 알아두는 것이 좋다. 고윳값 분해 정방 행렬 $A$의 고유벡터로 이루어진 행렬 $V$와 각 고윳값을 대각성분으로 갖는 행렬 $\Lambda$에 대해 다음과 같은 식이 성립한다. $$ AV = V\Lambda $$ 이때 만약 모든 고유벡터들이 선형 독립이라면 그 행렬의 고유벡터들이 벡터 공간의 기저를 형성한다는 것을 의미하며, 이러한 행렬의 고유벡터들을 열벡터로.. ML&DL/Math for ML 2024. 3. 21.

• 

  고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간은 선형대수학의 핵심 개념 중 하나이며 이는 특정 벡터 공간에 대한 핵심적인 정보를 주므로 명확히 알아둘 필요가 있다. 간단히 개념을 정리해 보자. 고윳값, 고유벡터 $n \times n$ 정방 행렬 $A$와 상수 $\Lambda$에 대하여 $Ax = \Lambda x$가 성립하는 0이 아닌 벡터 $x$가 존재할 때, 상수 $\Lambda$를 행렬 $A$의 고윳값(eigenvalue)라고 하며, $x$를 이에 대응하는 고유벡터(eigenvector)라고 한다. 고윳값은 최소 1개에서 최대 서로 다른 n개(행렬 $A$의 랭크의 수)까지 존재할 수 있으며, 행렬 $A$의 모든 고윳값 집합을 행렬 $A$의 스펙트럼(spectrum)이라고 한다. 또, 이 .. ML&DL/Math for ML 2024. 3. 20.

• 

  역행렬과 행렬식 역행렬과 행렬식 역행렬과 이의 존재 여부를 알 수 있는 행렬식은 선형 연립 방정식을 풀기 위해 매우 중요한 개념이다. 각각의 개념을 가볍게 알아보도록 하자. 역행렬 어떤 행렬과 곱했을 때 항등 행렬이 나오는 행렬을 그 행렬의 역행렬(Inverse Matrix)이라고 한다. 행렬 $A$의 역행렬은 $A^{-1}$과 같이 표현하며, 행렬 $A$가 orthogonal matrix라면 $A^T=A^{-1}$이 성립한다. 행렬 곱의 역행렬은 다음과 같이 정의된다. $$ (AB)^{-1}=B^{-1}A^{-1} $$ 어떤 행렬의 역행렬은 존재할 수도 있고 하지 않을 수도 있으나 존재한다면 유일하게 존재한다. 이때 이 존재 여부는 행렬식을 계산함으로써 알 수 있다. 행렬식 행렬식(Determinant)은 정사각 행렬.. ML&DL/Math for ML 2024. 3. 18.

• Transposed / Symmetric / Diagonal Matrix Transposed / Symmetric / Diagonal Matrix 행렬의 연산에서 가장 많이 등장하는 개념인 Transposed / Symmetric / Diagonal Matrix에 대해 개념과 성질을 가볍게 알아보자. Transposed Matrix Transposed Matrix(전치 행렬)는 이름에서도 알 수 있듯이, 어떤 행렬에 Transpose(전치) 연산을 수행한 행렬이다. 여기서 전치 연산이란 행렬의 행과 열을 바꾸는 연산으로, $m\times n$ 행렬을 $n\times m$ 행렬로 바꾸게 된다. 곱 연산이 가능한 두 행렬 $A$, $B$에 대해 다음과 같은 성질이 성립한다. $(AB)^T = B^TA^T$ (A^{-1})^T = (A^T)^{-1} (이는 양변에 $A^T$를 곱함.. ML&DL/Math for ML 2024. 3. 17.

• Rank, Basis, Span (+ Gram-Schmidt Process) Rank, Basis, Span Rank, Basis 그리고 Span은 선형 대수학에서의 핵심 개념 중 하나이다. 이는 행렬 기반으로 연산이 수행되는 대부분의 머신러닝 개념의 근간이 되므로 잘 알아두는 것이 좋다. Rank Rank(랭크)는 행렬에서 선형 독립(일차 독립)인 행 또는 열의 최대 개수를 의미한다. 이는 또한 행렬이나 벡터 공간의 벡터로 만들 수 있는 부분 벡터 공간의 차원이다. 행렬의 실제 행 또는 열의 개수가 랭크보다 크다면 일부 벡터가 서로 선형 종속(일차 종속) 관계임을 알 수 있다. *일차 독립, 일차 종속이란? 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 $V$의 공집합이 아닌 부.. ML&DL/Math for ML 2024. 3. 16.

• 

  서비스를 고려한 추천시스템 성능 평가 방법 서비스를 고려한 추천시스템 성능 평가 방법론 일반적인 머신러닝과 마찬가지로, 추천시스템 또한 실제 서비스에 배포하기 전에 성능을 평가함으로써 모델의 안정성을 확인할 수 있다. 그러나 추천시스템의 경우 평가 방식이 일반적인 모델과 다소 다른 평가 방법을 가지기도 하며, 실제 서비스에 적용할 때 고려해야 될 사항이 좀 더 많은 편이다. 가장 먼저 '추천'이란 태스크의 특성상 정답이 모호한 경우가 많으며 실제 서비스에 적용할 경우 트렌드의 변화에 따른 인기 상품의 변화와 같은 이유로 모델의 성능과 별개로 사용자 만족도가 급격히 감소하거나 Long-tail 문제, False Positive 문제와 같이 결과의 Skew를 일으킬 수 있는 문제 또한 존재한다. 그렇다면, 추천시스템은 어떻게 평가해야 하고, 또 어떻.. ML&DL/추천시스템 2024. 2. 12.

• 

  최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam 최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam 신경망의 손실 함수가 복잡한 경우, 학습의 기본 최적화 알고리즘인 경사 하강법(Gradient Descent)과 미니 배치 훈련 방식으로 변형된 확률적 경사 하강법(Stochastic Gradient Descent, 이하 SGD)만으로는 최적해를 찾기 어려울뿐더러 학습 속도 또한 느리다. 이러한 한계를 극복하기 위해 확률적 경사 하강법을 변형한 많은 알고리즘이 제안되었다. 그중 주요 최적화 알고리즘인 SGD 모멘텀, 네스테로프 모멘텀, AdaGrad, RMSProp, Adam을 살펴보도록 하자. 확률적 경사 하강법의 문제점 확률적 경사 하강법의 개선 알고리즘들을 살펴보기 전에, 확률적 경사 하강법에는 어떠한 문제점이 있는지.. ML&DL/ML DL 기본기 2024. 1. 6.

• 빈도주의 V.S. 베이즈주의 (feat. 조건부독립) 빈도주의 V.S. 베이즈주의 빈도주의(Freqatist) 빈도주의(Freqatist)는 철저히 데이터에 기반을 둔 개념으로, 확률을 사건의 빈도로 보는 주의를 의미한다. 빈도론자들은 특정한 사건이 얼만큼 빈번하게 반복되어 발생하는가를 관찰하고 가설을 세워 모델을 만들고 검증한다. 예를 들어, '주사위를 던질 때 6이 나올 확률'을 계산하기 위해 무수히 많이 주사위를 굴려보고 그 통계를 확인할 수 있다. 빈도주의에서는 이와 같이, 특정 사건의 확률을 계산하기 위해 가장 이상적인 방법은 무수한 시행이라고 주장한다. 다만, 이와 같은 방법은 물리적 한계가 존재할 뿐만 아니라 실제 실험에 적용되는 외부 요인이 너무나 많기 때문에 실제로 사용하기에는 무리가 있는 방법이다. 여러 번의 실험 및 관찰을 통해 알게된 .. ML&DL/Math for ML 2024. 1. 3.

• 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 $V$의 공집합이 아닌 부분공간 $S$에 속하는 유한 개의 벡터 $u_1, ... , u_k$와 유한 개의 스칼라 $a_1, ... , a_k$에 대하여 다음과 같은 벡터 $v$를 $S$의 일차결합(Linear combination)이라 한다. $$ v = a_1u_1 + ... + a_ku_k $$ 이때, $v$는 벡터 $u_1,...,u_k$의 일차결합이며 $a_1,...,a_k$를 계수(Coefficient)라고 한다. * 여기서, 정의에 따라 벡터 한 개와 스칼라의 곱 또한 일차결합에 해당함에 유의하자. 부분 공간의 정의에 따라, $S$의 모든 일차결합은 $V$에 속한다. 증명) $.. ML&DL/Math for ML 2024. 1. 1.

• 

  다중 분류 모델과 카테고리 분포 다중 분류 모델과 카테고리 분포 다중 분류 문제는 주사위를 굴렸을 때 각 면이 나올 확률을 계산하는 문제처럼, 세 개 이상의 결과를 가지는 상황에서 각 결과의 확률을 구하는 문제이다. 이러한 다중 분류의 확률분포는 카테고리 분포(Categorical distribution)을 따르므로, 다중 분류 모델은 카테고리 분포를 예측하는 모델로 정의할 수 있다. 카테고리 분포 카테고리 분포는 베르누이 분포를 일반화한 분포로, K개의 사건의 확률을 표현한다. $$ p(x|\mu)=\Pi^K_{k=1} \mu_k^{x_k} $$ $$ \mu = (\mu_1, \mu_2, ..., \mu_K)^T, \ \Sigma^K_{k=1}\mu_k=1 $$ $$ x = (x_1, x_2, ..., x_K)^T, \ x_k = 1.. ML&DL/ML DL 기본기 2022. 7. 13.

• 

  이진 분류 모델과 베르누이 분포 이진 분류 모델과 베르누이 분포 이진 분류 문제는 동전 던지기처럼 두 가지 종류의 결과값을 가지는 문제에서 각각의 확률을 예측하는 문제이다. 이때 각 결과가 나올 확률의 확률분포는 베르누이 분포(Bernoulli distribution)로 정의되므로, 이진 분류 모델은 베르누이 분포를 예측하는 모델이라고 할 수 있다. 베르누이 분포 베르누이 분포는 두 종류의 사건이 발생할 확률을 나타내며 다음과 같은 식으로 정의된다. $$ p(x; \mu) \mu^x(1-\mu)^{1-x},\ x\in 0,1 $$ $x$는 확률변수로 0 또는 1의 값을 가지며 $x=0$은 사건 1을, $x=1$은 사건 2를 나타낸다. 또한 $\mu$는 사건 발생확률을 나타내며, 그 중 $x=1$일 때의 확률 즉, 사건 2의 발생확률을 .. ML&DL/ML DL 기본기 2022. 7. 6.