선형대수학6

• 

  고윳값 분해, 특이값 분해(SVD) 고윳값 분해, 특이값 분해 고윳값 분해와 특이값 분해는 두 가지 강력한 행렬 분해 방법으로, 행렬의 분해 및 재구성을 통해 데이터를 더 잘 이해하고 머신러닝 및 딥러닝 모델의 성능을 향상시킬 수 있는 도구 중 하나이다. 특히 특이값 분해는 데이터 차원의 축소 및 압축, 잠재 요인 모델링, 노이즈 제거, 특징 추출 등에 사용할 수 있는 방법이므로 잘 알아두는 것이 좋다. 고윳값 분해 정방 행렬 $A$의 고유벡터로 이루어진 행렬 $V$와 각 고윳값을 대각성분으로 갖는 행렬 $\Lambda$에 대해 다음과 같은 식이 성립한다. $$AV = V\Lambda$$ 이때 만약 모든 고유벡터들이 선형 독립이라면 그 행렬의 고유벡터들이 벡터 공간의 기저를 형성한다는 것을 의미하며, 이러한 행렬의 고유벡터들을 열벡터로.. ML&DL/Math for ML 2024. 3. 21.

• 

  고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간은 선형대수학의 핵심 개념 중 하나이며 이는 특정 벡터 공간에 대한 핵심적인 정보를 주므로 명확히 알아둘 필요가 있다. 간단히 개념을 정리해 보자. 고윳값, 고유벡터 $n \times n$ 정방 행렬 $A$와 상수 $\Lambda$에 대하여 $Ax = \Lambda x$가 성립하는 0이 아닌 벡터 $x$가 존재할 때, 상수 $\Lambda$를 행렬 $A$의 고윳값(eigenvalue)라고 하며, $x$를 이에 대응하는 고유벡터(eigenvector)라고 한다. 고윳값은 최소 1개에서 최대 서로 다른 n개(행렬 $A$의 랭크의 수)까지 존재할 수 있으며, 행렬 $A$의 모든 고윳값 집합을 행렬 $A$의 스펙트럼(spectrum)이라고 한다. 또, 이 .. ML&DL/Math for ML 2024. 3. 20.

• 

  역행렬과 행렬식 역행렬과 행렬식 역행렬과 이의 존재 여부를 알 수 있는 행렬식은 선형 연립 방정식을 풀기 위해 매우 중요한 개념이다. 각각의 개념을 가볍게 알아보도록 하자. 역행렬 어떤 행렬과 곱했을 때 항등 행렬이 나오는 행렬을 그 행렬의 역행렬(Inverse Matrix)이라고 한다. 행렬 $A$의 역행렬은 $A^{-1}$과 같이 표현하며, 행렬 $A$가 orthogonal matrix라면 $A^T=A^{-1}$이 성립한다. 행렬 곱의 역행렬은 다음과 같이 정의된다. $$(AB)^{-1}=B^{-1}A^{-1}$$ 어떤 행렬의 역행렬은 존재할 수도 있고 하지 않을 수도 있으나 존재한다면 유일하게 존재한다. 이때 이 존재 여부는 행렬식을 계산함으로써 알 수 있다. 행렬식 행렬식(Determinant)은 정사각 행렬.. ML&DL/Math for ML 2024. 3. 18.

• Transposed / Symmetric / Diagonal Matrix Transposed / Symmetric / Diagonal Matrix 행렬의 연산에서 가장 많이 등장하는 개념인 Transposed / Symmetric / Diagonal Matrix에 대해 개념과 성질을 가볍게 알아보자. Transposed Matrix Transposed Matrix(전치 행렬)는 이름에서도 알 수 있듯이, 어떤 행렬에 Transpose(전치) 연산을 수행한 행렬이다. 여기서 전치 연산이란 행렬의 행과 열을 바꾸는 연산으로, $m\times n$ 행렬을 $n\times m$ 행렬로 바꾸게 된다. 곱 연산이 가능한 두 행렬 $A$, $B$에 대해 다음과 같은 성질이 성립한다. $(AB)^T = B^TA^T$ (A^{-1})^T = (A^T)^{-1} (이는 양변에 $A^T$를 곱함.. ML&DL/Math for ML 2024. 3. 17.

• Rank, Basis, Span (+ Gram-Schmidt Process) Rank, Basis, Span Rank, Basis 그리고 Span은 선형 대수학에서의 핵심 개념 중 하나이다. 이는 행렬 기반으로 연산이 수행되는 대부분의 머신러닝 개념의 근간이 되므로 잘 알아두는 것이 좋다. Rank Rank(랭크)는 행렬에서 선형 독립(일차 독립)인 행 또는 열의 최대 개수를 의미한다. 이는 또한 행렬이나 벡터 공간의 벡터로 만들 수 있는 부분 벡터 공간의 차원이다. 행렬의 실제 행 또는 열의 개수가 랭크보다 크다면 일부 벡터가 서로 선형 종속(일차 종속) 관계임을 알 수 있다. *일차 독립, 일차 종속이란? 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 $V$의 공집합이 아닌 부.. ML&DL/Math for ML 2024. 3. 16.

• 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 $V$의 공집합이 아닌 부분공간 $S$에 속하는 유한 개의 벡터 $u_1, ... , u_k$와 유한 개의 스칼라 $a_1, ... , a_k$에 대하여 다음과 같은 벡터 $v$를 $S$의 일차결합(Linear combination)이라 한다. $$v = a_1u_1 + ... + a_ku_k$$ 이때, $v$는 벡터 $u_1,...,u_k$의 일차결합이며 $a_1,...,a_k$를 계수(Coefficient)라고 한다. * 여기서, 정의에 따라 벡터 한 개와 스칼라의 곱 또한 일차결합에 해당함에 유의하자. 부분 공간의 정의에 따라, $S$의 모든 일차결합은 $V$에 속한다. 증명) $.. ML&DL/Math for ML 2024. 1. 1.