머신러닝14

인과관계와 인과추론 인과관계와 인과추론일상에서, 인과관계(causation)는 종종 상관관계(correlation)와 혼동되곤 한다. 하지만 통계학을 비롯한 학문적인 영역에서 이 두 개념을 혼동한다면 큰 비판을 받을 수 있다. 물론 상관관계가 인과관계가 될 수는 있지만, 모든 상관관계가 인과관계는 아니기 때문이다. 간단하게 말하자면, 상관관계는 몇 개의 수치나 확률변수(random variable)가 특정 패턴을 보이며 같이 움직이는 것이며, 인과관계는 어떤 변수가 다른 변수의 변화를 야기하는 것이다. 즉, 인과관계에는 선후관계가 존재하며 원인과 결과의 관계를 가진다. 인과추론(causal inference)은 이러한 상관관계로부터 인과관계를 추론하고, 언제, 그리고 왜 둘이 서로 다른지를 이해하는 과학이라고 할 수 있다... 인과추론 2024. 5. 18.

고윳값 분해, 특이값 분해(SVD) 고윳값 분해, 특이값 분해 고윳값 분해와 특이값 분해는 두 가지 강력한 행렬 분해 방법으로, 행렬의 분해 및 재구성을 통해 데이터를 더 잘 이해하고 머신러닝 및 딥러닝 모델의 성능을 향상시킬 수 있는 도구 중 하나이다. 특히 특이값 분해는 데이터 차원의 축소 및 압축, 잠재 요인 모델링, 노이즈 제거, 특징 추출 등에 사용할 수 있는 방법이므로 잘 알아두는 것이 좋다. 고윳값 분해 정방 행렬 $A$의 고유벡터로 이루어진 행렬 $V$와 각 고윳값을 대각성분으로 갖는 행렬 $\Lambda$에 대해 다음과 같은 식이 성립한다. $$ AV = V\Lambda $$ 이때 만약 모든 고유벡터들이 선형 독립이라면 그 행렬의 고유벡터들이 벡터 공간의 기저를 형성한다는 것을 의미하며, 이러한 행렬의 고유벡터들을 열벡터로.. ML&DL/Math for ML 2024. 3. 21.

고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간은 선형대수학의 핵심 개념 중 하나이며 이는 특정 벡터 공간에 대한 핵심적인 정보를 주므로 명확히 알아둘 필요가 있다. 간단히 개념을 정리해 보자. 고윳값, 고유벡터 $n \times n$ 정방 행렬 $A$와 상수 $\Lambda$에 대하여 $Ax = \Lambda x$가 성립하는 0이 아닌 벡터 $x$가 존재할 때, 상수 $\Lambda$를 행렬 $A$의 고윳값(eigenvalue)라고 하며, $x$를 이에 대응하는 고유벡터(eigenvector)라고 한다. 고윳값은 최소 1개에서 최대 서로 다른 n개(행렬 $A$의 랭크의 수)까지 존재할 수 있으며, 행렬 $A$의 모든 고윳값 집합을 행렬 $A$의 스펙트럼(spectrum)이라고 한다. 또, 이 .. ML&DL/Math for ML 2024. 3. 20.

역행렬과 행렬식 역행렬과 행렬식 역행렬과 이의 존재 여부를 알 수 있는 행렬식은 선형 연립 방정식을 풀기 위해 매우 중요한 개념이다. 각각의 개념을 가볍게 알아보도록 하자. 역행렬 어떤 행렬과 곱했을 때 항등 행렬이 나오는 행렬을 그 행렬의 역행렬(Inverse Matrix)이라고 한다. 행렬 $A$의 역행렬은 $A^{-1}$과 같이 표현하며, 행렬 $A$가 orthogonal matrix라면 $A^T=A^{-1}$이 성립한다. 행렬 곱의 역행렬은 다음과 같이 정의된다. $$ (AB)^{-1}=B^{-1}A^{-1} $$ 어떤 행렬의 역행렬은 존재할 수도 있고 하지 않을 수도 있으나 존재한다면 유일하게 존재한다. 이때 이 존재 여부는 행렬식을 계산함으로써 알 수 있다. 행렬식 행렬식(Determinant)은 정사각 행렬.. ML&DL/Math for ML 2024. 3. 18.

Transposed / Symmetric / Diagonal Matrix Transposed / Symmetric / Diagonal Matrix 행렬의 연산에서 가장 많이 등장하는 개념인 Transposed / Symmetric / Diagonal Matrix에 대해 개념과 성질을 가볍게 알아보자. Transposed Matrix Transposed Matrix(전치 행렬)는 이름에서도 알 수 있듯이, 어떤 행렬에 Transpose(전치) 연산을 수행한 행렬이다. 여기서 전치 연산이란 행렬의 행과 열을 바꾸는 연산으로, $m\times n$ 행렬을 $n\times m$ 행렬로 바꾸게 된다. 곱 연산이 가능한 두 행렬 $A$, $B$에 대해 다음과 같은 성질이 성립한다. $(AB)^T = B^TA^T$ (A^{-1})^T = (A^T)^{-1} (이는 양변에 $A^T$를 곱함.. ML&DL/Math for ML 2024. 3. 17.

Rank, Basis, Span (+ Gram-Schmidt Process) Rank, Basis, Span Rank, Basis 그리고 Span은 선형 대수학에서의 핵심 개념 중 하나이다. 이는 행렬 기반으로 연산이 수행되는 대부분의 머신러닝 개념의 근간이 되므로 잘 알아두는 것이 좋다. Rank Rank(랭크)는 행렬에서 선형 독립(일차 독립)인 행 또는 열의 최대 개수를 의미한다. 이는 또한 행렬이나 벡터 공간의 벡터로 만들 수 있는 부분 벡터 공간의 차원이다. 행렬의 실제 행 또는 열의 개수가 랭크보다 크다면 일부 벡터가 서로 선형 종속(일차 종속) 관계임을 알 수 있다. *일차 독립, 일차 종속이란? 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 $V$의 공집합이 아닌 부.. ML&DL/Math for ML 2024. 3. 16.

지능과 인공 신경망 지능과 인공 신경망 지능(intelligence)은 '어떤 문제에 당면했을 때 자신의 지식과 경험을 활용해서 문제를 해결하는 능력'을 의미한다. 지능을 가진 생물체는 자신의 경험을 활용하여 문제를 해결하거나, 때로는 아예 새로운 방식을 찾아내기도 한다. 즉, 지능은 광범위한 인식 능력과 문제 해결 능력을 포괄한다고 할 수 있다. 인간의 인지 능력과 호기심 인간은 지능이 굉장히 높은 생명체이다. 그런 만큼 세상을 인지하는 능력이 탁월하며, 인간만이 가지는 특성은 대부분 이러한 높은 인지 능력으로부터 비롯된다. 인간은 자신이 처한 상황을 포괄적으로 파악할 뿐만 아니라 과거를 회상하고 아직 일어나지 않은 미래를 상상하며 과거, 현재, 미래를 통합적으로 이해한다. 그 안에서 인간은 인과적 사고를 통해 문제를 자.. ML&DL/ML DL 기본기 2022. 5. 25.

회귀분석 회귀분석 지도 학습 (Supervised Learning) Y = f(X)에 대하여 입력 변수 X와 출력 변수 Y의 관계에 대하여 모델링하는 것 회귀(regression): 입력 변수 X에 대해서 연속형 출력 변수 Y를 예측 분류(classification): 입력 변수 X에 대해서 이산형 출력 변수 Y를 예측 회귀분석 입력 변수인 X의 정보를 활용하여 출력 변수인 Y를 예측하는 방법으로, 크게 선형회귀분석 / 비선형회귀분석으로 나뉜다. 1. 단순 선형 회귀분석 입력 변수가 X, 출력 변수가 Y일때, 단순 선형 회귀의 회귀식은 위와 같다. 위 식에서 $\beta_0$는 절편(intercept), $\beta_1$은 기울기(slope)이며, 둘을 통틀어 회귀계수(coefficients)라고 한다.($\ep.. ML&DL/ML DL 기본기 2021. 12. 11.

통계학 기초: 회귀분석을 위한 통계 회귀분석을 위한 통계 0. 통계학이란? 통계학의 전반적인 이해를 위해서는 모집단과 표본에 대해 알아야 한다. 모집단 (Population) 연구의 대상이 되는 모든 개체들을 모은 집합 일반적으로 시간적, 공간적 제약으로 인해 모집단 전체를 대상으로 한 분석은 불가능하다. 표본 (Sample) 모집단 일부의 관측값들 각각의 집단에서 우리가 관심 있게 봐야 할 것들은 다음과 같다. 모수 (Parameter) 수치로 표현되는 모집단의 특성 모집단의 요약 값이라고 할 수 있다. ex - 모집단의 평균, 분산 등 통계량 (Statistic) 표본의 관측값들에 의해서 결정되는 양 추정량 모수를 추정하기 위한 목적을 가진 통계량 1. 자료의 종류 통계학에서 주로 다루는 자료는 크게 두 가지로 나눌 수 있다. 수치형 .. ML&DL/ML DL 기본기 2021. 12. 8.

과적합(Overfitting) 과적합(Overfitting) 1. 과적합이란 학습 데이터에 대해서는 높은 정확도를 보이지만, 검증 데이터 혹은 테스트 데이터에 대해서는 정확도가 낮은 경우를 의미한다. 복잡한 모형일수록, 데이터가 적을수록 과적합이 일어나기 쉽다. 과적합은 데이터 사이언스뿐만 아니라 AI 전반적으로 매우 큰 이슈 아래 그림은 회귀분석에서 고차항을 넣었을 때 만들어지는 직선 2. 분산(Variance)과 편파성(Bias) 3. 분산과 편파성의 트레이드오프(Tradeoff) 딜레마 분산과 표준편차가 모두 낮은 경우 (좌측 상단) 거의 존재하지 않는, 가장 이상적인 상황이다. 타깃 값에 높은 정확도를 가지고 적중함을 확인할 수 있다. 분산과 표준편차가 모두 높은 경우 (우측 하단) 예측값이 한 곳에 모이지도 않았고 타깃 값에.. ML&DL/ML DL 기본기 2021. 12. 7.

모델 적합성 평가 및 실험설계 모델의 적합성 평가 및 실험설계 0. 용어 설명 MSE(mean squared error) 평균 제곱 오차. 예측값과 실제값 사이의 오차(잔차)의 제곱에 대한 평균 회귀 모형의 예측력을 평가하기 위해 예측 값과 실제 값이 유사한지 평가할 수 있는 척도로, 숫자가 작을수록 더욱 정확한 모델이라고 판단한다. 이외에도 Average error, MAE, MAPE, RMSE 등이 있다. Overfitting 과적합. 머신러닝에서, 학습 데이터를 과하게 학습하는 것을 뜻한다. 실제 데이터의 부분집합인 학습 데이터에 대해서는 오차가 감소하지만, 실제 데이터에 대해서는 오차가 증가하게 된다. Underfitting 과적합의 반대 개념. 과소 적합이라고도 불림. 학습 데이터가 충분치 않거나 학습이 제대로 이루어지지 않.. ML&DL/ML DL 기본기 2021. 12. 5.

머신러닝 기법 구분: 지도학습, 비지도 학습, 강화학습 머신러닝 기법 구분 머신러닝 기법은 크게 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning)으로 분류할 수 있다. 이중 지도 학습과 비지도 학습은 전통적인 머신러닝 기법으로 분류되며, 강화 학습은 보는 이에 따라 머신러닝과 별개의 분야로 보기도 한다. 지도 학습과 비지도 학습의 가장 큰 차이점은 학습 과정에 있어 전문가가 개입하여 학습을 '지도'하는지라고 할 수 있다. 가장 보편적인 지도 학습 방법은 입력 데이터에 대한 정답을 사전 정의하여 학습 데이터로 제공하는 것으로, 모델은 자신의 예측과 실제 정답을 비교하며 오차를 줄이는 방향으로 학습을 진행한다. 지도 학습은 다시 회귀(regression).. ML&DL/ML DL 기본기 2021. 12. 2.

이전 1 2 다음

티스토리툴바