머신러닝 기법 구분: 지도학습, 비지도 학습, 강화학습

머신러닝 기법 구분

머신러닝 기법은 크게 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning)으로 분류할 수 있다. 이중 지도 학습과 비지도 학습은 전통적인 머신러닝 기법으로 분류되며, 강화 학습은 보는 이에 따라 머신러닝과 별개의 분야로 보기도 한다.

 

지도 학습과 비지도 학습의 가장 큰 차이점은 학습 과정에 있어 전문가가 개입하여 학습을 '지도'하는지라고 할 수 있다. 가장 보편적인 지도 학습 방법은 입력 데이터에 대한 정답을 사전 정의하여 학습 데이터로 제공하는 것으로, 모델은 자신의 예측과 실제 정답을 비교하며 오차를 줄이는 방향으로 학습을 진행한다. 지도 학습은 다시 회귀(regression)와 분류(classification)로 나눌 수 있다.

 

비지도 학습은 전문가의 개입 없이 순수하게 데이터만으로 학습하는 방법이다. 비슷한 데이터끼리 묶어주는 클러스터링(clustering), 고차원 데이터를 저차원으로 변환시켜주는 차원 축소(dimension reduction), 데이터의 핵심 정보를 낮은 차원의 잠재 데이터로 표현하는 표현 학습(representation learning), 새로운 데이터를 생성하는 데이터 생성(data generation), 데이터 간의 규칙을 찾아내는 연관 규칙(association rule), 사람의 행동을 분석하여 관심 항목을 추천하는 협업 필터링(collaborative filtering) 등이 비지도 학습에 포함된다.

강화 학습은 순차적인 의사결정 문제(sequential descision problem)를 다룬다. 현재의 의사결정이 미래에 영향을 미칠 때, 목표를 달성하기 위한 순차적인 의사결정 방법을 학습하는 방법이다. 행동 심리학의 행동강화 이론을 토대로 보상을 최대화하는 행동을 선택하도록 학습하는 방식으로, 비디오 게임, 보드 게임 분야에서 높은 성능을 보이며 센서 정보를 이용한 간단한 기기 및 로봇 제어, 자율 주행과 같은 영역에서 전문가의 행동을 따라 하는 모방 학습 등을 수행할 수 있다. 최근에는 산업에서 가장 활발하게 사용되는 인공지능 기술이라고 평가받는 추천 시스템 분야에서도 사용되고 있으며 점차 그 범위는 넓어지고 있다. 이렇듯 순차적인 의사결정을 내리는 강화 학습은 한 번만 추론하는 지도 학습이나 비지도 학습보다 더 일반화된 문제를 다룬다고 할 수 있다.

머신러닝 지도

1. 지도 학습(supervised learning)

• 레이블 된 데이터
• 직접 피드백
• 출력 및 미래 예측

2. 비지도 학습(unsupervised learning)

• 레이블 및 타겟 없음
• 피드백 없음
• 데이터에서 숨겨진 구조 찾기

3. 강화 학습(reinforcement learning)

• 결정 과정
• 보상 시스템
• 연속된 행동에서 학습

---

1. 지도학습

지도학습으로 미래 예측

'지도'란? ⇒ 희망하는 출력 신호(레이블)가 있는 일련의 샘플

• 지도학습의 주요 목적은 레이블(label) 된 훈련 데이터에서 모델을 학습하여 본 적 없는 미래 데이터에 대해 예측을 만드는 것
• Y = f(X)에 대하여 입력 변수 X와 출력 변수 Y의 관계에 대하여 모델링  

  

  지도학습

 

1) 분류: 클래스 레이블 예측

'분류(classification)'는 지도 학습의 하위 카테고리
⇒ 과거의 관측을 기반으로 새로운 샘플의 범주형 클래스 레이블을 예측하는 것이 목적

• 입력 변수 X에 대해서 이산형 출력 변수 Y (class)를 예측
• 클래스 레이블은 이산적이고 순서가 없다 → 샘플이 속한 그룹으로 이해할 수 있음
• 이진 분류(binary classification) or 다중 분류(multiclass classification, ex-손글씨 인식)

  

 

2) 회귀: 연속적인 출력 값 예측

예측 변수(독립변수, predictor variable)와 연속적인 반응 변수(종속변수, response variable)가 주어졌을 때 출력 값을 예측하는 두 변수 사이의 관계를 찾는 것이 목적

• 입력 변수 X에 대해서 연속형 출력 변수 Y를 예측
• 선형 회귀(linear regression): 입력 x와 타깃 y가 주어지면 샘플과 직선 사이 거리가 최소가 되는 직선을 그을 수 있다
• 일반적으로 평균 제곱 거리(mean square distance)를 사용
  이유 ⇒ 거리를 일관성 있게 양수로 처리 가능하며, 직선으로부터 먼 인풋 값에 더 큰 가중치를 부여할 수 있다
• 데이터에서 학습한 직선의 기울기(weight)와 절편(bias, intercept)을 사용하여 새로운 데이터의 출력 값을 예측
• y = Wx + b 

  

---

2. 비지도 학습

비지도 학습으로 숨겨진 구조 발견

• 사전에 올바른 답을 알고 모델을 훈련시키는 지도 학습이나 에이전트의 특정 행동을 어떻게 보상할지 정의되어 있는 강화 학습과 달리, 비지도 학습에서는 레이블 되지 않았거나 구조를 알 수 없는 데이터를 다룸
• 출력 변수 Y가 존재하지 않고, 입력 변수 X 간의 관계에 대하여 모델링
• 비지도 학습 기법을 사용하면 알려진 출력 값이나 보상 함수의 도움을 받지 않고 의미 있는 정보를 추출하기 위한 데이터 구조의 탐색이 가능

 

1) 군집: 서브그룹 찾기

• 사전 정보 없이 쌓여 있는 그룹 정보를 의미 있는 서브 그룹(subgroup) 또는 클러스터(cluster)로 조직하는 탐색적 데이터 분석 기법
• 분석 과정에서 만든 각 클러스터는 어느 정도 유사성을 공유하고 다른 클러스터와는 비슷하지 않은 샘플 그룹 형성
  ⇒ 이 때문에, '군집'은 종종 비지도 분류(unsupervised classification)이라고도 불린다
• 클러스터링은 정보를 조직화하고 데이터에서 의미 있는 관계를 유도하는 훌륭한 도구
  → 유사한 데이터끼리 그룹화

군집의 예

 

2) 차원 축소(PCA): 데이터 압축

• 고차원의 데이터(다중 측정 지표 존재)를 다뤄야 하는 경우 흔히 사용하는 기법
• 잡음(noise) 데이터를 제거하기 위해 특성 전처리 단계에서 종종 적용
• 독립변수들의 차원을 축소
• 관련 있는 정보를 대부분 유지하면서 더 작은 차원의 부분 공간으로 데이터를 압축
• 데이터 시각화에도 유용하게 사용됨

3D 스위스롤(Swiss Roll): 차원 축소를 통한 데이터의 시각화가 필요

---

3. 강화 학습

강화 학습으로 반응형 문제 해결

• 수많은 시뮬레이션을 통해 현재의 선택이 먼 미래에 보상이 최대가 되도록 학습
• 환경과 상호 작용하여 시스템(에이전트, agent) 성능을 향상하는 것이 목적
• 환경의 현재 상태 정보는 보상(reward) 신호를 포함 → 강화 학습은 지도 학습과 관련
  ⇒ 단, 강화 학습의 피드백은 정답(ground truth) 레이블이나 값이 아님
• 보상 함수로 얼마나 행동이 좋은지 측정한 값을 피드백
• 에이전트는 환경과 상호 작용하여 보상이 최대화되는 일련의 행동을 강화 학습으로 학습
  ⇒ trial and error 방식 등

강화 학습

• 일반적인 구조는 강화 학습 에이전트가 환경과 상호 작용하여 보상을 최대화하는 것
• 각 상태는 양의 보상이나 음의 보상과 연관
  ⇒ 보상은 전체 목표를 달성하는 것 (ex - 체스 게임 승리)
• 즉시 또는 지연된 피드백을 기초로 하여 보상을 최대화하는 일련의 단계를 학습