분류와 회귀

분류와 회귀

순방향 신경망으로 모델을 설계하기 위해서는 기본적으로 모델의 입출력 형태, 활성 함수의 종류, 네트워크 크기 등을 고려해야한다. 이 중 입출력 형태는 풀고자 하는 문제가 정의되면 자동으로 정의되는 것이 일반적이지만, 활성 함수의 종류와 네트워크 크기 등은 검증을 하는 절차가 필요하다. 이를 모델 검증 단계라고 하며, 하이퍼파라미터(hyper-parameter) 탐색을 하여 최적의 모델을 찾아낸다.

 

이러한 설계 과정을 이해하기 위해 지도 학습의 대표적인 문제인 분류 문제와 회귀 문제를 살펴보자. 분류는 범주형 데이터를 예측하는 문제이고, 회귀는 숫자형 데이터를 예측하는 문제라고 요약할 수 있다.

 

분류 문제

분류(classification) 문제는 데이터의 클래스(class) 또는 카테고리(category)를 예측하는 문제이다. 이는 다시 분류하고자 하는 클래스의 개수에 따라 이진분류(클래스 2개, binary classification)와 다중분류(클래스 3개 이상, multiclass classification) 문제로 나뉜다. 이진분류는 보통 특정 명제에 대한 참 거짓을 판단하며, 다중분류는 특정 분야에서의 카테고리를 구분한다.

 

 

분류 모델을 대상을 판별하는 판별 함수(discriminative function)로 정의하면 모델은 입력 데이터가 속한 클래스를 예측한다. 반면 분류 모델을 확률을 예측하는 확률 모델(stochastic model)로 정의하면 입력 데이터가 각 클래스에 속할 확률을 예측한다. 위 사진을 예시로 들었을 때, 다중 분류에서 판별 함수를 사용할 경우 고양이를 나타내는 '클래스'가 출력이 되고, 확률 함수를 사용할 경우 고양이일 '확률'과 함께 강아지일 확률, 토끼일 확률 등이 함께 출력된다.

 

판별 함수에 비해 확률 함수는 클래스를 바로 예측하지 못한다는 단점이 있지만, 판별 함수보다 표현하는 정보가 많으며 확률 분포의 분산을 통해 불확실성을 계산할 수 있다는 장점이 있다.

 

회귀 문제

회귀(regression) 문제는 여러 독립 변수(x)와 종속 변수(y)의 관계를 연속 함수 형태로 분석하는 문제이다.

 

 

위와 같이 다양한 독립 변수 데이터를 입력으로 받아 숫자형 종속 변수를 출력하는 것이 회귀 문제로, 학습 데이터로부터 이 둘 사이의 관계를 계산한다. 회귀 모델은 입력 데이터에 대한 함숫값을 예측하는데, 이때 이 회귀 모델을 확률 모델로 정의할 경우 종속 변수의 확률 분포를 예측하게 된다. 위 사진을 예시로 들었을 때, '방 3개, 32평, 아파트, 역에서 20분 거리' 라는 데이터를 가진 집의 가격을 액수가 아닌 각 액수일 '확률'을 예측하게 되는 것이다.