[기계학습 4] Classification(Logistic Regression) - 작성중

 

- 본 게시물에서는 지금까지 다뤄왔던 Regression과 아예 별개의 알고리즘인 Classification에 대해 상술한다.

---

# 1 Classification

1) Classification 개요

- input variable과 output variable의 상관관계가 가장 높은 Mapping Function을 modeling한다는 점은 같으나, y 값이 discrete value 즉, categorical variable이라는 점이 다름

- 더불어, Mapping Function 역시 회귀와 다른데, Classification은 Mapping Function을 Normalize(값 자체는 상관이 없으나 통상적으로 0에서 1사이의 범위로 설계하며, 가장 대표적인 Classification Mapping Function으로 0~1 사이의 값을 갖는 시그모이드 함수를 많이 씀.(추후 상술))한다.

ex) 스팸 메일 분류, 온라인 거래 사기 탐지, 악성 종양 등

 

2) Classification의 대표적인 Mapping Function = 시그모이드 함수

 

- 시그모이드 함수 : Classification의 대표적인 Mapping Function으로 이때의 Classification 알고리즘을 logistic regression이라고 한다.

 

(Mapping Function의 표현 방식)

 

 

(Class별 확률값들의 합 = 1)

 

3) Decesion Boundary

- Decision Boundary : Logistic Regression 및 분류 문제에서 output label값을 나누는 경계면

- Classification의 Mapping Function이 sigmoid function인 경우 threshold를 기준으로 w벡터의 전치행렬과 input variable들의 벡터 x의 dot product한 식(즉, 시그모이드 함수 g(z)에서 z)을 0으로 만족시키는 식을 기하학적으로 표현한 것이 Decision Boundary가 된다.

 

(Decision Boundary가 선형인 경우)

 

 

(Decision Boundary가 비선형인 경우)

 

 

# 2 Logistic Regression

 

-  로지스틱 회귀의 가장 일반적인 형태이며, training 데이터셋과, input/ouput variable의 형태, mapping function(시그모이드 함수)에대해 상술되어 있음

- 이제부터 우리가 모델링해야될 것은 parameter w이며, 이를 위해 우리는 cost function을 구하고, 이에 따른 optimization을 수행해야한다.

 

#3 Logistic Regression의 Cost Function

1) Logistic Regression의 Cost Function이 MSE라면?

- 가장 간단하고 대중적인 선형회귀의 Cost Function인 MSE라면 아래의 왼쪽 그림과 같이 복잡한 Cost Function이 그려질 것이다.

- 이는 선형회귀와 달리 Logistic Regressiond의 Mapping Function이 시그모이드 함수의 형태이기 때문이다.

- 또한 이렇게 되면 local minimum이 너무 많아져 문제가되므로 우리는 보다 'convex'한 형태의 cost function을 찾아야한다.

 

 

2) Logistic Regression의 Cost Function

- Logistic Regression의 Cost Function은 아래와 같은 형태로 이루어져야 w에 관한 L(w)의 함수가 convex하게 그려진다고 한다.

 

 

- 예를들면, Ground Truth 값인 yn의 값이 0 일 때, Mapping Function인 Fw(Xn) = 0이라면 위의 초록색 그래프처럼 Cost Function 값이 0일 것이고, Fw(Xn) = 1이라면 Cost Function 값은 무한대로 발산

- 위에서 실제값 yn=0과 1일때의 식을 나누어 썼지만, 아래와 같이 한 개의 식으로 통일시켜서 기술할 수도 있음

 

#4 Logistic Regression의 Gradient Descent

 

---

 

# Reference

- Deep Learning by I.Goodfellow et al.

- Dive into Deep Learning by A.Zhang et al.

- Korea Univ. AAI107, 'Machine Learning' Lecture