[UDEMY-Deep Learning A to Z] 2-2. ANN Intuition - 활성화 함수 (The Activation Function)

본 게시물은 UDEMY 강좌 '딥러닝의 모든 것 with Python, Tensorflow, Pytorch'를 학습하고 요약한 게시물입니다.

- 강좌 URL : https://www.udemy.com/course/best-artificial-neural-networks/

---

> 활성화 함수란?

 

활성함수(活性函數, activation function)는 인공 신경망에서 입력을 변환하는 함수이다. ReLU, 시그모이드 함수, 쌍곡탄젠트 함수 등이 대표적인 활성함수이다

(출처 : 위키백과)

다음뉴런에 신호가 전달되는 과정 (출처 : Udemy, 딥러닝 A to Z)

• 1~2단계 : 입력값들과 가중치들을 이용해서 입력값의 가중합계를 계산하며, 이 때 활성화 함수를 적용함
• 3단계 (오늘 공부할 부분) : 다음 뉴런에 신호를 전달할 것이며, 전달될 값에 대해 얘기해 볼 것

> 활성화 함수 종류 - ① 한계값 함수 (Threshold Function)

출처 : Udemy, 딥러닝 A to Z

• x축 : 입력값의 가중합계, y축 : 0부터 1까지 값이 나와있음
• yes or no의 두 가지 옵션밖에 없는 함수

> 활성화 함수 종류 - ② 시그모이드 함수 (Sigmoid)

출처 : Udemy, 딥러닝 A to Z

• x : 가중합계의 값
• ML 중 로지스틱 회귀에서 사용하는 함수
• 장점 : 매끄우며 마지막 층인 출력층에 아주 유용하며, 특히 확률을 예측할 때 유용하다.

> 활성화 함수 종류 - ③ 정류화 함수 (Rectifier)

출처 : Udemy, 딥러닝 A to Z

• 인공신경망에서 가장 많이 사용되는 함수 중 하나이다.
• (추가자료) 참고 논문 : 하비에 글로롯, 2011년, 'Deep sparse rectifier neural networks'
  → 정류화 함수가 중요한 이유를 알 수 있음

> 활성화 함수 종류 - ④ 하이퍼볼릭탄젠트 함수 (Hyperbolic Tangent)

출처 : Udemy, 딥러닝 A to Z

• 특정 응용 프로그램에서는 유용하게 사용될 수 있음

> 예시 1 : 의존변수가 2진수라는 가정하에 즉 0이나 1이 변수일 때 어떤 한계값 함수를 사용할 것인가?

출처 : Udemy, 딥러닝 A to Z

- 옵션 1: Threshold Function, 0보다 크거나 같다면 y는 가중합계의 한계값 함수와 같음

- 옵션 2 : 시그모이드 활성화 함수, y가 yes or no까지는 아니더라도 1일 확률을 출력하는 것

> 예시 2 

출처 : Udemy, 딥러닝 A to Z

• 가장 흔한 조합 : 은닉층에 정류화 활성화함수 적용, 시그모이드 활성화 함수가 적용될 출력층에 전달이 되면 최종 출력값이 나온다. (예를 들면 확률을 예측할 수 있음)