$$ \newcommand{\floor}[1]{\left\lfloor #1 \right\rfloor} \newcommand{\ceil}[1]{\left\lceil #1 \right\rceil} \newcommand{\N}{\mathbb{N}} \newcommand{\R}{\mathbb{R}} \newcommand{\Z}{\mathbb{Z}} \newcommand{\Q}{\mathbb{Q}} \newcommand{\C}{\mathbb{C}} \renewcommand{\L}{\mathcal{L}} \newcommand{\x}{\times} \newcommand{\contra}{\scalebox{1.5}{$\lightning$}} \newcommand{\inner}[2]{\left\langle #1 , #2 \right\rangle} \newcommand{\st}{\text{ such that }} \newcommand{\for}{\text{ for }} \newcommand{\Setcond}[2]{ \left\{\, #1 \mid #2 \, \right\}} \newcommand{\setcond}[2]{\Setcond{#1}{#2}} \newcommand{\seq}[1]{ \left\langle #1 \right\rangle} \newcommand{\Set}[1]{ \left\{ #1 \right\}} \newcommand{\set}[1]{ \set{#1} } \newcommand{\sgn}{\text{sign}} \newcommand{\halfline}{\vspace{0.5em}} \newcommand{\diag}{\text{diag}} \newcommand{\legn}[2]{\left(\frac{#1}{#2}\right)} \newcommand{\ord}{\text{ord}} \newcommand{\di}{\mathrel{|}} \newcommand{\gen}[1] \newcommand{\irr}{\mathrm{irr }} \renewcommand{\deg}{\mathrm{deg }} \newcommand{\nsgeq}{\trianglelefteq} \newcommand{\nsg}{\triangleleft} \newcommand{\argmin}{\mathrm{argmin}} \newcommand{\argmax}{\mathrm{argmax}} \newcommand{\minimize}{\mathrm{minimize}} \newcommand{\maximize}{\mathrm{maximize}} \newcommand{\subto}{\mathrm{subject\ to}} \newcommand{\DKL}[2]{D_{\mathrm{KL}}\left(#1 \di\di #2\right)} \newcommand{\ReLU}{\mathrm{ReLU}} \newcommand{\E}{\mathsf{E}} \newcommand{\V}{\mathsf{Var}} \newcommand{\Corr}{\mathsf{Corr}} \newcommand{\Cov}{\mathsf{Cov}} \newcommand{\covariance}[1]{\Cov\left(#1\right)} \newcommand{\variance}[1]{\V\left[#1\right]} \newcommand{\variancewith}[1]{\V\left[#1\right]} \newcommand{\expect}[1]{\E\left[#1\right]} \newcommand{\expectwith}[2]{\E_{#1}\left[#2\right]} \renewcommand{\P}{\mathsf{P}} \newcommand{\uniform}[2]{\mathrm{Uniform}\left(#1 \dots #2\right)} \newcommand{\gdist}[2]{\mathcal{N}\left(#1, #2\right)} \DeclarePairedDelimiter{\norm}{\lVert}{\rVert} $$ \everymath{\displaystyle}

Coursera ML, Lecture 8 : Neural Network Application

February 19, 2021 • 194 words

Back to : ml-study

Contents

예시 : XOR / XNOR Classification
Multiclass Classification

예시 : XOR / XNOR Classification

XOR (0, 0 / 1, 1) 과 XNOR (1, 0 / 0, 1)로 구분하는 classification 문제.
먼저, AND를 $(x_1, x_2)$ 를 받아서 값을 출력하는 네트워크로 표현하자.
적당히 Logistic classification하면 잘 돌아간다. $g(20 x_1 + 20 x_2 - 30)$ 정도. 핵심은 $x_1 = x_2 = 1$ 외의 나머지를 모두 0으로 빡세게(?) 보낼수있게 스케일링하기.
비슷하게 OR도 별로 어렵지 않다. $g(20 x_1 + 20x_2 -10)$ 같은 함수를 쓰면 0, 0 외의 나머지를 1로 보낼 수 있다.
NOT은 $g(-20x_1 + 10)$ 정도…
이제 $x_1$ XNOR $x_2$ 를 레이어를 이용해 표현하는 방법을 생각해 보자.
가중치를 달리한 Neuron을 두개 만들어서, $a_1$ 은 $x_1$ AND $x_2$로, $a_2$ 는 ((NOT $x_1$) AND (NOT $x_2$)) 로 만들자.
Layer 3 : $a_3$ 은 $a_1$ OR $x_2$ 로 만든다.
이렇게 레이어로 구성한 Neural Network는 XNOR 함수를 학습한 것이 된다.
Intuition : Hidden Layer (중간 과정) 에도 학습이 이루어질 수 있음을 이용, Complex한 함수도 만들 수 있다.

Multiclass Classification

One versus All 의 Extension
각 Category를 Output unit으로 만든다. $\R^4$ 로 Hypothesis 설계.

Back to : ml-study