Back to : deep-learning-study
Contents

์‹ฌ์ธต ์‹ ๊ฒฝ๋ง์˜ ์ˆ˜ํ•™์  ๊ธฐ์ดˆ 7๊ฐ• (9์›” 28์ผ) ์— ๊ธฐ๋ฐ˜ํ•ฉ๋‹ˆ๋‹ค.

๋งค์šฐ ์œ ๋ช…ํ•œ Standford CS231n ์ž๋ฃŒ ๋„ ์ฐธ๊ณ ํ•˜๋ฉด ์ข‹์Šต๋‹ˆ๋‹ค.

Convolution

Convolution์€ ์ˆ˜ํ•™์ ์œผ๋กœ ๊ต‰์žฅํžˆ ๋‹ค์–‘ํ•œ ๋Œ€์ƒ๋“ค์— ๋Œ€ํ•ด์„œ ์ž˜ ์ •์˜๋œ ์—ฐ์‚ฐ์ธ๋ฐ, ์šฐ๋ฆฌ๋Š” $n$์ฐจ์› ํ…์„œ (๋ฐฐ์—ด) ์— ๋Œ€ํ•ด์„œ๋งŒ ์ƒ๊ฐํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ๊ทธ๋ฆผ๊ณผ ๊ฐ™์ด, Convolution์€ Filter ๋˜๋Š” Kernel ์ด๋ผ๋Š” (๊ทธ๋ฆผ์˜ ๋…ธ๋ž€์ƒ‰ ํ–‰๋ ฌ) ์„ โ€œ๋ฐ€๋ฉด์„œโ€ ๋‚ด์ ์„ ๋ฐ˜๋ณตํ•ด์„œ ์ƒˆ๋กœ์šด ํ–‰๋ ฌ์„ ์–ป๋Š” ์—ฐ์‚ฐ์ž…๋‹ˆ๋‹ค.

picture 1
์ด๋ฏธ์ง€ ์ถœ์ฒ˜ : towardsdatascience.com

์ผ๋ฐ˜์ ์œผ๋กœ, ์ด๋ฏธ์ง€ ์ฒ˜๋ฆฌ์—์„œ CNN์„ ๊ฐ€์žฅ ๋งŽ์ด ์“ฐ๊ธฐ ๋•Œ๋ฌธ์— CNN์˜ ์ž…๋ ฅ์€ 3์ฐจ์› ํ…์„œ (๋ฐฐ์—ด) ๋กœ ๊ฐ€์ •ํ•˜๊ณ , filter๋„ 3์ฐจ์› ํ…์„œ (๋ฐฐ์—ด) ๋กœ ๊ฐ€์ •ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฏธ์ง€๊ฐ€ 2์ฐจ์›์ž„์—๋„ 3์ฐจ์› ํ…์„œ๋ฅผ ์“ฐ๋Š” ์ด์œ ๋Š” ์ด ํ…์„œ์˜ ์ •์ฒด๋ฅผ ๋ณด๋ฉด ์•Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ณดํ†ต์€ ์„ธ ์ฐจ์›์„ Channel * Width * Height ์œผ๋กœ ๋ถ€๋ฅด๋Š”๋ฐ, Channel์€ ์ดˆ๊ธฐ ์ž…๋ ฅ ๋‹จ๊ณ„์—์„œ๋Š” R G B ์˜ ์ƒ‰ ์ •๋ณด๋ฅผ ๋‚˜ํƒ€๋ƒ…๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ, 3์ฐจ์› ํ…์„œ์ง€๋งŒ ์‹ค์žฌ๋กœ๋Š” ์—ฌ๋Ÿฌ ์ฑ„๋„์ด ์žˆ๋Š” W * H ํฌ๊ธฐ์˜ ํ–‰๋ ฌ์˜ ๋ฌถ์Œ์œผ๋กœ ์ƒ๊ฐํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค. $C * W * H$ ์ž…๋ ฅ ์ด๋ฏธ์ง€์— ๋Œ€ํ•ด $C * 3 * 3$ ํ•„ํ„ฐ๋ฅผ ์“ฐ๊ฒŒ ๋˜๋ฉด ์‹ค์ œ๋กœ ๊ณต๊ฐ„์ ์œผ๋กœ ํ•„ํ„ฐ๋ฅผ ๋ฐ€์–ด ๋ณผ ์ˆ˜ ์žˆ๋Š” ๋ฐฉํ–ฅ์€ (๊ฐ€๋กœ, ์„ธ๋กœ) ๋ฐฉํ–ฅ์œผ๋กœ๋งŒ ๋ฐ€๋ฉด ๋˜๋ฏ€๋กœ, $(W - 2) * (H - 2)$ ํฌ๊ธฐ์˜ ๊ฒฐ๊ณผ๋ฅผ ์–ป์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์šฐ๋ฆฌ๋Š” ์—ฌ๋Ÿฌ ์ •๋ณด๋ฅผ ๋™์‹œ์— ์ธ์ฝ”๋”ฉํ•ด์„œ ๊ฐ€์ ธ๊ฐ€๊ณ  ์‹ถ๊ธฐ ๋•Œ๋ฌธ์—, ์‹ค์ œ๋กœ๋Š” ๋™์‹œ์— $D$๊ฐœ์˜ $C * 3 * 3$ ํ•„ํ„ฐ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

์ด๋ ‡๊ฒŒ ํ•ด์„œ ์–ป์–ด์ง„ ๊ฐ ํ–‰๋ ฌ๋“ค์„ ๋ชจ๋‘ ์—ฐ๊ฒฐํ•˜๋ฉด, $D * (W - 2) * (H - 2)$ ํฌ๊ธฐ์˜ output์„ ์–ป์Šต๋‹ˆ๋‹ค.

Padding : ์šฐ๋ฆฌ๊ฐ€ $W * H$ ํฌ๊ธฐ์˜ ์ด๋ฏธ์ง€๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๊ณ , ์ด ์ด๋ฏธ์ง€์— $3 * 3$ filter๋ฅผ convolutionํ•˜๋ฉด, $(W - 2) * (H - 2)$ ํฌ๊ธฐ๊ฐ€ ๋œ๋‹ค๋Š” ๊ฒƒ์€ ์‰ฝ๊ฒŒ ์•Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๋งจ ์™ธ๊ณฝ ์นธ๊นŒ์ง€ ๋ฐ€๊ฒŒ ๋˜๋ฉด ํ•„ํ„ฐ๊ฐ€ ์ด๋ฏธ์ง€ ๋ฐ”๊นฅ์œผ๋กœ ์ผ๋ถ€๊ฐ€ ๋‚˜๊ฐ€๋ฒ„๋ฆฌ๊ธฐ ๋•Œ๋ฌธ์ธ๋ฐ, ์ด๋ฅผ ๋ณด์ •ํ•˜๊ธฐ ์œ„ํ•ด ์ด๋ฏธ์ง€์˜ ๋งจ ์™ธ๊ณฝ์„ ์„ 0์œผ๋กœ ์ญ‰ ํ•œ์นธ ๋” ๋งŒ๋“ค์–ด ์ฃผ๋Š” ๋ฐฉ๋ฒ•์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ Padding์ด๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค.

Stride : Filter๋ฅผ ํ‰๋ฉด์ƒ์—์„œ โ€œ๋ฏผ๋‹คโ€ ๊ณ  ํ‘œํ˜„ํ–ˆ๋Š”๋ฐ, ์œ„ ์„ค๋ช…์€ ๋งค๋ฒˆ โ€œํ•œ ์นธ ์”ฉโ€ ๋ฏธ๋Š” ๊ฒฝ์šฐ๋ฅผ ์ƒ๊ฐํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ผญ ๊ทธ๋Ÿด ํ•„์š”๋Š” ์—†๊ณ , $s$์นธ์”ฉ ํ•œ๋ฒˆ์— ๋ฐ€ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ ‡๊ฒŒ ํ•˜๋ฉด ๋‹น์—ฐํžˆ ์ถœ๋ ฅ์˜ ํฌ๊ธฐ๋Š” ๋” ์ค„์–ด๋“ค๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์ด $s$๋ฅผ Stride๋ผ ํ•ฉ๋‹ˆ๋‹ค.

Bias : Convolutionํ•œ ๊ฒฐ๊ณผ๋ฌผ ์ „์ฒด์— ์–ด๋–ค ํŠน์ •ํ•œ ์ƒ์ˆ˜๊ฐ’์„ ๋”ํ•ด์ค„ ์ˆ˜๋„ ์žˆ๊ณ , ์ด๋ฅผ bias๋ผ๊ณ  ๋ถ€๋ฆ…๋‹ˆ๋‹ค.

์—ฌ๊ธฐ๊นŒ์ง€ ๋‚ด์šฉ์˜ ์š”์•ฝ์ด ๋‹ค์Œ image์— ์ž˜ ๋“œ๋Ÿฌ๋‚˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฏธ์ง€ ์ถœ์ฒ˜์ธ Standford CS231n ์ž๋ฃŒ ์—์„œ๋Š” ์ € ํ•„ํ„ฐ๊ฐ€ ์ง„์งœ ์›€์ง์ด๋Š”๊ฑธ ๋ณผ ์ˆ˜ ์žˆ์œผ๋‹ˆ ํ•œ๋ฒˆ์ฏค ๋ณด๋ฉด ์ดํ•ดํ•˜๊ธฐ ์ข‹์€ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆผ์—๋Š” 3๊ฐœ ์ฑ„๋„์˜ 5 by 5 ์ด๋ฏธ์ง€์—, padding 1์„ ์ฃผ์—ˆ๊ณ , 3์ฑ„๋„ by 3 by 3 ํฌ๊ธฐ์˜ ํ•„ํ„ฐ๋ฅผ ์“ฐ๋ฉฐ, stride = 2 ์ธ ์ผ€์ด์Šค๋ฅผ ๋ณด์—ฌ์ฃผ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์•„๋ž˜์—๋Š” bias๋„ ํฌํ•จ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

picture 2

์ž…๋ ฅ์ด $C_i * W_i * H_i$ ์ด๊ณ , padding์ด $p$, stride๊ฐ€ $s$์ด๋ฉฐ, ํฌ๊ธฐ๊ฐ€ $C_i * F * F$ ์ธ ํ•„ํ„ฐ $K$๊ฐœ๋ฅผ ์“ด๋‹ค๊ณ  ํ•˜๋ฉด, convolution์„ ํ•œ๋ฒˆ ํ•˜๊ณ  ๋‚˜๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๊ณ„์‚ฐ๋˜๋Š” $C_o * W_o * H_o$ ์ถœ๋ ฅ์„ ์–ป์Šต๋‹ˆ๋‹ค. \(C_o = K \quad \quad W_o = \floor{\frac{W_i - F + 2P}{S} + 1} \quad \quad H_o = \floor{\frac{H_i - F + 2P}{S} + 1}\)

Pooling

CNN์€ ๋ณดํ†ต ํฐ ์ด๋ฏธ์ง€ ๋ฐ์ดํ„ฐ๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ•˜๋ฉฐ, ์ตœ์ดˆ์—๋Š” ์ด๋ฏธ์ง€๋ฅผ ๋ถ„๋ฅ˜ํ•˜๋Š” ๋ชฉ์ ์œผ๋กœ ๊ฐœ๋ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ ‡๋‹ค ๋ณด๋‹ˆ, ์ด๋ฏธ์ง€ ์ „์ฒด์˜ ์ˆ˜๋งŒ ํ”ฝ์…€์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ „๋ถ€ ๋ณด๊ธฐ๋ณด๋‹ค๋Š” ๊ทธ ํŠน์ง•์„ ์žก์•„๋‚ด๋Š” ๊ฒƒ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ๋งŒ์•ฝ ์‹ ๊ฒฝ๋ง์—์„œ ์žก์•„๋‚ผ ์ˆ˜ ์žˆ๋Š” ํŠน์ง•์„ ํฌ๊ฒŒ ํ›ผ์†ํ•˜์ง€ ์•Š์œผ๋ฉด์„œ ๋Œ์•„๋‹ค๋‹ˆ๋Š” ๋ฐ์ดํ„ฐ์˜ ์–‘์„ ์ค„์ผ ์ˆ˜ ์žˆ๋‹ค๋ฉด, training ๋ฐ inference ์‹œ๊ฐ„์„ ํฌ๊ฒŒ ๊ฐœ์„ ํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์ด๋ฅผ ์œ„ํ•ด pooling์ด๋ผ๋Š” ์—ฐ์‚ฐ์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค. pooling์€ ๋‹จ์ˆœํžˆ ์ง€๊ธˆ ๋ณด๊ณ  ์žˆ๋Š” ๋ถ€๋ถ„์˜ max๋‚˜ avg๋ฅผ ํƒํ•˜๋Š” ์—ฐ์‚ฐ์ธ๋ฐ, ๋‹ค์Œ ๊ทธ๋ฆผ์„ ๋ณด๋ฉด ์‰ฝ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

picture 3
[์ด๋ฏธ์ง€ ์ถœ์ฒ˜ : Stanford CS231n]

์œ„ ๊ทธ๋ฆผ์—์„œ ๋ณผ ์ˆ˜ ์žˆ๋“ฏ, pooling๋„ convolution์ฒ˜๋Ÿผ filter๋ผ๋Š” ํ‘œํ˜„์„ ์ž์ฃผ ์“ฐ๋ฉฐ, stride์™€ padding์„ ์ค„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ convolution์ฒ˜๋Ÿผ ๋ญ”๊ฐ€๋ฅผ trainํ•  ํ•„์š”๋Š” ์—†๊ณ , ๊ทธ๋ƒฅ ๊ทธ ์—ฐ์‚ฐ์„ ์ˆ˜ํ–‰ํ•œ๋‹ค๊ณ  ์ƒ๊ฐํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค. ๊ฐ€์žฅ ์ผ๋ฐ˜์ ์ธ ํ˜•ํƒœ์˜ pooling์€ 2 by 2 ํ•„ํ„ฐ์— stride 2๋กœ ์—ฐ์‚ฐํ•˜๋Š” ๊ฒƒ์œผ๋กœ, 2 * 2 ์ •์‚ฌ๊ฐํ˜•์—์„œ max ๋˜๋Š” avg ํ•˜๋‚˜์”ฉ์„ ๋‚จ๊น€์œผ๋กœ์„œ ๋ฐ์ดํ„ฐ์˜ ์–‘์„ 1/4๋กœ ์ค„์ž…๋‹ˆ๋‹ค.

Pooling์€ ๊ฐ ์ฑ„๋„๋ณ„๋กœ ๋…๋ฆฝ์ ์œผ๋กœ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, 2D ์—์„œ๋งŒ ์ƒ๊ฐํ•ด๋„ ์ถฉ๋ถ„ํ•ฉ๋‹ˆ๋‹ค. 3D pooling๋„ ๋˜‘๊ฐ™์ด ์ •์˜ํ•˜๋ฉด ์ƒ๊ฐํ•  ์ˆ˜๋Š” ์žˆ๊ฒ ์ง€๋งŒ์š”.

Convolutionary Neural Network

Multi Layer Perceptron ์—์„œ๋Š”, Linear Layer - Activation - Linear Layer - Activation - โ€ฆ ์˜ ํ˜•ํƒœ๋กœ ๊นŠ๊ฒŒ ์ด์–ด์ง„ ์‹ ๊ฒฝ๋ง์„ ๊ตฌ์ถ•ํ–ˆ๊ณ  ์ด๋ฅผ Multi-Layer Perceptron์ด๋ผ๊ณ  ๋ถˆ๋ €์Šต๋‹ˆ๋‹ค.

Convolutinary Neural Network, CNN๋„ ํฐ ํ‹€์—์„œ๋Š” ๋น„์Šทํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋งŒ, ์ข€๋” ๋ณต์žกํ•œ ์•„์ด๋””์–ด๋“ค์ด ๋“ค์–ด๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฐ€์žฅ ๊ธฐ๋ณธ์ ์ธ CNN์€ ํฌ๊ฒŒ Convolution, Pooling, Activation์˜ ์„ธ๊ฐ€์ง€ Layer๋ฅผ ์ž˜ ๋ฐ˜๋ณตํ•ด์„œ ๊ตฌ์„ฑ๋ฉ๋‹ˆ๋‹ค.

Convolution์€ ์•ž์„œ ์„ค๋ช…ํ•œ convolution ์—ฐ์‚ฐ์„ ์ ๋‹นํ•œ ํ•„ํ„ฐ์— ๋Œ€ํ•ด์„œ ์ˆ˜ํ–‰ํ•˜๋Š” ๊ฒƒ์œผ๋กœ, MLP์—์„œ weight ํ–‰๋ ฌ์ด train์˜ ๋Œ€์ƒ์ธ ๊ฒƒ์ฒ˜๋Ÿผ ์—ฌ๊ธฐ์„œ๋Š” ํ•„ํ„ฐ ์ „์ฒด๊ฐ€ training์˜ ๋Œ€์ƒ์ž…๋‹ˆ๋‹ค.

Activation์€ MLP์—์„œ์ฒ˜๋Ÿผ ๋ชจ๋“  ํ•ญ์— ์ ๋‹นํ•œ activation function์„ ์”Œ์›Œ์„œ ์‹ ๊ฒฝ๋ง์— non-linearity๋ฅผ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์—ญ์‹œ MLP์—์„œ์™€ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ReLU, sigmoid, tanh ๊ฐ™์€ ํ•จ์ˆ˜๋“ค์„ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Pooling์€ ์•ž์„œ ์„ค๋ช…ํ•œ pooling์„ ์ˆ˜ํ–‰ํ•˜๋Š” layer์ž…๋‹ˆ๋‹ค.

Why CNN?

CNN์˜ ํšจ์šฉ์— ๋Œ€ํ•ด ์–˜๊ธฐํ•˜๋ ค๋ฉด ๊ธฐ์กด์˜ MLP์˜ ํŠน์ง•์„ ๋จผ์ € ์ด์•ผ๊ธฐํ•  ํ•„์š”๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์žฅ์  : ๊ฐ„๋‹จํ•˜๊ณ , ์ด๋ก ์ ์œผ๋กœ ๊ต‰์žฅํžˆ generalํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋“  ์—ฐ์†ํ•จ์ˆ˜๋ฅผ ์–ด๋–ค ์ •ํ•ด์ง„ ๊ตฌ๊ฐ„์—์„œ๋Š” ์ถฉ๋ถ„ํžˆ ํฐ MLP๋กœ approximate ๊ฐ€๋Šฅํ•˜๋‹ค๋Š” ๊ต‰์žฅํ•œ ์ •๋ฆฌ๊ฐ€ ์žˆ๋Š”๋ฐ (Universal Approximation Theorem) ์ œ๊ฐ€ ์ฐพ์•„๋ณธ ์ฆ๋ช…์€ ์‹คํ•ด์„ํ•™ ์ˆ˜์ค€์˜ ํ•ด์„ํ•™ ์ง€์‹์„ (Hahn-Banach, Riesz Repr thm) ์š”๊ตฌํ•˜๊ธฐ ๋•Œ๋ฌธ์— ๋‹ค๋ฃฐ ์ˆ˜๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.
  • ๋‹จ์  : Parameter๊ฐ€ ๋งค์šฐ ๋งŽ์•„์„œ, overfitting์˜ ๋ฌธ์ œ์™€ training speed ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค.
  • ๋‹จ์  : Computer vision์— ์“ฐ๊ธฐ์—๋Š” shift invariance ๊ฐ™์€ ๊ฒƒ์„ ์ž˜ ์ฒ˜๋ฆฌํ•˜์ง€ ๋ชปํ•œ๋‹ค๋Š” ์‹ฌ๊ฐํ•œ ๋ฌธ์ œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ image classification ๊ฐ™์€ ๊ฒฝ์šฐ, ์ด๋ฏธ์ง€์˜ ์ผ๋ถ€๋ฅผ shiftํ•ด๋„ ๊ทธ๋Œ€๋กœ ๊ฐ™์€ ์ด๋ฏธ์ง€์ธ๋ฐ MLP๋Š” ์ด๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค.

Convolution์€ ๊ทธ ์ž์ฒด๋กœ shift invaraince๋ฅผ ๊ฐ€์ง€๊ธฐ ๋•Œ๋ฌธ์—, ๋‹จ์  2๋ฒˆ์„ ์ž˜ ํ•ด๊ฒฐํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ, ๋‹จ์  1๋ฒˆ์˜ ๊ฒฝ์šฐ, Convolution์˜ ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ๊ฝค ๋งŽ์•„ ๋ณด์ด์ง€๋งŒ $W * H$ ์ด๋ฏธ์ง€๋ฅผ ๋˜์ ธ์ฃผ๊ณ  $W * H$ ์ถœ๋ ฅ์„ ๋งŒ๋“ค๊ธฐ ์œ„ํ•ด์„œ Linear layer๋Š” ํŒŒ๋ผ๋ฏธํ„ฐ $W^2H^2$ ๊ฐœ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์ž…์ถœ๋ ฅ์ด 200 by 200์ด๋ฉด ์ด ๊ฐ’์ด 16์–ต์ธ๋ฐ, convolution์€ ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ํ›จ์”ฌ ์ ์Šต๋‹ˆ๋‹ค.

์ž์—ฐ์Šค๋Ÿฌ์šด ์งˆ๋ฌธ์€, ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ๊ทธ๋ ‡๊ฒŒ ์ ์œผ๋ฉด ์ถฉ๋ถ„ํžˆ generalํ•˜๊ฒŒ ํ•™์Šตํ•˜์ง€ ๋ชปํ•˜๋Š”๊ฒŒ ์•„๋‹ˆ๋ƒ๋Š” ์˜๋ฌธ์ด ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 2018๋…„ ๋…ผ๋ฌธ ์— ๋”ฐ๋ฅด๋ฉด ์ˆ˜ํ•™์ ์œผ๋กœ๋Š” CNN๋„ universal approximation theorem์ด ์žˆ๋‹ค๊ณ  ํ•˜๋Š”๋ฐ, ๊ตณ์ด ์ด๋Ÿฐ ๋†€๋ผ์šด ์ˆ˜ํ•™์  ๊ฒฐ๊ณผ๋ฅผ ๋“ค์ด๋ฐ€์ง€ ์•Š๋”๋ผ๋„ ์ด๋ฏธ์ง€ ์ฒ˜๋ฆฌ์—์„œ CNN์ด ๊ทธ๋™์•ˆ ๋ณด์—ฌ์ค€ ๋†€๋ผ์šด ์„ฑ๊ณผ๋ฅผ ๋ณด๋ฉด ์ด์ •๋„ ํŒŒ๋ผ๋ฏธํ„ฐ๋กœ๋„ Convolution ์ž์ฒด๊ฐ€ ์–ด๋–ค ์ด๋ฏธ์ง€๋ฅผ โ€˜๋Œ€๋žต์ ์œผ๋กœโ€™ ๋ณด๋Š” ๋Š๋‚Œ์ด ๊ต‰์žฅํžˆ ์ง๊ด€์ ์œผ๋กœ ์ข‹์•„์„œ, ์ž˜ ์ž‘๋™ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ๋ณด์ž…๋‹ˆ๋‹ค.

๋˜ํ•œ, CNN์€ MLP๋ณด๋‹ค ๊ฐ™์€ ํฌ๊ธฐ์—์„œ ํ›จ์”ฌ ๊นŠ์€ ๋„คํŠธ์›Œํฌ๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค (๋ ˆ์ด์–ด๋‹น ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ์ ์œผ๋ฏ€๋กœ) ์ด ์ ๋„ ์žฅ์ ์ด ๋  ์ˆ˜ ์žˆ๊ฒ ์Šต๋‹ˆ๋‹ค.

Next posts

CNN์˜ ์—ฌ๋Ÿฌ Model๋“ค์— ๋Œ€ํ•ด ์‚ดํŽด๋ณผ ๊ณ„ํš์ž…๋‹ˆ๋‹ค.

  • LeNet
  • AlexNet
  • VGGNet
  • GoogLeNet
  • Semantic Segmentation ์—์„œ ๋‹ค๋ฃฐ ๋ชจ๋ธ๋“ค.
    • U-Net
    • FCN
    • DeepLab