Convolutional Neural Networks

နားလည်ထားရမယ့် အချက်

Fully-connected layer တစ်ခုက image ကို vector ရှည်ရှည်တစ်ခုအဖြစ် flatten လုပ်ပြီး pixel တစ်ခုချင်းစီကို neuron တစ်ခုချင်းစီနဲ့ weight သီးခြားစီနဲ့ ချိတ်ဆက်ပေးတယ်၊ ဒါက CNN တစ်ခုသုံးနိုင်တဲ့ အချက်နှစ်ချက်ကို စွန့်ပစ်လိုက်တာဖြစ်တယ် — အနီးအနားရှိ pixel တွေက space အရ ဆက်စပ်နေတယ် (edge တစ်ခုဆိုတာ local pattern ဖြစ်ပြီး global မဟုတ်ဘူး)၊ ပြီးတော့ edge ဒါမှမဟုတ် curve လို useful pattern တစ်ခုက image ထဲ ဘယ်နေရာမှာမဆို ပေါ်လာနိုင်ပြီး position ဘယ်လိုပဲရှိရှိ တူညီတဲ့ နည်းလမ်းနဲ့ detect လုပ်သင့်တယ်။ Convolutional layer တစ်ခုကတော့ filter (kernel) သေးသေးလေးတစ်ခု — ဥပမာ 3x3 pixel — ကို သင်ယူပြီး image တစ်ခုလုံးအပေါ် ရွှေ့ကာ position တိုင်းမှာ dot-product operation တူတူကိုပဲ တွက်ချက်ပေးတယ်။ Filter ရဲ့ weight တွေကို position အားလုံးမှာ share လုပ်ထားတာကြောင့် parameter set သေးသေးလေးတစ်ခုတည်းကပဲ pattern ကို ဘယ်နေရာမှာ ပေါ်ပေါ် detect လုပ်နိုင်ပြီး network ကို translation invariance ပေးသလို image တစ်ခုတည်းအတွက် fully-connected layer ထက် parameter အများကြီး နည်းသွားစေတယ်။ Conv layer များစွာကို ထပ်ချထားတာက layer ရှေ့ဆုံးတွေကို edge၊ color လို pattern ရိုးရိုးလေးတွေ detect လုပ်စေပြီး layer နောက်ပိုင်းတွေက ဒါတွေကို shape၊ texture၊ object လို complex pattern တွေအဖြစ် ပေါင်းစပ်ပေးတယ်။ Pooling layer (max pooling လိုမျိုး) တွေကတော့ region သေးသေးလေးတစ်ခုစီရဲ့ activation အားအကြီးဆုံးကိုပဲ ထိန်းထားလိုက်ခြင်းအားဖြင့် feature map ကို downsample လုပ်ပေးတယ်၊ spatial size နဲ့ computation ကို လျှော့ချပေမဲ့ detect လုပ်ထားတဲ့ feature အရေးကြီးဆုံးတွေကို ထိန်းထားပေးတယ်။

လက်တွေ့ scenario နဲ့ ချိတ်ကြည့်မယ်

Tutorial Platform ရဲ့ duplicate/low-quality image detector က visual pattern တွေ — blur၊ watermark artifact၊ almost-identical screenshot တွေ — ကို frame ထဲ ဘယ်နေရာမှာ ရှိရှိ မှတ်မိရမယ်၊ screenshot တစ်ခုကို အနည်းငယ် ကွဲပြားစွာ crop လုပ်ထားတာက detector ကို လှည့်စားနိုင်သင့်မှာ မဟုတ်ဘူး။ Fully-connected network တစ်ခုက pixel position တစ်ခုချင်းစီအတွက် weight သီးခြားစီ လိုအပ်ပြီး blur pattern တူတူတစ်ခုကို pixel အနည်းငယ် ရွှေ့ထားရင် မှတ်မိတော့မှာ မဟုတ်ဘူး၊ CNN ရဲ့ shared filter တွေကတော့ position ဘယ်လိုပဲရှိရှိ ဒါကို detect လုပ်နိုင်တယ်။ Team က Conv2d+ReLU+MaxPool block အချို့ကို ထပ်ချထားတာကြောင့် layer ရှေ့ဆုံးတွေက edge၊ compression block လို artifact ရိုးရိုးလေးတွေကို ဖမ်းမိပြီး layer နောက်ပိုင်းတွေက ဒါတွေကို 'ဒါက lesson image ရှိပြီးသားတစ်ခုရဲ့ re-upload ပုံစံပဲ' လို high-level cue တွေအဖြစ် ပေါင်းစပ်ပေးတယ်။

• Conv filter ရဲ့ weight တွေက spatial position တိုင်းမှာ share ဖြစ်နေတာကြောင့် translation invariance ရပြီး fully-connected layer ထက် parameter အများကြီး နည်းတယ်။
• Conv layer တွေ ထပ်ချထားတာက layer ရှေ့ဆုံးတွေကို edge လို pattern ရိုးရိုးလေးတွေ detect လုပ်စေပြီး layer နောက်ပိုင်းတွေက ဒါတွေကို shape၊ object လို complex pattern အဖြစ် ပေါင်းစပ်ပေးတယ်။
• Max pooling က region တစ်ခုချင်းစီရဲ့ activation အားအကြီးဆုံးကိုပဲ ထားလိုက်ပြီး feature map ကို downsample လုပ်ကာ spatial size နဲ့ computation ကို လျှော့ချပေးတယ်။

အတူတူ စမ်းရေးကြည့်မယ်

import torch
import torch.nn as nn

conv = nn.Conv2d(in_channels=3, out_channels=8, kernel_size=3, padding=1)
pool = nn.MaxPool2d(kernel_size=2)

# Fake tiny RGB image: batch=1, channels=3, height=16, width=16
image = torch.randn(1, 3, 16, 16)

conv_out = conv(image)
print("After conv:", conv_out.shape)

pooled_out = pool(conv_out)
print("After pool:", pooled_out.shape)

`After conv: torch.Size([1, 8, 16, 16])` (padding ကြောင့် spatial size တူတူပဲ ဖြစ်ပြီး channel 8 ခုအထိ ချဲ့ပေးလိုက်တယ်) ပြီးရင် `After pool: torch.Size([1, 8, 8, 8])` (max pooling က height နဲ့ width ကို တစ်ဝက်ချ လျှော့ချလိုက်တယ်) ကို print ထုတ်ပေးတယ်။

Wikipedia — Convolutional neural network — Deep Learning