Vision အတွက် Transfer Learning

နားလည်ထားရမယ့် အချက်

Transfer learning ၏ အခြေခံ insight မှာ large dataset (ImageNet ကဲ့သို့) ပေါ်တွင် train ပြီးသား CNN တစ်ခု၏ early/middle layer များသည် task-specific မဟုတ်သေးသော general visual feature (edge, texture, shape, color gradient) များကို ထုတ်ပေးနေခြင်းဖြစ်သည်။ ဒီလို general feature တွေကို photograph ရဲ့ vision task အားလုံးနီးပါးမှာ ပြန်လည် အသုံးပြုနိုင်ကြောင်းက empirical fact တစ်ခုဖြစ်သည် — cat ကို classify ဖို့ သင်ယူထားတဲ့ edge detector တစ်ခုဟာ car ကို classify ဖို့လည်း အသုံးဝင်တတ်တယ်။ Parameter များကို requires_grad = False ဖြင့် freeze လုပ်ခြင်းအားဖြင့် backward pass အတွင်း ဒီ layer တွေအတွက် gradient ကို မတွက်ချက်တော့သောကြောင့် training သည် ပိုမြန်ဆန်ပြီး memory ပိုသက်သာသည်၊ ထို့အပြင် small dataset တစ်ခုတည်းဖြင့် deep network တစ်ခုလုံးကို scratch ကနေ train လုပ်ရင် ဖြစ်တတ်တဲ့ overfitting ကိုလည်း ရှောင်ရှားနိုင်သည်။

နောက်ဆုံးတွင် model.fc ကို Linear layer အသစ်တစ်ခုနှင့် အစားထိုးလိုက်ခြင်းက network ၏ 'decision head' ကိုသာ ပြန်လည် ပြင်ဆင်ပေးလိုက်ခြင်းဖြစ်သည် — feature extractor (convolutional backbone) ကို ImageNet ၏ 1000 class အတွက် သင်ယူထားတာအတိုင်း ဆက်ထားပြီး၊ classifier head တစ်ခုတည်းကိုသာ target task ၏ class အရေအတွက်နှင့် ကိုက်ညီအောင် အသစ်လဲလိုက်ခြင်းဖြစ်သည်။ Trainable parameter များမှာ ဒီ layer အသစ်ရဲ့ weight/bias များသာ ကျန်တော့သောကြောင့် ImageNet-scale dataset မလိုအပ်တော့ဘဲ image အနည်းငယ်ဖြင့်ပင် ကောင်းမွန်သော accuracy ရနိုင်သည်။

လက်တွေ့ scenario နဲ့ ချိတ်ကြည့်မယ်

Tutorial Platform တွင် user profile avatar image များအား upload လုပ်ချိန်တွင် inappropriate/NSFW content ပါ၊ မပါ စစ်ဆေးမည့် moderation feature တစ်ခု လိုအပ်သည်ဆိုပါစို့။ Scratch ကနေ classifier တစ်ခု train လုပ်ဖို့ label တပ်ထားတဲ့ image ထောင်ပေါင်းများစွာ လိုအပ်မည့်အစား၊ pretrained ResNet18 ကို freeze လုပ်ပြီး fc layer ကိုသာ binary (appropriate/inappropriate) output အတွက် swap လုပ်ခြင်းဖြင့် avatar sample အတော်နည်းသော dataset ဖြင့်ပင် စတင် prototype လုပ်နိုင်သည်။

• Pretrained CNN ၏ early/middle layer များသည် task အများစုတွင် ပြန်လည် အသုံးပြုနိုင်သော general visual feature များကို ထုတ်ပေးသည်။
• requires_grad = False ဖြင့် freeze လုပ်ခြင်းသည် training မြန်ဆန်ပြီး small dataset ပေါ်တွင် overfitting လျော့ကျစေသည်။
• model.fc ကို Linear layer အသစ်ဖြင့် အစားထိုးခြင်းသည် decision head ကိုသာ target task class အရေအတွက်နှင့် ကိုက်ညီအောင် ပြင်ဆင်ခြင်းဖြစ်သည်။

အတူတူ စမ်းရေးကြည့်မယ်

import torch
import torch.nn as nn
import torchvision.models as models
from torchvision.models import ResNet18_Weights

model = models.resnet18(weights=ResNet18_Weights.DEFAULT)

# Freeze the pretrained backbone
for param in model.parameters():
    param.requires_grad = False

# Replace the final classification layer for a new task with 5 classes
num_classes = 5
model.fc = nn.Linear(model.fc.in_features, num_classes)

trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
frozen = sum(p.numel() for p in model.parameters() if not p.requires_grad)

print(f"trainable parameters: {trainable}")
print(f"frozen parameters: {frozen}")
print(f"total parameters: {trainable + frozen}")

'trainable parameters:', 'frozen parameters:', 'total parameters:' ဟု line သုံးကြောင်း print ထုတ်မည်။ Trainable count သည် အသစ်ထည့်သွင်းလိုက်သည့် fc Linear layer (512 in_features × 5 classes + bias 5 = 2,565) ၏ parameter အရေအတွက်ချည်းသာ ဖြစ်ပြီး၊ frozen count သည် ResNet18 backbone ၏ ကျန်ရှိအားလုံး (approximately ၁၁ သန်းကျော်) ဖြစ်လိမ့်မည် — trainable parameter သည် total ၏ အလွန်နည်းငယ်သောရာခိုင်နှုန်းသာ ဖြစ်သည်ကို တွေ့ရမည်။

PyTorch Tutorials — Transfer Learning for Computer Vision — Computer Vision