လေ့ကျင့်ခန်း — Training Loop တစ်ခုကို Debug လုပ်ခြင်း

နားလည်ထားရမယ့် အချက်

PyTorch training loop တစ်ခုက error မတက်ဘဲ run ရသော်လည်း loss ကျမလာဘူးဆိုရင် ခန့်မှန်းချက်နဲ့စမ်းနေမယ့်အစား စနစ်တကျ checklist အစီအစဉ်အတိုင်း စစ်ဆေးသင့်ပါတယ်။ Check တစ်ခုစီက error အမျိုးအစားတစ်ခုလုံးကို ဖယ်ရှားပေးနိုင်လို့ပါ။ ပထမဆုံး — iteration တိုင်းမှာ backward() မခေါ်ခင် optimizer.zero_grad() ကို ခေါ်ထားလား? Gradient တွေဟာ default အနေနဲ့ စုပေါင်းသွားတတ်လို့ zero_grad() ချန်ထားခဲ့ရင် batch တွေအကြား gradient တွေ တိတ်တဆိတ် ပေါင်းလာပြီး update direction ကို မှားစေပါတယ်။ ဒုတိယ — optimizer.step() မခေါ်ခင် loss.backward() ကို တကယ်ခေါ်ထားလား? မခေါ်ထားရင် .grad ဟာ ယခင်တန်ဖိုး (များသောအားဖြင့် None) မှာပဲ ကျန်နေပြီး step() က ဘာမှမလုပ်ဘဲ ဒါမှမဟုတ် အဟောင်း gradient ကိုပဲ ပြန်သုံးနေမှာပါ။ တတိယ — model ကို loop မစခင် .train() mode ထားလား၊ .eval() မှာ ချန်ထားခဲ့သလား? Eval mode ဟာ dropout နဲ့ batch-norm statistics တွေကို ရပ်တန့်ထားလို့ error မပြဘဲ learning capacity ကို ကန့်သတ်ပစ်ပါတယ်။ စတုတ္ထ — learning rate က များလွန်းနေလား (loss ခုန်နေလား NaN ဖြစ်နေလား) ဒါမှမဟုတ် နည်းလွန်းနေလား (epoch ရာချီပြီးတောင် loss နှေးနှေးလေးပဲ ကျနေလား)? ပဉ္စမ — loss function ဟာ task နဲ့ကိုက်ညီလား — classification အတွက် CrossEntropyLoss အစား MSELoss သုံးမိရင် network ကို လုံးဝမှားယွင်းတဲ့ objective ဆီ လေ့ကျင့်ပေးနေမှာဖြစ်ပြီး 'မသင်ယူဘူး' လို့ထင်ရပေမယ့် တကယ်က 'မှားနေတဲ့ဟာကို သင်ယူနေတာ' ဖြစ်ပါတယ်။ Hyperparameter မထိခင် အပေါ်ကနေအောက်ကို အစီအစဉ်တကျ စစ်ဆေးသင့်ပါတယ်။

လက်တွေ့ scenario နဲ့ ချိတ်ကြည့်မယ်

Thuta Learning ရဲ့ engineering team က course-feedback စာသားထဲက စိတ်ပျက်နေတဲ့ learner တွေကို ဖော်ထုတ်ဖို့ sentiment classifier တစ်ခု release လုပ်လိုက်ပေမယ့် တစ်ပတ်ကြာ train လုပ်ပြီးတဲ့အထိ model က everything ကို neutral label တစ်ခုတည်း ခန့်မှန်းနေဆဲပါ။ Architecture မှားတယ်လို့ သတ်မှတ်ခင်မှာ ဒီ checklist အတိုင်း training script ကို audit လုပ်ဖို့ ခိုင်းထားပါတယ် — batch တိုင်းမှာ zero_grad() run နေလား၊ backward() က step() ရှေ့မှာ ခေါ်ထားလား၊ training လုပ်နေချိန် model က .train() mode ထဲမှာရှိပြီး validation အတွက်ပဲ .eval() ပြောင်းသုံးထားလား၊ learning rate က loss curve နဲ့ ကိုက်ညီလား စစ်ဆေးပါ၊ ပြီးတော့ class-index label ရိုးရိုးနဲ့ MSELoss မဟုတ်ဘဲ CrossEntropyLoss ပဲ တွဲသုံးထားလား သေချာအောင်လုပ်ပါ။ ဒီလို audit habit က model design ကို မထိခင် 'train လုပ်ပေမယ့် မသင်ယူဘူး' ဆိုတဲ့ bug အများစုကို ဖမ်းမိစေပါတယ်။

• Loss က ညီနေတာ ဒါမှမဟုတ် မကျတာ error မတက်ဘဲ ဖြစ်နေရင် ငါးချက်ထဲက တစ်ချက်ကို ချက်ချင်းသံသယထားသင့်တယ် — zero_grad(), backward(), train()/eval() mode, learning rate scale, ပြီးတော့ loss-function ရွေးချယ်မှု။
• optimizer.zero_grad() ချန်ထားခြင်းဟာ error မတက်ဘူး — batch တွေအကြား gradient တွေကို တိတ်တဆိတ် စုပေါင်းသွားစေတာမို့ crash ထက်တောင် အန္တရာယ်ပိုများတယ်၊ ဘာမှလည်း bug ရှိကြောင်း အချက်ပြမှာ မဟုတ်ဘူး။
• .eval() mode ထဲ model ကို training လုပ်နေချိန်မှာ ချန်ထားခဲ့တာ copy-paste အမှားအများဆုံးဖြစ်တတ်ပြီး dropout နဲ့ batch-norm update တွေကို warning မပါဘဲ ပိတ်ပစ်လိုက်တယ်။

အတူတူ စမ်းရေးကြည့်မယ်

import torch
import torch.nn as nn
import torch.optim as optim

class FeedbackClassifier(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(784, 128),
            nn.ReLU(),
            nn.Dropout(0.3),
            nn.Linear(128, 10),
        )

    def forward(self, x):
        return self.net(x)

model = FeedbackClassifier()
optimizer = optim.SGD(model.parameters(), lr=0.01)
criterion = nn.MSELoss()

model.eval()  # set up before training starts

for epoch in range(10):
    for inputs, labels in train_loader:
        inputs = inputs.view(inputs.size(0), -1)
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

    print(f"Epoch {epoch}: loss = {loss.item():.4f}")

ရေးထားတဲ့အတိုင်း loop ကို run ရင် `Epoch 0: loss = 0.9987`, `Epoch 1: loss = 0.9991`, `Epoch 9: loss = 0.9979` စသဖြင့် ထွက်လာမှာဖြစ်ပြီး loss ဟာ တစ်ပါတည်း မရွေ့လျားသလို ဖြစ်နေမှာပါ — ဒါက လက္ခဏာပါ၊ အကြောင်းရင်း မဟုတ်သေးဘူး၊ အထက်က bug ရှိတဲ့ line တွေကသာ မူလ အကြောင်းရင်းပါ။

PyTorch Docs — Optimization — Deep Learning