Scaling နဲ့ Load Balancing

နားလည်ထားရမယ့် အချက်

App က instance ဘယ်ဟာမဆို request ဘယ်ဟာမဆို ကိုင်တွယ်နိုင်ရင် stateless ပါ၊ အရေးကြီးတဲ့ state အားလုံးက app process ရဲ့ အပြင်မှာ ရှိလို့ပါ — database, shared cache, object storage ထဲမှာပေါ့။ Stateless app တွေက အပို မစဉ်းစားရဘဲ scale လုပ်နိုင်ပါတယ်။

Auto-scaling က CPU ဒါမှမဟုတ် queue depth လို signal ကို စောင့်ကြည့်ပြီး instance အရေအတွက်ကို auto ချိန်ညှိပေးပါတယ်။ Hands-on depth အတွက် Kubernetes ရဲ့ scaling-and-hpa နဲ့ AWS Fundamentals ရဲ့ load-balancing-and-autoscaling lesson ကို ကြည့်ပါ။

Horizontal Scaling

Server instance ပိုထည့်ပြီး load balancer တစ်ခုနဲ့ traffic ကို ဖြန့်ဝေတာ။

Vertical Scaling

Server ပိုထည့်မယ့်အစား ရှိပြီးသား server တစ်ခုကို CPU, memory, disk ပိုပေးတာ။

Stateless

အရေးကြီးတဲ့ state က app process ရဲ့ အပြင်ဘက်မှာ ရှိနေလို့ instance ဘယ်ဟာမဆို request ဘယ်ဟာမဆို ကိုင်တွယ်နိုင်တဲ့ app design။

VERTICAL VS HORIZONTAL SCALING
------------------------------
VERTICAL VS HORIZONTAL SCALING
---------------------------------

VERTICAL (bigger server)         HORIZONTAL (more servers)
-------------------------        --------------------------
                                        [ LOAD BALANCER ]
    [ SMALL SERVER ]                    /      |       \
          |                            v       v        v
     resize up                    [ app-1 ] [ app-2 ] [ app-3 ]
          v
    [ BIG SERVER ]                 traffic spread across
    single point of failure        instances; one instance
    hard ceiling                   can fail without an outage

လက်တွေ့ scenario နဲ့ ချိတ်ကြည့်မယ်

Round robin က instance တွေကို အစဉ်လိုက် cycle ပတ်ပြီး တစ်ခုစီကို request တန်းတူ ပေးပါတယ်။

Request ငါးခုကို mock instance သုံးခုကနေ run ကြည့်ရင် wraparound ရှင်းရှင်းလင်းလင်း မြင်ရပါတယ် — fourth request က first instance ကို ပြန်ကျရောက်ပါတယ်။

• Vertical scaling က server တစ်ခုတည်းကို resize လုပ်တာပါ၊ horizontal scaling က load balancer နောက်မှာ server ပိုထည့်တာပါ — နှစ်ခုစလုံးမှာ tradeoff အစစ် ရှိပါတယ်။
• Stateless app တွေ (local in-memory state အပေါ် မမှီခိုတဲ့) ဟာ stateful app တွေထက် horizontal scale ပိုလွယ်ကူစွာ လုပ်နိုင်ပါတယ်။
• Auto-scaling က CPU ဒါမှမဟုတ် queue depth လို live signal ကို တုံ့ပြန်ပြီး horizontal scaling ကို automate လုပ်ပေးပါတယ်၊ human ခန့်မှန်းချက် မဟုတ်တော့ပါဘူး။

အတူတူ စမ်းရေးကြည့်မယ်

function createRoundRobinBalancer(instances) {
  let next = 0;
  return function pickInstance() {
    const instance = instances[next];
    next = (next + 1) % instances.length;
    return instance;
  };
}

const instances = ["app-1", "app-2", "app-3"];
const pick = createRoundRobinBalancer(instances);

const requests = ["req-A", "req-B", "req-C", "req-D", "req-E"];
for (const req of requests) {
  console.log(`${req} -> ${pick()}`);
}

req-A -> app-1
req-B -> app-2
req-C -> app-3
req-D -> app-1
req-E -> app-2
(output က locale နှစ်ခုစလုံးအတွက် တူညီပါတယ်)

MDN — Load balancer — Cloud & Deployment