Project 5 — Stream Job Queue

နားလည်ထားရမယ့် အချက်

Stream job queue ကို at-least-once delivery အဖြစ်ဒီဇိုင်းလုပ်ရပါတယ်။ Job payload သေးသေးနဲ့ immutable IDs ပို့၊ durable details ကို DB မှဖတ်၊ side effects ကို idempotency key ဖြင့်ကာကွယ်ရပါတယ်။ Retry count၊ exponential backoff၊ poison-message dead letter၊ pending reclaim နဲ့ retention လိုပါတယ်။

လက်တွေ့ scenario နဲ့ ချိတ်ကြည့်မယ်

Email worker group တည်ဆောက်ပြီး `BLOCK` read၊ bounded concurrency၊ send success နောက် ACK လုပ်မယ်။ Failure count ကို metadata/hash ထဲတိုး၊ threshold ကျော်လျှင် dead-letter stream သို့ original ID/reason ထည့်ပြီး ACK လုပ်မယ်။ Shutdown တွင် new reads ရပ်၊ in-flight jobs finish/leave pending လုပ်မယ်။

• At-least-once + idempotency
• Pending reclaim + bounded retries
• DLQ/retention/observability ပါ

အတူတူ စမ်းရေးကြည့်မယ်

const jobs = await redis.xReadGroup('emailers', workerId,
  [{ key: 'stream:email', id: '>' }], { COUNT: 10, BLOCK: 5000 });
for (const job of jobs ?? []) {
  await withIdempotency(job.id, () => sendEmail(job.message));
  await redis.xAck('stream:email', 'emailers', job.id);
}

Crash recovery လုပ်နိုင်ပြီး duplicate side effects ကိုကာကွယ်ထားသော worker ရမည်။

Redis — Streams — Redis