Research Workflow

နားလည်ထားရမယ့် အချက်

Research ဆိုတာ "အင်တာနက်ပေါ်မှာ တစ်ခုခု မှန်ပုံပေါ်တဲ့အထိ ရှာနေတာ" မဟုတ်ပါဘူး။ ထပ်ခါထပ်ခါ သုံးနိုင်တဲ့ pipeline တစ်ခုပါ။ research ညံ့တဲ့ အကြောင်းရင်းအများစုက step တစ်ခုကို ကျော်လိုက်လို့ပါ - များသောအားဖြင့် evaluate နဲ့ synthesize ကို ကျော်ပါတယ်။

"AI" ဆိုတာ topic တစ်ခုပါ၊ topic ကို research မလုပ်နိုင်ပါဘူး။ "Local RAG က cloud API dependency ကို ဘယ်လို လျှော့ချနိုင်သလဲ" ဆိုတာမှသာ real question ပါ - search လုပ်လို့ရ၊ ဖြေလို့ရ၊ evidence နဲ့ စမ်းသပ်လို့ရတဲ့ question တစ်ခုပါ။

Evaluation ကတော့ လူအများစု လုံးဝ ကျော်ခဲ့တဲ့ step ပါ။ checklist အများကြီး fail ဖြစ်တဲ့ source တစ်ခုမှာတောင် အမှန်တစ်ခုခု ပါနေနိုင်ပေမယ့်၊ synthesis မှာ weight ပိုနည်းပါတယ်။

Primary Source

Original ဖန်တီးသူ (author, researcher, data ကိုယ်တိုင်) ဆီကနေ တိုက်ရိုက် ရလာတဲ့ source - paper, official documentation, dataset ကိုယ်တိုင်စသည်။

Secondary Source

Primary source ကို summarize (သို့) interpret လုပ်ထားတဲ့ source - blog post, news article, review စသည်။ orientation အတွက် အသုံးဝင်ပေမယ့် primary လောက် weight မပေးရ။

Synthesis

Note များစွာကို ယှဉ်ပြီး ချိတ်ဆက်မှု၊ contradiction တွေကို ရှာပြီး conclusion တစ်ခု ချတဲ့ step - summary တွေကို copy-paste လုပ်တာ မဟုတ်ပါ။

RESEARCH WORKFLOW PIPELINE
--------------------------
RESEARCH WORKFLOW PIPELINE
---------------------------
[question] -> [search] -> [collect sources] -> [evaluate]
                                                      |
                                                      v
    [output] <- [synthesize] <- [structured notes] <-+

လက်တွေ့ scenario နဲ့ ချိတ်ကြည့်မယ်

Tab တစ်ခုမှ မဖွင့်ခင် real research question ကို full sentence အဖြစ် ရေးထားပါ၊ topic word မဟုတ်ပါနဲ့။

• Primary source (paper, spec, repository, original announcement) ကို အရင် ရှာပါ
• Blog post/social thread ကို primary source ဆီ ပို့ပေးမယ့် lead အဖြစ်သာ သုံးပါ
• Source အနည်းဆုံး ၃-၅ ခု မစုမချင်း conclusion မချပါနဲ့

Note ကို claim / evidence / source / interpretation ဆိုတဲ့ fixed structure နဲ့ ရေးပါ - ဒါက synthesis ကို လွယ်ကူစေတဲ့ အခြေခံပါ။

Synthesis မှာ claim တွေကို ယှဉ်ပါ၊ contradiction ကို flag လုပ်ပါ၊ evidence ပေါ်မူတည်ပြီး ကိုယ်တကယ် ယုံကြည်တာကို ဆုံးဖြတ်ပြီးမှ output ကို ရေးပါ။

• Research ဆိုတာ pipeline တစ်ခုပါ - topic တစ်ခုမက question တစ်ခုကနေ စတင်ပါတယ်
• Evaluation ကို ကျော်ရင် bad source တွေကို good source တွေနဲ့ trust level တူတူ ထားရာရောက်ပါတယ်
• Synthesis ဆိုတာ summary များစုပြီး copy-paste လုပ်တာ မဟုတ်ဘဲ ယှဉ်ပြီး conclusion ချတာပါ

အတူတူ စမ်းရေးကြည့်မယ်

function scoreSource(source) {
  let score = 0;
  const reasons = [];

  if (source.hasAuthor) { score += 1; reasons.push("+1 has a named author"); }
  else { reasons.push("+0 no named author"); }

  if (source.hasDate) { score += 1; reasons.push("+1 has a publish/update date"); }
  else { reasons.push("+0 no date given"); }

  if (source.hasEvidence) { score += 1; reasons.push("+1 makes claims backed by evidence"); }
  else { reasons.push("+0 no evidence for claims"); }

  if (source.hasReferences) { score += 1; reasons.push("+1 cites its own sources"); }
  else { reasons.push("+0 cites nothing"); }

  if (source.knownBias) { score -= 2; reasons.push("-2 publisher is on the known-bias list"); }

  let verdict;
  if (score >= 3) verdict = "evaluate"; // use with confidence
  else if (score >= 1) verdict = "caution"; // usable but weight it lower
  else verdict = "reject"; // do not rely on this alone

  return { score, verdict, reasons };
}

const sources = [
  {
    name: "Official RAG whitepaper (vendor docs)",
    hasAuthor: true,
    hasDate: true,
    hasEvidence: true,
    hasReferences: true,
    knownBias: false,
  },
  {
    name: "Anonymous blog post, no date",
    hasAuthor: false,
    hasDate: false,
    hasEvidence: true,
    hasReferences: false,
    knownBias: false,
  },
  {
    name: "Sponsored content on a known-biased outlet",
    hasAuthor: true,
    hasDate: true,
    hasEvidence: false,
    hasReferences: false,
    knownBias: true,
  },
];

for (const s of sources) {
  const result = scoreSource(s);
  console.log(s.name, "->", result.verdict, "(score:", result.score + ")");
}

Official RAG whitepaper (vendor docs) -> evaluate (score: 4)
Anonymous blog post, no date -> caution (score: 1)
Sponsored content on a known-biased outlet -> reject (score: 0)

Score ၃ နဲ့အထက်ရှိရင် "evaluate" (ယုံကြည်စွာ သုံးနိုင်)၊ ၁-၂ ဆိုရင် "caution" (weight လျှော့ပြီး သုံး)၊ ၀ ဒါမှမဟုတ် အောက် ဆိုရင် "reject" ဖြစ်ပါတယ်။

Wikipedia: Source evaluation — Productivity Systems