Vector Database နှင့် AI

နားလည်ထားရမယ့် အချက်

Traditional database တစ်ခုက application data ကို သိမ်းပြီး exact (သို့) relational မေးခွန်းတွေကို ဖြေပေးပါတယ်။ Vector database တစ်ခုကတော့ embedding — အဓိပ္ပာယ်ရဲ့ numeric representation — တွေကို သိမ်းပြီး similarity မေးခွန်းတွေကို ဖြေပေးပါတယ်။

RAG မှာ user ရဲ့ မေးခွန်းကို embedding အဖြစ် ပြောင်းပြီး vector store က semantic အနေနဲ့ အသက်ဆုံး text chunk တွေကို ရှာပေးကာ ဒီ chunk တွေကို large language model ဆီ context အဖြစ် ပေးလိုက်ပါတယ်၊ content တကယ်ရနိုင်တာကို အခြေခံပြီး ဖြေနိုင်ဖို့ပါ။

လက်တွေ့ AI application တစ်ခုက data အမျိုးအစားအလိုက် store ကွဲကွဲကို ပို့ပါတယ်: structured record တွေက relational database ဆီ၊ raw document တွေက object storage ဆီ၊ embedding တွေက vector-capable store ဆီ — store တစ်ခုစီက ကျွမ်းကျင်တဲ့ အလုပ်ကို လုပ်ပေးနေတာပါ။

Vector Database

Embedding တွေကို သိမ်းဆည်းပြီး query embedding တစ်ခုနှင့် အဆင်ဆင်ဆုံးတွေကို ရှာဖွေဖို့ optimize လုပ်ထားတဲ့ database (သို့) database extension တစ်ခုဖြစ်ပြီး exact matching အစား nearest-neighbor search ကို အများအားဖြင့် သုံးပါတယ်။

Embedding

Text, image, (သို့) data အခြားတစ်ခုခု၏ numeric vector representation တစ်ခုဖြစ်ပြီး machine learning model တစ်ခုက ထုတ်လုပ်ပေးကာ အဓိပ္ပာယ်ဆင်တူသော item တွေဟာ အနီးကပ် vector တွေနဲ့ ကိုက်ညီစွာ ရလာပါတယ်။

AI APPLICATION DATA ARCHITECTURE
--------------------------------
User Data  ------------------> PostgreSQL (relational)
(accounts, orders, courses)     exact + relational queries

Documents  ------------------> Object Storage (e.g. S3)
(PDFs, uploads, raw files)      durable file storage

Embeddings ------------------> Vector Store (vector-capable DB)
(from document text)            similarity / nearest-neighbor

              PostgreSQL + Object Storage + Vector Store
                              |
                              v
                    combined as context
                              |
                              v
                        LLM ---> AI response

လက်တွေ့ scenario နဲ့ ချိတ်ကြည့်မယ်

လက်တွေ့ RAG application တစ်ခုမှာ user တစ်ဦးက PDF upload လုပ်တာက write သီးခြားသုံးခုကို ဖြစ်ပေါ်စေပါတယ်: file ကို object storage ဆီ၊ embedding တွေကို vector store ဆီ၊ metadata record ကို relational database ဆီ။

အောက်က code ဥပမာက တမင် သေးငယ်အောင် ဖန်တီးထားပါတယ်: data type ဥပမာသုံးခုကို သက်ဆိုင်ရာ storage type ဆီ route လုပ်ပေးပါတယ်။ Embedding, RAG pipeline လက်တွေ့နက်နက်နဲနဲ အတွက် ဒီ site ရဲ့ Local AI tutorial content ကို ကြည့်ပါ။

• Traditional database တွေက application data အပေါ် exact/relational မေးခွန်းတွေကို ဖြေပေးပြီး vector database တွေက embedding အပေါ် similarity မေးခွန်းတွေကို ဖြေပေးပါတယ်။
• နှစ်ခုစလုံးက ကွဲပြားတဲ့ ပြဿနာတွေကို ဖြေရှင်းပြီး အစားထိုးအဖြစ်မဟုတ်ဘဲ အတူတကွ သုံးလေ့ရှိပါတယ် — ဒီပေါင်းစပ်မှုကပဲ RAG ကို အင်အားပေးနေတာပါ။
• လက်တွေ့ AI app တစ်ခုက data ကို အမျိုးအစားအလိုက် route လုပ်ပါတယ်: account တွေကို relational database ဆီ၊ file တွေကို object storage ဆီ၊ embedding တွေကို vector store ဆီ။

အတူတူ စမ်းရေးကြည့်မယ်

function routeDataToStorage(dataType) {
  const routingTable = {
    userAccountData: "relational database (e.g. PostgreSQL)",
    documentText: "object storage (e.g. S3-compatible bucket)",
    textEmbeddingVector: "vector store (vector-capable database)"
  };
  return routingTable[dataType] || "unknown data type";
}

for (const dataType of ["userAccountData", "documentText", "textEmbeddingVector"]) {
  console.log(dataType + " -> " + routeDataToStorage(dataType));
}

Data type ဥပမာသုံးခုကို route လုပ်တဲ့အခါ: userAccountData -> relational database (e.g. PostgreSQL), documentText -> object storage (e.g. S3-compatible bucket), textEmbeddingVector -> vector store (vector-capable database) လို့ ပြန်ပေးပါတယ် — data အမျိုးအစားတစ်ခုစီကို ဘယ်လို query လုပ်မလဲဆိုတာနဲ့ တကယ်သင့်တော်တဲ့ storage type ဆီ map လုပ်ထားပါတယ်။

Wikipedia: Vector database — How Databases Work