local-ai-agents

Foundry Local နှင့် Qwen တို့ဖြင့် ဒေသဆိုင်ရာ AI ကိုယ်စားလှယ်များ ဖန်တီးခြင်း

Lesson 17 – ဒေသဆိုင်ရာ AI ကိုယ်စားလှယ်များ ဖန်တီးခြင်း အတွက် ဆက်စပ် ကျွမ်းကျင်မှု။ သင်တန်းသားတစ်ဦးကို သူတို့ရဲ့စက်သာလုံး ဖြင့် လုံးဝ ကိုယ်တိုင် အကြံပြုချက်များ ထုတ်၍ ကိရိယာများ ကို ခေါ်ယူပြီး စာတမ်းများကို ရှာဖွေရန် ကူညီရန် အသုံးပြုပါ — တိမ်တိုက် မှ မဟုတ်ပါ။ အကြံပြုချက်တိုင်းကို ဘာသာရပ် အကြောင်းအရာ နှင့် အသုံးပြုနိုင်သောစာမျက်နှာအတွင်းတွင် အခြေခံပါ။

• ကိုယ်ပိုင် စက်ပေါ်တွင် လုံးဝ အသုံးပြုနိုင်သော ကိုယ်စားလှယ် အတွက် ပုဂ္ဂိုလ်ရေး၊ ကုန်ကျစရိတ် သို့မဟုတ် အော့ဖ်လိုင်း အကြောင်းများအတွက်။
• Foundry Local ဖြင့် မော်ဒယ်ကို ဒေသတွင်း တပ်ဆင်၍ OpenAI-ကိုက်ညီသော endpoint ဖြင့် ချိတ်ဆက်ရန်။
• ယုံကြည်စိတ်ချရသော ဒေသဆိုင်ရာ ကိရိယာခေါ်ယူမှုများ ကြီးပွားစေရန် Qwen function-calling မော်ဒယ် အသုံးပြုရန်။
• ဒေသဆိုင်ရာ RAG (Chroma) သို့မဟုတ် ဒေသဆိုင်ရာ MCP ဆာဗာ ထည့်သွင်းရန်။
• ဒေသဆိုင်ရာ/တိမ်တိုက်ပေါင်းစပ် လမ်းညွှန် များဒီဇိုင်းရန်။

မဟာဗျူဟာမှာ - SLM ကို ဦးဆောင်ခိုင်းပြီး ကိရိယာများကို အလေးပေး လုပ်ဆောင်စေခြင်း ဖြစ်ပါသည်။ မော်ဒယ်သည် ကိုဒ်အခြေခံကို သိရန် မလိုအပ်ပါ — ဘယ်အချိန်ကိရိယာ ခေါ်ရမည်ကိုသာ သိရမည်။ မော်ဒယ်အနေနဲ့ ကုဒ်ဘေ့စ်ကို သိဖို့ မလိုအပ်ပါဘူး — ဖုန်းခေါ်ဖို့ ဘယ်အချိန်လဲဆိုတာကိုပဲ သိထားဖို့ လိုပါတယ် read_file နှင့် search_docs တို့။ ၎င်းသည် SLM ၏အားသာချက်ဖြစ်သည့် (ကန့်သတ်ထားသောဆုံးဖြတ်ချက်များ ကဲ့သို့သောကိရိယာရွေးချယ်မှု) အားဖြင့်ကစားပြီး၊ ၎င်း၏အားနည်းချက်ဖြစ်သည့် (ကျယ်ပြန့်သောအသိပညာ၊ ရှည်လျားသောအဆင့်မြှင့် တိုက်ရိုက်သုံးသပ်ခြင်း) ထွက်ခြားသည်။

ဤအထူးအစိတ်အပိုင်းများကိုဘာကြောင့်

• Foundry Local သည် OpenAI-ကိုက်ညီသော HTTP endpoint ကိုဖော်ပြထားပြီး၊ ထိုကဲ့သို့ဖြစ်ခြင်းကြောင့် cloud agent ကုဒ်သည် base_url (နှင့် ဒေသတွင်း placeholder API key ကိုအသုံးပြုခြင်း) တို့မှသာပြောင်းလဲခြင်းဖြင့် လွယ်ကူစွာရွှေ့ပြောင်းနိုင်သည်။ ၎င်းသည် စက်ပစ္စည်းအတွက် အကောင်းဆုံး build (CPU/GPU/NPU) ကိုအလိုအလျောက်ရွေးချယ်ပေးသည်။
• Qwen မော်ဒယ်များကို function ခေါ်ဆိုမှုအတွက် လေ့ကျင့်ထားပြီး ကောင်းမွန်စွာဖွဲ့စည်းထားသော tool ခေါ်ရာများကို တပြတ်တည်းထုတ်ပေးသည် — ၎င်းဟာ ဒေသတွင်း chat မော်ဒယ်ကို ဒေသတွင်း agent သို့ပြောင်းလဲသောအရာဖြစ်သည်။
• Chroma သည် process အတွင်းတွင်ပြေးဆွဲပြီး disk တွင် vectors များသိမ်းဆည်းထားပြီး RAG pipeline (embed → store → retrieve → reason) အားလုံးကို ဒေသတြင္း ထာ၀ရထားသည်။
• MCP သည် cloud ဝန်ဆောင်မှုမဟုတ်သော သယ်ယူပို့ဆောင်မှုဖြစ်ပြီး။ MCP server ကို ဒေသတွင်းတွင် stdio မှတဆင့် ပြေးနိုင်သည်။

ဆက်တင်လိုအပ်ချက်များ

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

ရုပ်ပိုင်းဆိုင်ရာ ~8 GB RAM သည် အနည်းဆုံးလိုအပ်ချက်ဖြစ်သည်; GPU/NPU ကူညီပေးသော်လည်း မလိုအပ်ပါ။

ထပ်မံ အသုံးချရန်သောအဓိကပုံစံများ

သင်ယူသူကို notebook တွင် အချက်ပြပါ 17-local-agent-foundry-local.ipynb:

• Sandboxed tools: ဖိုင်ကိရိယာတိုင်းသည် path များကိုဖြေရှင်းပြီး တစ်ခုတည်းသော project root နေရာပြင်ပမှအားလုံးကို ငြင်းချခံရသည် — ဒေသတွင်းတင်ဖြစ်စေ ကိရိယာသည် အသုံးပြုသူ၏ခွင့်ပြုချက်ဖြင့်ပြေးဆွဲသည်။
• Tool-calling loop: OpenAI tools schema အတိုင်း ကိရိယာများကို မှတ်ပုံတင်ပြီး၊ တောင်းဆိုထားသောကိရိယာများကို ဒေသတွင်းကတိပြုဆောင်ရွက်ကာ၊ရလဒ်များကို ပြန်ထည့်ပြီး နောက်တစ်ကြိမ် ထပ်ဆင့်ဆောင်ရွက်သည်။
• Local RAG: Chroma စုစည်းမှုတွင် စာရွက်စာတမ်းများကို upsert လုပ်သည်; search_docs သည် ထိပ်တန်း-k အပိုင်းများကို ပြန်ပေးသည်။
• Local MCP: ဒေသတွင်း server သို့ stdio မှတဆင့်ချိတ်ဆက်သည်; ထိုရာထူးကို project directory သို့ပိတ်သိမ်းပြီး ထွက်ရှိချက်များကို မှန်ကန်ကြောင်း စစ်ဆေးသည်။

မျိုးစုံလမ်းကြောင်း (ဒေသတွင်းကို မော်ဒယ်အနက် တစ်ခုအနေဖြင့်)

အခြေအနေ	ဘယ်မှာပြေးစေမလဲ
အရပ်သားဒေတာ / အော့ဖ်လိုင်း	ဒေသတွင်း SLM
ရိုးရှင်းသော, ကန့်သတ်ချက်ဖြစ်သောတာဝန်	ဒေသတွင်း SLM (စျေးတန်၊ အမြန်)
အရပ်ပမာဏမရှိသော အခက်အခဲများရှိသော ဒေတာအပေါ် ခက်ခဲသော multi-hop တင်သုံးသပ်ချက်	Cloud မော်ဒယ်
Cloud ပိတ်ဆို့ခြင်း	ဒေသတွင်း SLM (အဆင်ပြေပျော့ပါးမှု)

၎င်းသည် ပစ်မှတ် 16 တွင် ပါဝင်သော မော်ဒယ်လမ်းကြောင်း စိတ်ကူးတစ်ခုအတိုင်း ရှုမြင်ခြင်းဖြစ်ပြီး၊ workstation ကို တစ်ခုသော မောင်းလမ်းအဖြစ် သတ်မှတ်ထားသည်။ ဒေသတွင်းစနစ်သို့ ပြန်လှန်ရောက်ရှိသော ပုံစံများကို မျှော်မှန်း၍ agent သည် လုံးဝ မပျက်မကွက်ဘဲ အရည်အသွေးကျဆင်းမှုဖြင့်သာ လျော့နည်းစေရန်ကြိုးစားပါ။

အကူအညီပေးသူအတွက် ကာကွယ်စောင့်ရှောက်မှုများ

• ဖိုင်/ကိရိယာ လုပ်ဆောင်မှုတစ်ခုချင်းစီကို sandboxed project directory အတွင်း သီးခြားထားပါ။
• သင်ယူသူ၏ ရည်ရွယ်ချက်မှာ privacy/offline ဖြစ်သောအခါ cloud သို့ ကုဒ် သို့မဟုတ် ဒေတာ မပို့ပေးပါနှင့် — ဆက်လက်လုပ်ဆောင်မှုအားလုံးကို ဒေသတွင်းထိန်းသိမ်းထားပါ။
• SLM ၏အရည်အသွေးအတွက် အတိအကျမျှော်မှန်းချက်များထားပါ; မော်ဒယ်မှ မှတ်မိထားသောအသိပညာထက် ကိရိယာများနှင့် RAG ကို အားထားပါ။
• Lesson 17 တွင် Foundry Responses endpoint မရှိ သည့်အကြောင်းသတိပြုပါ၊ ထို့ကြောင့် cloud smoke-test လုပ်ငန်းစဉ်သည် မသက်ဆိုင်ပါ — notebook ကို ဒေသတွင်းသွား၍ စစ်ဆေးပါ။

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> ပြောကြားချက် ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု Co-op Translator အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးပမ်းနေသော်လည်း၊ စက်ကိရိယာဘာသာပြန်ခြင်းများတွင် အမှားများ သို့မဟုတ် မှားယွင်းချက်များ ပါဝင်နိုင်ကြောင်း သတိပြုပါရန် လိုအပ်ပါသည်။ မူလစာတမ်းကို မူရင်းဘာသာဖြင့်သာ ယုံကြည်စိတ်ချရသော အချက်အလက်အဖြစ် သတ်မှတ်သင့်သည်။ အရေးကြီးသည့် သတင်းအချက်အလက်များအတွက် ပရော်ဖက်ရှင်နယ် လူသားဘာသာပြန်သူဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ချက်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုကွာခြားမှုများ သို့မဟုတ် မမှန်ကန်သော အသုံးပြုမှုများအတွက် ကျွန်ုပ်တို့ တာဝန်မခံပါ။ <!-- CO-OP TRANSLATOR DISCLAIMER END -->