deploying-scalable-agents

Microsoft Foundry ഉപയോഗിച്ച് സ്കെയ്‌ലബിള്‍ ഏജന്‍റുകള്‍ വിന്യസിക്കല്‍

പാഠം 16 – സ്കെയ്‌ലബിള്‍ ഏജന്‍റുകള്‍ വിന്യസിക്കല്‍ അതിന്റെ സഹായത്തിന് ഏജന്‍റിന്റെ കഴിവ്. ഒരു പഠിതാവിന് ഏജന്‍റിനെ പ്രോട്ടോട്ടൈപ്പ് നിന്നു സ്കെയ്‌ലബിള്‍, നിരീക്ഷണയോഗ്യമായ ഉത്പാദന വിന്യസത്തിലേക്ക് നീക്കാന്‍ സഹായിക്കാന്‍ ഇതിനെ ഉപയോഗിക്കുക. ഓരോ ശുപാര്‍ശയും പാഠം ഉള്ളടക്കത്തിലിലും പ്രവര്‍ത്തനശീലമായ നോട്ട് ബുകിലും ആധാരമാക്കുക; Foundry APIകള്‍ കണ്ടുപിടിക്കരുത്.

ട്രിഗറുകള്‍

പഠിതാവ് താഴെ പറയുന്ന വീതം ആഗ്രഹിക്കുന്നപ്പോഴാണ് ഈ കഴിവ് സജീവമാക്കുക:

• ഒരു ഏജന്‍റിനെ Microsoft Foundryയില്‍ ഹോസ്റ്റഡ് ഏജന്‍റായി വിന്യസിച്ച് അത് പതിപ്പാക്കി/നിരീക്ഷണയോഗ്യമായതായി നിര്‍മിക്കുക.
• ക്ലയന്റ്-ഹോസ്റ്റഡ്, ഹോസ്റ്റഡ്-എജന്‍റും, ഏജന്‍റ-വര്‍ക്‌ഫ്ലോയും എന്നിങ്ങനെ വിന്യാസ മാതൃകകളില്‍ തിരഞ്ഞെടുക്കുക.
• വെട്ടിപ്പ് നിയന്ത്രിക്കുന്നതിന് മോഡല്‍ റൂട്ടിങ്, റിസ്പോണ്‍സ് കാഷിംഗ് അല്ലെങ്കില്‍ ബൗണ്ടഡ് കോൺകറൻസി ചേര്‍ക്കുക.
• ഒരു പൊള്ള തിരഞ്ഞെടുക്കല്‍ വിലയിരുത്തല്‍ ഗേറ്റ് ചേര്‍ക്കുക എന്നതുകൊണ്ടാണ് മോശം ഏജന്‍റ് പതിപ്പ് നിങ്ങള്‍ക്ക് ലഭിക്കാതെ നില്ക്കുന്നത്.
• ഉന്നത-അപകട സാധ്യതയുള്ള പ്രവൃത്തികള്‍ക്ക് മനുഷ്യന്റെ അംഗീകാരം ഘട്ടം ചേര്‍ക്കുക.
• ഉത്പാദന നിരീക്ഷണത്തിനായി ഏജന്‍റിനെ OpenTelemetry ട്രേസിങ്ങ് ഉപയോഗിച്ച് സജ്ജമാക്കുക.
• വിന്യസിച്ച ഏജന്‍റിനെ ഒരു വേഗത്തിലുള്ള പോസ്റ്റ്-ഡിപ്ലോയ് ഗേറ്റായിട്ടുള്ള സ്മോക്ക്-ടെസ്റ്റ് നടത്തുക.

പ്രാഥമിക മാനസിക മാതൃകം

ഉത്പാദന ഏജന്‍റ് പ്രധാനമായി മോഡലിന്റെ ചുറ്റുമുള്ള പ്രവർത്തനഘടനയാണ് (~80%), മോഡലല്ല. ഓരോ ശുപാര്‍ശയും താഴെ പറയുന്ന വിഷയങ്ങളില്‍ ഒന്നില്‍ ബന്ധിപ്പിക്കുക:

വിഷയം	പ്രോട്ടോട്ടൈപ്പ് → ഉത്പാദനം
ഹോസ്റ്റിംഗ്	നോട്ട്‌ബുക്ക് → പതിപ്പു നേടിയ ഹോസ്റ്റഡ് സേവനം
തിരിച്ചറിയല്‍	നിങ്ങളുടെ az login → മാനേജുചെയ്യപ്പെട്ട തിരിച്ചറിയല്‍ + സ്കോപ്പ് ചെയ്യപ്പെട്ട RBAC
നില	ഓര്‍മയില്‍ → ബാഹ്യമായ ത്രെഡ് / മെമ്മറി സ്റ്റോര്‍
വീഴ്ച	ട്രേസ്‌ബാക്ക് → റെട്രൈകള്‍, ഫാള്‍ബാക്കുകള്‍, അറിയിപ്പുകള്‍
ചെലവ്	"ഒരു சில സെന്റുകള്‍" → ട്രാക്കചെയ്ത്, റൂട്ടുചെയ്ത്, കാഷ് ചെയ്തു, ബജറ്റ് ചെയ്ത
ഗുണമേന്‍മ	കണക്ക് നോക്കല്‍ → ഓട്ടോമേറ്റഡ് വിലയിരുത്തല്‍ ഗേറ്റ്
വിശ്വാസം	നിങ്ങള്‍ അംഗീകരിക്കുന്നു → നയം + മനുഷ്യന്റെ അംഗീകാരം

വിന്യാസ മാതൃകകള്‍ (ഒന്ന് തിരഞ്ഞെടുക്കുക അല്ലെങ്കില്‍ സംയോജിപ്പിക്കുക)

1. ക്ലയന്റ്-ഹോസ്റ്റഡ് — റീസണിങ് ലൂപ്പ് നിങ്ങളുടെ പ്രോസസിലാണ് നടത്തുന്നത്. പരമാവധി നിയന്ത്രണം; സ്കെയിലിംഗ്/സ്റ്റേറ്റ് உം നിങ്ങള്‍ക്കു സ്വന്തമാണ്.
2. ഹോസ്റ്റഡ് ഏജന്‍റ് (Foundry Agent Service) — Foundry ലൂപ്പ് ഹോസ്റ്റ് ചെയ്യുന്നു, ത്രെഡ്സ് സ്റ്റോര്‍ ചെയ്യുന്നു, RBAC/ഉള്ളടക്കസുരക്ഷ പാലിക്കുന്നു, ഏജന്‍റിനെ പോര്‍ട്ടലില്‍ കാണിക്കുന്നു. കുറവ് നിയന്ത്രണം, വളരെ കുറവ് പ്രവർത്തന പരിധി.
3. ഏജന്റ്സ് വര്‍ക്ക്‌ഫ്ലോ — ബ്രാഞ്ചിംഗ്, അംഗീകാരം നോട്ടുകള്‍, സ്ഥിരമായ ചെക്ക്‌പോയിന്റുകളുള്ള ഗ്രാഫായി നിരവധി ഏജന്‍റുകളെയും ഉപകരണങ്ങളെയും ചേര്‍ത്തിരിക്കുന്നത്.

ജീവിതചക്രം (ഏജന്‍റിനെ ഷിപ്പ് ചെയ്യുന്ന ലൂപ്പ്)

create → version → evaluate (gate) → deploy hosted → observe online → collect failures → repeat. ഓഫ്ലൈന്‍ വിലയിരുത്തല്‍ ഒരു ഗേറ്റാണ്, വഴക്കരുത് — ഒരു പതിപ്പ് തുക്ക് കടന്നു പോകരുത് അതിന്റെ പരിധി കടന്നില്ലെങ്കില്‍. ഓണ്‍ലൈനില്‍ നിരീക്ഷണം യഥാർത്ഥ വീഴ്ചകള്‍ ഓഫ്ലൈന്‍ ടെസ്റ്റ് സെറ്റിലേക്ക് തിരികെ നല്‍കുന്നു.

സ്കെയിലിംഗ്, ചെലവ് നിയന്ത്രണങ്ങള്‍ (പ്രാഥമികത അനുസരിച്ച്)

1. മോഡല്‍ ശരിയായ വലുപ്പത്തിലാക്കുക — വിലയിരുത്തല്‍ ഗേറ്റ് കടന്നുനില്‍ക്കുന്ന ഏറ്റവും ചെറുതായ മോഡല്‍ ഉപയോഗിക്കുക.
2. സങ്കീര്‍ണ്ണത അനുസരിച്ച് റൂട്ടിംഗ് — ലഘു/വേഗമുള്ള മോഡല്‍ ലളിത അഭ്യര്‍ഥനകള്‍ക്ക്, വലിയ മോഡല്‍ യഥാർത്ഥ റീസണിങിനായി (DIY ക്ലാസിഫയര്‍ അല്ലെങ്കില്‍ Foundry മോഡല്‍ റൂട്ടര്‍).
3. കാഷിംഗ് — മോഡല്‍ കോളിന് പകരമുള്ള സമാന അഭ്യര്‍ഥനകള്‍ സേവിക്കുക.
4. സ്റ്റേറ്റ്ലസ് ഡിസൈന്‍ + ബൗണ്ടഡ് കോൺകറൻസി — നില ബാഹ്യീകരിക്കുക; റിട്രൈ ബാക്ക്ഓഫ്ഫുമായി.

ആവര്‍ത്തിക്കേണ്ട പ്രധാന മാതൃകകള്‍

പഠിതാവിനെ നോട്ട്‌ബുക്ക് ഇനമുകളില്‍ നയിച്ചഗം 16-python-agent-framework.ipynb:

• അഭ്യര്‍ഥന കൈകാര്യം ചെയ്യല്‍: കാഷ് → സങ്കീര്‍ണ്ണത അനുസരിച്ച് റൂട്ടിംഗ് → ട്രെയ്‌സ് സ്‌പാന്‍ → ഓടിക്കല്‍ → കാഷ്.
• വിലയിരുത്തല്‍ ഗേറ്റ്: ഓഫ്ലൈന്‍ ടെസ്റ്റ് സെറ്റ് സ്കോര്‍ ചെയ്യുക; pass_rate >= threshold മടക്കി ആണെങ്കില്‍ മാത്രമേ വിന്യസിക്കാന്‍ അനുവദിക്കൂ.
• മനുഷ്യ അംഗീകാരം: വലിയ റീഫണ്ടുകള്‍ക്ക് പോലുള്ള പ്രവര്‍ത്തനങ്ങള്‍ക്കായി @tool(approval_mode="always_require").
• ട്രേസിങ്: ഓരോ അഭ്യര്‍ഥനയെയും tracer.start_as_current_span(...) ആകൃതി നല്‍കി കൊടുക്കുക, routed.model, customer.id പോലുള്ള ഗുണലക്ഷണങ്ങള്‍ സജ്ജമാക്കുക.

വിന്യസിച്ച ഏജന്‍റിനെ സ്മോക്ക്-ടെസ്റ്റ് ചെയ്യല്‍

വിന്യാസത്തിന് ശേഷം, ആവശ്യമായ എന്റ്പോയിന്റ് ഉത്തരങ്ങള്‍ നല്‍കുന്നുണ്ടോയെന്ന് ഉറപ്പ് വരുത്തുക (ഒരു ഹരിത വിന്യാസം കൂടി മൗനമായിരിക്കാം). AI Smoke Test നടപടി .github/workflows/smoke-test.yml വഴി ഉപയോഗിക്കുക, tests/ എന്ന കാറ്റലോഗ് ഉപയോഗിച്ച്. റണ്ണര്‍ ഓരോ പ്രാമ്പ്റ്റും POST {project_endpoint}/agents/{agent_name}/endpoint/protocols/openai/responses ആകയറിയ്ക്കും മറുപടി വാചകത്തില്‍ ഉറപ്പ് വരുത്തും. തിരിച്ചറിയല്‍ Azure AI User റോളില്‍ ചികിത്സാക്രമം ഫൗന്‍ഡ്രി പ്രോജക്ട് സ്കോപ്പില്‍ വേണം; ടോക്കണ്‍ പ്രേക്ഷകര്‍ lazimaതാണ് https://ai.azure.com/.

വിലയിരുത്തല്‍** (ഷിപ്പിന് മുട്ടലാവുന്നതിന് മപ്പാകുന്നതിന് മുമ്പ്) → ഓണ്‍ലൈന്‍ വിലയിരുത്തല്‍ (പ്രകൃതിയില്‍ അത് എങ്ങനെ പ്രവര്‍ത്തിക്കുന്നു, തുടർച്ചയായി).

എന്റര്‍പ്രൈസ് നിയന്ത്രണങ്ങള്‍

• RBAC: ഓരോ ഹോസ്റ്റഡ് ഏജന്‍റിനും ഏറ്റവും കുറഞ്ഞ ആധികാരമുള്ള മാനേജുചെയ്ത തിരിച്ചറിയല്‍ നല്‍കുക.

അസിസ്റ്റന്റിന് വേണ്ടി ഗാര്‍ഡ്രെയിലുകള്‍

• കോഴ്‌സില്‍ ഉപയോഗിക്കുന്ന സാധാരണ മാതൃകയായി FoundryChatClient(...) + provider.as_agent(...) പാറ്റേണിനെ മികവുറ്റതാക്കുക.

• വിലയിരുത്തലും ചെലവിനും ഉള്ള ഉപദേശങ്ങള്‍ ബന്ധിപ്പിച്ച് വച്ചിരിക്കണം: വിലയിരുത്തല്‍ ഗുണമേന്‍മ നിലയ്ക്കും, റൂട്ടിംഗ്/കാഷിംഗ് ചെലവ് അതിലേക്ക് അടുത്തിരുത്തും.

• നിങ്ങൾ സ്ഥിരീകരിച്ചിട്ടില്ലാത്ത ലൈവ്-അന دورانഫലങ്ങൾ വാഗ്ദാനം ചെയ്യരുത്; വിന്യാസം സ്ഥിരീകരിക്കാൻ സ്മോക്ക്-ടെസ്റ്റ് വർക്ക്‌ഫ്ലോ ശിപാർശ ചെയ്യുക.

• വിലയിരുത്തലും ചിലവ് ഉപദേശവും ഒന്നിച്ച് ബന്ധിപ്പിച്ചിരിക്കണം: വിലയിരുത്തൽ ഗുണമേന്മയുടെ തീരം നിശ്ചയിക്കും, റൂട്ടിംഗ്/കാച്ചിംഗ് ചിലവ് ആ തീരത്തിനടുത്തായി സൂക്ഷിക്കും.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> അറിയിപ്പ്: ഈ രേഖ AI പരിഭാഷാ സേവനം Co-op Translator ഉപയോഗിച്ച് പരിഭാഷപ്പെടുത്തിയതാണ്. ഞങ്ങൾ കൃത്യതയ്ക്കായി ശ്രമിക്കുന്നുവെങ്കിലും, ഓട്ടോമേറ്റഡ് പരിഭാഷകളിൽ പിഴവുകൾ അല്ലെങ്കിൽ തെറ്റായ വിവരങ്ങൾ ഉണ്ടാകാൻ സാധ്യതയുണ്ട്. അതിന്റെ സ്വാഭാവിക ഭാഷയിലുള്ള അസൽ രേഖയാണ് പ്രാമാണികമായ ഉറവിടമായി പരിഗണിക്കേണ്ടത്. നിർണായകമായ വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ പരിഭാഷ ശുപാർശ ചെയ്യുന്നു. ഈ പരിഭാഷ ഉപയോഗിച്ച് ഉണ്ടാകുന്ന തെറ്റിദ്ധാരണകൾ അല്ലെങ്കിൽ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കായി ഞങ്ങൾ ഉത്തരവാദികളല്ല. <!-- CO-OP TRANSLATOR DISCLAIMER END -->