deploying-scalable-agents

मायक्रोसॉफ्ट फाउंड्रीसह स्केलेबल एजंट्सची तैनाती

Lesson 16 – Deploying Scalable Agents साठी साथीचा कौशल्य. हे वापरा जेणेकरून शिकणाऱ्याला एजंटला प्रोटोटाइपपासून स्केलेबल, निरीक्षणीय उत्पादन तैनातीपर्यंत नेण्यासाठी मदत होईल. प्रत्येक शिफारस धड्याच्या सामग्रीवर आणि चालवण्यायोग्य नोटबुकवर आधारित ठेवा; फाउंड्री API ची निर्मिती करू नका.

ट्रिगर्स

जेव्हा एखादा शिकणारा हे करू इच्छितो तेव्हा हा कौशल्य सक्रिय करा:

• एजंट मायक्रोसॉफ्ट फाउंड्रीमध्ये होस्टेड एजंट म्हणून तैनात करा आणि तो आवृत्तीकरणीय/निरीक्षणीय करा.
• क्लायंट-होस्टेड, होस्टेड-एजंट, आणि एजंट-वर्कफ्लो तैनाती नमुने यामधून निवडा.
• विलंब तसेच खर्च नियंत्रित करण्यासाठी मॉडेल राउटिंग, प्रतिक्रिया कॅशिंग, किंवा बाउंडेड कॉन्करन्सी जोडा.
• मूल्यमापन गेट जोडा जेणेकरून खराब एजंट आवृत्ती प्रसिद्ध होऊ नये.
• उच्च-जोखीम क्रियांसाठी मानवी-चक्रातील मंजुरी टप्पा जोडा.
• उत्पादन निरीक्षणासाठी एजंटला OpenTelemetry ट्रेसिंगसह उपकरणे द्या.
• तैनात केलेल्या एजंटची जलद परिनियोजनानंतरची चाचणी म्हणून स्मोक-टेस्ट करा.

मुख्य मानसिक मॉडेल

उत्पादन एजंट म्हणजे बहुतेक वेळेस मॉडेलच्या भोवतालचा ऑपरेशनल कंकाल (~80%), स्वतः मॉडेल नाही. प्रत्येक शिफारस खालील बाबींशी नकाशित करा:

बाब	प्रोटोटाइप → उत्पादन
होस्टिंग	नोटबुक → आवृत्तिबद्ध होस्टेड सेवा
ओळख	तुमचा az login → व्यवस्थापित ओळख + स्कोप्ड RBAC
अवस्था	इन-मेमरी → बाह्य धागा/मेमरी संचय
अयशस्वी	ट्रेसबॅक → पुन:प्रयत्न, बॅकअप, अलर्ट
खर्च	"काही सेंट्स" → ट्रॅक, राउट, कॅश, बजेट केला
गुणवत्ता	दृष्टिदोष → स्वयंचलित मूल्यमापन गेट
विश्वास	तुम्ही मंजूर करता → धोरण + मानवी-चक्रातील

तैनात नमुने (एक निवडा, किंवा एकत्र करा)

1. क्लायंट-होस्टेड — तर्क लूप तुमच्या प्रक्रियेत चालतो. जास्तीत जास्त नियंत्रण; तुम्हाला स्केलिंग/अवस्था नियंत्रित करायची आहे.
2. होस्टेड एजंट (Foundry Agent Service) — फाउंड्री लूप होस्ट करतो, धागे संग्रहित करतो, RBAC/सामग्री सुरक्षा लागू करतो, एजंट पोर्टलमध्ये दर्शवितो. कमी नियंत्रण, खूपच कमी ऑपरेशनल पृष्ठभाग.
3. एजंट वर्कफ्लो — अनेक एजंट/साधने ग्राफमध्ये संयोजित केली जातात ज्यात शाखा, मंजुरी नोड आणि टिकाऊ चेकपॉइंट्स असतात.

जीवनचक्र (जो एजंट पाठवतो ते लूप)

create → version → evaluate (gate) → deploy hosted → observe online → collect failures → repeat. ऑफलाइन मूल्यमापन हा एक गेट आहे, विचारांतर नाही — आवृत्ती प्रसिद्ध होत नाही जोपर्यंत ती थ्रेशोल्ड पार करत नाही. ऑनलाइन निरीक्षण खऱ्या अयशस्वी गोष्टी परत ऑफलाइन चाचणी संचात ठेवते.

स्केलिंग व खर्च नियंत्रण (प्राथमिकतेनुसार)

1. मॉडेल योग्य आकाराचे करा — सर्वात लहान मॉडेल वापरा जे मूल्यमापन गेट पास करते.
2. जटिलतेनुसार राउट करा — सोप्या विनंत्यांसाठी लहान/जलद मॉडेल, खरी तर्कशक्तीसाठी मोठा मॉडेल (DIY वर्गीकारक किंवा फाउंड्री मॉडेल राउटर).
3. कॅश — Near-duplicate विनंत्या मॉडेल कॉलशिवाय सेवा द्या.
4. स्टेटलेस डिझाईन + बाउंडेड कॉन्करन्सी — अवस्था बाह्य करा; मागे घेऊन पुनप्रयत्न करा.

पुनरुत्पादित करण्याची मुख्य नमुने

शिकणाऱ्याला नोटबुकमधील या दिशेने निर्देश करा 16-python-agent-framework.ipynb:

• विनंती हँडलर: कॅश → जटिलतेनुसार राउट → ट्रेस स्पॅन → चालवा → कॅश.
• मूल्यमापन गेट: ऑफलाइन चाचणी सेटवर स्कोर करा; pass_rate >= threshold परत द्या आणि केवळ खरं असल्यास तैनात करा.
• मानवी मंजुरी: मोठ्या परताव्यासारख्या क्रियांसाठी @tool(approval_mode="always_require").
• ट्रेसिंग: प्रत्येक विनंतीला tracer.start_as_current_span(...) मध्ये गुंडाळा आणि routed.model, customer.id सारखी गुणधर्म सेट करा.

तैनात एजंटचे स्मोक-चाचणी

तैनातीनंतर, तपासा की एंडपॉइंट खरोखरच उत्तर देतो का (एक हिरव्या रंगाचा deploy तरीही शांत असू शकतो). वापरा AI स्मोक टेस्ट क्रिया .github/workflows/smoke-test.yml द्वारे, कॅटलॉगसह tests/. रनर प्रत्येक प्रॉम्प्टला POST {project_endpoint}/agents/{agent_name}/endpoint/protocols/openai/responses कडे POST करतो आणि उत्तर मजकूरावर आधारित तर्क लावतो. ओळखीसाठी Azure AI User भूमिका Foundry प्रोजेक्ट स्कोपमध्ये आवश्यक आहे; टोकन ऑडियन्स ॲक्स https://ai.azure.com/ असला पाहिजे.

दारे स्तरवार करा: स्मोक टेस्ट (पहुचण्यासारखे/उत्तर देणारे, प्रत्येक deploy) → ऑफलाइन मूल्यमापन (पुढे नेण्यापूर्वी पुरेसा चांगला) → ऑनलाइन मूल्यांकन (जगभर कसे करते, सतत).

एंटरप्राइज नियंत्रण

• RBAC: प्रत्येक होस्टेड एजंटला कमी अधिकारांसह व्यवस्थापित ओळख द्या.
• प्रत्याशीत उत्पादनामध्ये MCP: प्रत्येक MCP सर्व्हरला अविश्वसनीय सीमा म्हणून वगा—आवृत्ती निश्चित करा, त्याची ओळख सीमित करा, आउटपुटची मान्यता करा, दरमर्यादा घाला, गुपिते कधीही उघड करू नका.

सहाय्यकासाठी गार्डरेल्स

• कोर्सभर वापरल्या जाणाऱ्या कॅनॉनिकल FoundryChatClient(...) + provider.as_agent(...) नमुन्याला प्राधान्य द्या.
• तुम्ही पडताळणी न केलेले थेट Azure निकाल वाचा देऊ नका; तैनातीची पुष्टी करण्यासाठी स्मोक-टेस्ट वर्कफ्लोची शिफारस करा.
• मूल्यांकन आणि खर्च सल्ला एकत्र ठेवा: मूल्यांकन गुणवत्ता मर्यादा ठरवते, मार्गक्रमण/कॅशिंग खर्च त्या मर्यादेजवळ ठेवतात.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> अस्वीकरण: हा दस्तऐवज AI भाषांतर सेवा Co-op Translator चा वापर करून अनुवादित केला आहे. जरी आम्ही अचूकतेसाठी प्रयत्न करतो, तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या मूळ भाषेत अधिकृत स्रोत मानला पाहिजे. महत्त्वाची माहिती असल्यास, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थलावणीसाठी आम्ही जबाबदार नाही. <!-- CO-OP TRANSLATOR DISCLAIMER END -->