deploying-scalable-agents

মাইক্রোসফট ফাউন্ড্রির সাথে স্কেলযোগ্য এজেন্ট মোতায়েন

Lesson 16 – Deploying Scalable Agents এর সঙ্গী দক্ষতা। এটি ব্যবহার করে একজন শেখার্থীকে সাহায্য করুন একটি এজেন্টকে প্রোটোটাইপ থেকে এক স্কেলযোগ্য, পর্যবেক্ষণযোগ্য প্রোডাকশন ডেপ্লয়মেন্টে স্থানান্তর করতে। প্রতিটি সুপারিশ পাঠের বিষয়বস্তু এবং চালানোর যোগ্য নোটবুকের উপর ভিত্তি করে রাখুন; ফাউন্ড্রি API উদ্ভাবন করবেন না।

ট্রিগারসমূহ

যখন একজন শেখার্থী করতে চান তখন এই দক্ষতা সক্রিয় করুন:

• মাইক্রোসফট ফাউন্ড্রিতে একটি এজেন্টকে হোস্টেড এজেন্ট হিসেবে মোতায়েন করা এবং সেটিকে ভার্সান/পর্যবেক্ষণযোগ্য করা।
• ক্লায়েন্ট-হোস্টেড, হোস্টেড-এজেন্ট, এবং এজেন্ট-ওয়ার্কফ্লো মোতায়েন প্যাটার্নগুলোর মধ্যে নির্বাচন করা।
• মডেল রাউটিং, রেসপন্স ক্যাশিং, বা সীমিত একসঙ্গে concurrency যোগ করা, যাতে ল্যাটেন্সি এবং খরচ নিয়ন্ত্রিত হয়।
• একটি মূল্যায়ন গেট যোগ করা যাতে একটি খারাপ এজেন্ট সংস্করণ প্রকাশ পায় না।
• উচ্চ ঝুঁকিপূর্ণ কাজের জন্য একটি মানব-ইন-দ্য-লুপ অনুমোদন ধাপ যোগ করা।
• একটি এজেন্টকে OpenTelemetry ট্রেসিং দিয়ে প্রোডাকশন পর্যবেক্ষণযোগ্যতার জন্য ইনস্ট্রুমেন্ট করা।
• মোতায়েনকৃত এজেন্টকে একটি দ্রুত পোস্ট-ডেপ্লয় গেট হিসেবে স্মোক-টেস্ট করা।

মূল মানসিক মডেল

একটি প্রোডাকশন এজেন্ট মূলত মডেলটির আশেপাশের অপারেশনাল স্কেলিটন (~৮০%) হয়, মডেল নিজেই নয়। প্রতিটি সুপারিশ এই বিষয়গুলোর মধ্যে একটির সাথে মানচিত্রিত করুন:

বিষয়	প্রোটোটাইপ → প্রোডাকশন
হোস্টিং	নোটবুক → ভার্সান্ড হোস্টেড সার্ভিস
পরিচয়	আপনার az login → ম্যানেজড পরিচয় + স্কোপড RBAC
অবস্থা	ইন-মেমরি → বাহ্যিক থ্রেড/মেমরি স্টোর
ব্যর্থতা	ট্রেসব্যাক → রিট্রাই, ফ্যালব্যাক, সতর্কতা
খরচ	"কয়েক সেন্ট" → ট্র্যাক করা, রাউট করা, ক্যাশ করা, বাজেট করা
গুণমান	চোখে যাচাই → স্বয়ংক্রিয় মূল্যায়ন গেট
বিশ্বাস	আপনি অনুমোদন করেন → নীতি + মানব-ইন-দ্য-লুপ

মোতায়েন প্যাটার্ন (একটি বেছে নিন, বা মিলিয়ে নিন)

1. ক্লায়েন্ট-হোস্টেড — রিজনিং লুপ আপনার প্রসেসে চলে। সর্বাধিক নিয়ন্ত্রণ; আপনি স্কেলিং/অবস্থা নিয়ন্ত্রণ করেন।
2. হোস্টেড এজেন্ট (ফাউন্ড্রি এজেন্ট সার্ভিস) — ফাউন্ড্রি লুপ হোস্ট করে, থ্রেড সংরক্ষণ করে, RBAC/কনটেন্ট নিরাপত্তা প্রয়োগ করে, পোর্টালে এজেন্ট দেখায়। কম নিয়ন্ত্রণ, অনেক কম অপারেশনাল সারফেস।
3. এজেন্ট ওয়ার্কফ্লো — একাধিক এজেন্ট/টুল নিয়ে একটি গ্রাফ রচনা যা শাখা, অনুমোদন নোড এবং টেকসই চেকপয়েন্ট থাকে।

জীবনচক্র (যে লুপ একটি এজেন্ট প্রেরণ করে)

create → version → evaluate (gate) → deploy hosted → observe online → collect failures → repeat. অফলাইন মূল্যায়ন একটি গেট, পরবর্তী চিন্তা নয় — একটি সংস্করণ প্রকাশ পায় না যদি না এটি থ্রেশহোল্ড পেরিয়ে যায়। অনলাইন পর্যবেক্ষণ প্রকৃত বিফলতাগুলোকে অফলাইন টেস্ট সেটে ফিরিয়ে দেয়।

স্কেলিং এবং খরচ নিয়ন্ত্রণ (অগ্রাধিকার ক্রমে)

1. সঠিক মডেল আকার নির্বাচন করুন — সবচেয়ে ছোট মডেল ব্যবহার করুন যা মূল্যায়ন গেট পাশ করে।
2. জটিলতা অনুযায়ী রাউট করুন — সহজ অনুরোধের জন্য ছোট/দ্রুত মডেল, বাস্তব রিজনিংয়ের জন্য বড় মডেল (DIY ক্লাসিফায়ার বা ফাউন্ড্রি মডেল রাউটার)।
3. ক্যাশ — প্রায় একদম মিলের অনুরোধ মডেল কল ছাড়াই পরিবেশন করুন।
4. স্টেটলেস ডিজাইন + সীমিত সমান্তরালতা — অবস্থা বাহ্যিক করুন; ব্যাকঅফের সাথে পুনরায় চেষ্টা করুন।

পুনরুত্পাদনের জন্য মূল প্যাটার্ন

শেখার্থীকে এই গুলো নোটবুক থেকে নির্দেশ করুন 16-python-agent-framework.ipynb:

• রিকোয়েস্ট হ্যান্ডলার: ক্যাশ → জটিলতা অনুযায়ী রাউট → ট্রেস স্প্যান → চালান → ক্যাশ।
• মূল্যায়ন গেট: একটি অফলাইন টেস্ট সেট স্কোর করুন; ফেরত দিন pass_rate >= threshold এবং শুধুমাত্র সত্য হলে মোতায়েন করুন।
• মানব অনুমোদন: @tool(approval_mode="always_require") বড় ফেরতের মতো কাজের জন্য।
• ট্রেসিং: প্রতিটি রিকোয়েস্টকে tracer.start_as_current_span(...) দিয়ে মোড়ানো এবং বৈশিষ্ট্য সেট করা যেমন routed.model, customer.id।

মোতায়েনকৃত এজেন্টের স্মোক-টেস্টিং

মোতায়েনের পরে, যাচাই করুন যে এন্ডপয়েন্টটি সত্যিই উত্তর দেয় (একটি সবুজ ডেপ্লয় এখনও নীরব থাকতে পারে)। AI Smoke Test অ্যাকশনটি ব্যবহার করুন .github/workflows/smoke-test.yml ক্যাটালগসহ tests/। রানার প্রতিটি প্রম্পটকে POST {project_endpoint}/agents/{agent_name}/endpoint/protocols/openai/responses ঠিকানায় পাঠায় এবং উত্তর পাঠ্যের উপর যাচাই করে। পরিচয়টিতে Azure AI User ভূমিকা থাকতে হবে ফাউন্ড্রি প্রকল্প পরিধিতে; টোকেনের দর্শক https://ai.azure.com/ হতে হবে।

গেটগুলো স্তর করুন: স্মোক টেস্ট (পৌঁছনীয়/প্রতিক্রিয়াশীল, প্রতিটি মোতায়েন) → অফলাইন মূল্যায়ন (প্রযোজনীয়, উন্নতির আগে) → অনলাইন মূল্যায়ন (বন্য পরিবেশে কেমন চলছে, ধারাবাহিক)।

এন্টারপ্রাইজ নিয়ন্ত্রণ

• RBAC: প্রতি হোস্টেড এজেন্টকে সর্বনিম্ন বিশেষাধিকার সহ একটি ম্যানেজড পরিচয় দিন।
• প্রোডাকশনে MCP: প্রতিটি MCP সার্ভারকে একটি অবিশ্বাস্য সীমানা হিসাবে বিবেচনা করুন — সংস্করণ পিন করুন, পরিচয় স্কোপ করুন, আউটপুট যাচাই করুন, রেট-লিমিট করুন, কখনও সিক্রেট প্রকাশ করবেন না।

সহায়ককের জন্য গার্ডরেল

• পুরো কোর্স জুড়ে ব্যবহৃত ক্যাননিক্যাল FoundryChatClient(...) + provider.as_agent(...) প্যাটার্ন পছন্দ করুন।
• আপনি যাচাই করেননি এমন লাইভ-আজুর ফলাফল প্রতিশ্রুতি দেবেন না; একটি ডেপ্লয়মেন্ট নিশ্চিত করতে স্মোক-টেস্ট ওয়ার্কফ্লো সুপারিশ করুন।
• মূল্যায়ন এবং খরচ পরামর্শকে একসাথে রাখুন: মূল্যায়ন গুণমানের ঘর সেট করে, রাউটিং/ক্যাশিং সেই ঘরের নিকটেই খরচ ধরে রাখে।

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> অস্বীকৃতি: এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই। <!-- CO-OP TRANSLATOR DISCLAIMER END -->