deploying-scalable-agents

ਮਾਇਕ੍ਰੋਸਾਫਟ ਫਾਊਂਡਰੀ ਨਾਲ ਸਕੇਲਬਲ ਏਜੰਟਾਂ ਦੀ ਤੈਨਾਤੀ

Lesson 16 – Deploying Scalable Agents ਲਈ ਸਾਥੀ ਸਕਿਲ। ਇਸ ਦਾ ਉਪਯੋਗ ਇਕ ਸਿੱਖਣ ਵਾਲੇ ਦੀ ਮਦਦ ਕਰਨ ਲਈ ਕਰੋ ਤਾਂ ਜੋ ਉਹ ਏਜੰਟ ਨੂੰ ਪ੍ਰੋਟੋਟਾਈਪ ਤੋਂ ਸਕੇਲਬਲ, ਨਿਰੀਖਣਯੋਗ ਉਤਪਾਦਨ ਡਿਪਲੋਇਮੈਂਟ ਤੱਕ ਲੈ ਜਾ ਸਕੇ। ਹਰ ਸਿਫ਼ਾਰਿਸ਼ ਨੂੰ ਪਾਠ ਸਮੱਗਰੀ ਅਤੇ ਚੱਲਦੇ ਨੋਟਬੁੱਕ ਵਿੱਚ ਅਧਾਰਿਤ ਰੱਖੋ; ਫਾਊਂਡਰੀ ਏਪੀਆਈਜ਼ ਨਾ ਬਣਾਓ।

ਟ੍ਰਿਗਰ

ਇਸ ਸਕਿਲ ਨੂੰ ਚਾਲੂ ਕਰੋ ਜਦੋਂ ਇਕ ਸਿੱਖਣ ਵਾਲਾ ਚਾਹੁੰਦਾ ਹੈ:

• ਮਾਇਕ੍ਰੋਸਾਫਟ ਫਾਊਂਡਰੀ 'ਤੇ ਇੱਕ ਏਜੰਟ ਨੂੰ ਹੋਸਟਡ ਏਜੰਟ ਵਜੋਂ ਤੈਨਾਤ ਕਰਨਾ ਅਤੇ ਇਸਨੂੰ ਵਰਜ਼ਨਡ/ਨਿਰੀਖਣਯੋਗ ਬਣਾਉਣਾ।
• ਕਲਾਇੰਟ-ਹੋਸਟਡ, ਹੋਸਟਡ-ਏਜੰਟ, ਅਤੇ ਏਜੰਟ-ਵਰਕਫਲੋ ਤੈਨਾਤੀ ਬੀਮਾਣਾ ਵਿੱਚੋਂ ਚੋਣ ਕਰਨਾ।
• ਮਾਡਲ ਰਾਊਟਿੰਗ, ਜਵਾਬ ਕੈਸ਼ਿੰਗ, ਜਾਂ ਬਾਊਂਡਡ ਕਨਕਰਨਸੀ ਨੂੰ ਜ਼ੋਰ ਦੇ ਕੇ ਲੈਟੈਂਸੀ ਅਤੇ ਲਾਗਤ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨਾ।
• ਇੱਕ ਮੁਲਾਂਕਣ ਗੇਟ ਜੋੜਨਾ ਤਾਂ ਕਿ ਕੋਈ ਖਰਾਬ ਏਜੰਟ ਵਰਜ਼ਨ ਸ਼ਿਪ ਨਾ ਹੋਵੇ।
• ਉੱਚ-ਖਤਰੇਵਾਲੇ ਅਮਲਾਂ ਲਈ ਇੱਕ ਮਾਨਵ-ਇਨ-ਦ-ਲੂਪ ਮਨਜ਼ੂਰੀ ਕਦਮ ਸ਼ਾਮਿਲ ਕਰਨਾ।
• ਉਤਪਾਦਨ ਦੇ ਨਿਰੀਖਣ ਲਈ ਓਪਨ ਟੈਲੀਮੇਟਰੀ ਟ੍ਰੇਸਿੰਗ ਨਾਲ ਏਜੰਟ ਨੂੰ ਇੰਸਟ੍ਰੂਮੈਂਟ ਕਰਨਾ।
• ਇੱਕ ਤੈਨਾਤ ਕੀਤੇ ਏਜੰਟ ਦੀ ਤੇਜ਼ ਪੋਸਟ-ਡਿਪਲੋਇ ਗੇਟ ਵਜੋਂ ਸਮੋਕ-ਟੈਸਟ ਕਰਨਾ।

ਮੁੱਖ ਮਾਨਸਿਕ ਮਾਡਲ

ਇੱਕ ਉਤਪਾਦਨ ਏਜੰਟ ਜ਼ਿਆਦਾਤਰ ਮਾਡਲ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਚੱਲਣ ਵਾਲੀ ਓਪਰੇਸ਼ਨਲ ਢਾਂਚਾ ਹੁੰਦੀ ਹੈ (~80%), ਖੁਦ ਮਾਡਲ ਨਹੀਂ। ਹਰ ਸਿਫ਼ਾਰਿਸ਼ ਨੂੰ ਇਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਚਿੰਤਾ ਨਾਲ ਜੋੜੋ:

ਚਿੰਤਾ	ਪ੍ਰੋਟੋਟਾਈਪ → ਉਤਪਾਦਨ
ਹੋਸਟਿੰਗ	ਨੋਟਬੁੱਕ → ਵਰਜਨਡ ਹੋਸਟਡ ਸੇਵਾ
ਪਹਚਾਣ	ਤੁਹਾਡਾ az login → ਪ੍ਰਬੰਧਿਤ ਪਹਚਾਣ + ਸਕੋਪ ਡ ਆਰਬੀਏਸੀ
ਸਥਿਤੀ	ਇਨ-ਮੇਮੋਰੀ → ਬਾਹਰੀ ਧਾਗਾ/ਯਾਦਾਸ਼ਤ ਸਟੋਰ
ਅਸਫਲਤਾ	ਟਰੇਸਬੈਕ → ਰੀਟ੍ਰਾਈ, ਫਾਲਬੈਕਸ, ਅਲਰਟਸ
ਲਾਗਤ	"ਕੁਝ ਸੈਂਟ" → ਟ੍ਰੈਕ ਕੀਤਾ, ਰਾਊਟ ਕੀਤਾ, ਕੈਸ਼ ਕੀਤਾ, ਬਜਟ ਕੀਤਾ
ਗੁਣਵੱਤਾ	ਨਜ਼ਰੀਏ ਨਾਲ → ਸੁਚਾਲਿਤ ਮੁਲਾਂਕਣ ਗੇਟ
ਭਰੋਸਾ	ਤੁਸੀਂ ਮਨਜ਼ੂਰ ਕਰਦੇ ਹੋ → ਨੀਤੀ + ਮਾਨਵ-ਇਨ-ਦ-ਲੂਪ

ਤੈਨਾਤੀ ਬੀਮਾਣੇ (ਇੱਕ ਚੁਣੋ, ਜਾਂ ਮਿਲਾਓ)

1. ਕਲਾਇੰਟ-ਹੋਸਟਡ — ਸੋਚ ਵਿਹਾਰ ਲੂਪ ਤੁਹਾਡੇ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਚਲਦਾ ਹੈ। ਵੱਧ ਤੋਂ ਵੱਧ ਕੰਟਰੋਲ; ਤੁਸੀਂ ਸਕੇਲ/ਸਥਿਤੀ ਦੇ ਮਾਲਿਕ ਹੋ।
2. ਹੋਸਟਡ ਏਜੰਟ (ਫਾਊਂਡਰੀ ਏਜੰਟ ਸੇਵਾ) — ਫਾਊਂਡਰੀ ਲੂਪ ਨੂੰ ਹੋਸਟ ਕਰਦਾ ਹੈ, ਧਾਗੇ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਆਰਬੀਏਸੀ/ਸਮੱਗਰੀ ਸੁਰੱਖਿਆ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਏਜੰਟ ਨੂੰ ਪੋਰਟਲ ਵਿੱਚ ਦਿਖਾਉਂਦਾ ਹੈ। ਘੱਟ ਕੰਟਰੋਲ, ਕਾਫੀ ਘੱਟ ਓਪਰੇਸ਼ਨਲ ਸਤਹ।
3. ਏਜੰਟ ਵਰਕਫਲੋ — ਕਈ ਏਜੰਟ/ਸੰਦ ਨੂੰ ਇੱਕ ਗ੍ਰਾਫ ਵਿੱਚ ਜੋੜਿਆ ਗਿਆ ਹੈ ਜਿਸ ਵਿੱਚ ਸ਼ਾਖਾ ਬਣਾਉਣ, ਮਨਜ਼ੂਰੀ ਨੋਡ ਅਤੇ ਡਿਊਰੇਬਲ ਚੈਕਪੌਇੰਟ ਹਨ।

ਲਾਈਫਸਾਈਕਲ (ਲੂਪ ਜੋ ਏਜੰਟ ਤੈਨਾਤ ਕਰਦਾ ਹੈ)

create → version → evaluate (gate) → deploy hosted → observe online → collect failures → repeat। ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ ਇੱਕ ਗੇਟ ਹੈ, ਬਾਅਦ ਦੀ ਸੋਚ ਨਹੀਂ — ਵਰਨਾਂਸ਼ ਸ਼ਿਪ ਨਹੀਂ ਹੁੰਦਾ ਜਦ ਤਕ ਇਹ ਥ੍ਰੈਸ਼ਹੋਲਡ ਸਾਫ਼ ਨਾ ਕਰ ਲਏ। ਔਨਲਾਈਨ ਨਿਰੀਖਣ ਅਸਲੀ ਅਸਫਲਤਾਵਾਂ ਨੂੰ ਆਫਲਾਈਨ ਟੈਸਟ ਸੈੱਟ ਵਿੱਚ ਵਾਪਸ ਭੇਜਦਾ ਹੈ।

ਸਕੇਲਿੰਗ ਅਤੇ ਲਾਗਤ ਲੀਵਰ (ਤਰਤੀਬੀ ਪ੍ਰਾਥਮਿਕਤਾ ਦੇ ਅਨੁਸਾਰ)

1. ਮਾਡਲ ਦਾ ਸਹੀ ਅਕਾਰ ਚੁਣੋ — ਸਭ ਤੋਂ ਛੋਟਾ ਮਾਡਲ ਵਰਤੋ ਜੋ ਮੁਲਾਂਕਣ ਗੇਟ ਪਾਰ ਕਰਦਾ ਹੋਵੇ।
2. ਜਟਿਲਤਾ ਅਨੁਸਾਰ ਰਾਊਟ ਕਰੋ — ਸਧਾਰਣ ਬਿਨੈ ਲਈ ਛੋਟਾ/ਤੇਜ਼ ਮਾਡਲ, ਅਸਲੀ ਸੋਚ ਲਈ ਵੱਡਾ ਮਾਡਲ (DIY ਕਲਾਸੀਫਾਇਰ ਜਾਂ ਫਾਊਂਡਰੀ ਮਾਡਲ ਰਾਊਟਰ)।
3. ਕੈਸ਼ ਕਰੋ — ਨਜ਼ਦੀਕੀ-ਨਕਲ ਬਿਨੈ ਮਾਡਲ ਕਾਲ ਦੇ ਬਿਨਾਂ ਸਰਵ ਕਰੋ।
4. ਸਟੇਟਲੈੱਸ ਡਿਜ਼ਾਈਨ + ਬਾਊਂਡਡ ਕਨਕਰਨਸੀ — ਸਥਿਤੀ ਨੂੰ ਬਾਹਰੀ ਬਣਾਓ; ਬੈਕਆਫ ਨਾਲ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰੋ।

ਮੁੱਖ ਬੀਮਾਣੇ ਨਕਲ ਕਰਨ ਲਈ

ਸਿੱਖਣ ਵਾਲੇ ਨੂੰ ਨੋਟਬੁੱਕ ਵਿੱਚੋਂ ਇਹ ਵਿਖਾਓ 16-python-agent-framework.ipynb:

• ਬਿਨੈ ਹੈਂਡਲਰ: ਕੈਸ਼ → ਜਟਿਲਤਾ ਅਨੁਸਾਰ ਰਾਊਟ → ਟ੍ਰੇਸ ਸਪੈਨ → ਚਲਾਉਣਾ → ਕੈਸ਼।
• ਮੁਲਾਂਕਣ ਗੇਟ: ਆਫਲਾਈਨ ਟੈਸਟ ਸੈੱਟ ਦਾ ਸਕੋਰ ਕਰੋ; pass_rate >= threshold ਵਾਪਸ ਕਰੋ ਅਤੇ ਸਿਰਫ਼ ਸੱਚ ਹੋਣ ਤੇ ਤੈਨਾਤ ਕਰੋ।
• ਮਾਨਵ ਮਨਜ਼ੂਰੀ: ਵੱਡੀਆਂ ਵਾਪਸੀਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਲਈ @tool(approval_mode="always_require")।
• ਟ੍ਰੇਸਿੰਗ: ਹਰ ਬਿਨੈ ਨੂੰ tracer.start_as_current_span(...) ਵਿੱਚ ਲਪੇਟੋ ਅਤੇ routed.model, customer.id ਵਰਗੀਆਂ ਗੁਣ ਦਿੱਤੀਆਂ ਸੈਟ ਕਰੋ।

ਤੈਨਾਤ ਕੀਤੇ ਏਜੰਟ ਦੀ ਸਮੋਕ-ਟੈਸਟਿੰਗ

ਤੈਨਾਤ ਤੋਂ ਬਾਅਦ, ਏਕ ਭਾਲੋ ਕਿ ਏਂਡਪੌਇੰਟ ਅਸਲ ਵਿੱਚ ਜਵਾਬ ਦੇ ਰਿਹਾ ਹੈ (ਇੱਕ ਹਰਾ ਡਿਪਲੋਇ ਅਜੇ ਵੀ ਖ਼ਾਮੋਸ਼ ਹੋ ਸਕਦਾ ਹੈ)। AI Smoke Test ਕਿਰਿਆ ਨੂੰ .github/workflows/smoke-test.yml ਰਾਹੀਂ ਅਤੇ tests/ ਵਿੱਚ ਕੈਟਾਲੌਗ ਨਾਲ ਵਰਤੋ। ਰਨਰ ਹਰ ਪ੍ਰਾਂਪਟ ਨੂੰ POST {project_endpoint}/agents/{agent_name}/endpoint/protocols/openai/responses 'ਤੇ POST ਕਰਦਾ ਹੈ ਅਤੇ ਜਵਾਬ ਦੇ ਟੈਕਸਟ ਤੇ ਦਾਅਵਾ ਕਰਦਾ ਹੈ। ਪਹਚਾਣ ਨੂੰ ਫਾਊਂਡਰੀ ਪ੍ਰੋਜੈਕਟ ਸਕੋਪ ਤੇ Azure AI User ਭੂਮਿਕਾ ਦੀ ਲੋੜ ਹੈ; ਟੋਕਨ ਦਰਸ਼ਕ ਢਾਂਚੇ ਦਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ https://ai.azure.com/।

ਮੁਲਾਂਕਣ** (ਸ਼ਿਪ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਚੰਗਾ, ਪ੍ਰਮੋਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ) → ਆਨਲਾਈਨ ਮੁਲਾਂਕਣ (ਜੰਗਲ ਵਿੱਚ ਇਹ ਕਿਵੇਂ ਹੈ, ਲਗਾਤਾਰ)।

ਐਂਟਰਪ੍ਰਾਈਜ਼ ਕੰਟਰੋਲ

• ਆਰਬੀਏਸੀ: ਹਰ ਹੋਸਟਡ ਏਜੰਟ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਅਧਿਕਾਰਾਂ ਵਾਲੀ ਪ੍ਰਬੰਧਿਤ ਪਹਚਾਣ ਦਿਓ।

ਸਹਾਇਕ ਲਈ ਗਾਰਡਰੇਲ

• ਪਾਠ ਵਿੱਚ ਵਰਤੇ canonical FoundryChatClient(...) + provider.as_agent(...) ਪੈਟਰਨ ਨੂੰ ਤਰਜੀਹ ਦਿਓ।

• ਮੁਲਾਂਕਣ ਅਤੇ ਲਾਗਤ ਦੀ ਸਲਾਹ ਨੂੰ ਇਕੱਠੇ ਰੱਖੋ: ਮੁਲਾਂਕਣ ਗੁਣਵੱਤਾ ਦਾ ਨਿਊਨਤਮ ਮਾਪਦੰਡ ਤੈਅ ਕਰਦਾ ਹੈ, ਰਾਊਟਿੰਗ/ਕੈਸ਼ਿੰਗ ਲਾਗਤ ਨੂੰ ਉਸ ਮਾਪਦੰਡ ਦੇ ਨੇੜੇ ਰੱਖਦੇ ਹਨ।

• ਉਹ ਜਿੰਦੇ-ਅਜ਼ਯੁਰ ਨਤੀਜੇ ਵਾਅਦਾ ਨਾ ਕਰੋ ਜੋ ਤੁਸੀਂ ਸੱਚ ਨਹੀਂ ਕੀਤਾ; ਡਿਪਲੋਇਮੈਂਟ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਧੂੰਆਂ-ਟੈਸਟ ਵਰਕਫਲੋ ਦੀ ਸਿਫਾਰਸ਼ ਕਰੋ।

• ਮੁਲਾਂਕਣ ਅਤੇ ਲਾਗਤ ਸਲਾਹ ਨੂੰ ਇਕੱਠੇ ਰੱਖੋ: ਮੁਲਾਂਕਣ ਗੁਣਵੱਤਾ ਦੀ ਨੀਵ ਰੱਖਦਾ ਹੈ, ਰੂਟਿੰਗ/ਕੈਚਿੰਗ ਉਸ ਨੀਵ ਦੇ ਨੇੜੇ ਲਾਗਤ ਰੱਖਦੇ ਹਨ।

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> ਅਸਵੀਕਾਰੋਪਣ: ਇਸ ਦਸਤਾਵੇਜ਼ ਦਾ ਅਨੁਵਾਦ ਏਆਈ ਅਨੁਵਾਦ ਸੇਵਾ Co-op Translator ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਤਾਵਾਂ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮੱਤਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜਰੂਰੀ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਇਸ ਅਨੁਵਾਦ ਦੇ ਉਪਯੋਗ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀਆਂ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀਆਂ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆਵਾਂ ਲਈ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹਾਂ। <!-- CO-OP TRANSLATOR DISCLAIMER END -->