local-ai-agents

Foundry Local ਅਤੇ Qwen ਨਾਲ ਲੋਕਲ ਏਆਈ ਏਜੰਟ ਬਣਾਉਣਾ

ਪਾਠ 17 – ਲੋਕਲ ਏਆਈ ਏਜੰਟ ਬਣਾਉਣਾ ਲਈ ਸਾਥੀ ਦੱਖਲ ਕੌਸ਼ਲ। ਇਸ ਨੂੰ ਇਸ ਲਈ ਵਰਤੋ ਕਿ ਇੱਕ ਸਿੱਖਣ ਵਾਲੇ ਨੂੰ ਇੱਕ ਏਜੰਟ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਮਿਲੇ ਜੋ ਸੋਚਦਾ ਹੈ, ਟੂਲਜ਼ ਨੂੰ ਕਾਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਡੌਕਯੂਮੈਂਟੇਸ਼ਨ ਸਿਰਫ਼ ਆਪਣੇ ਮਨੁੱਖੀ ਮਸ਼ੀਨ 'ਤੇ ਖੋਜਦਾ ਹੈ — ਕੋਈ ਕਲਾਊਡ ਇਨਫਰੈਂਸ ਨਹੀਂ। ਹਰ ਸਿਫਾਰਸ਼ ਨੂੰ ਪਾਠ ਸਮੱਗਰੀ ਅਤੇ ਚਲਾਏ ਜਾ ਸਕਦੇ ਨੋਟਬੁੱਕ ਵਿੱਚ ਬੇਹਤਰੀਨ ਢੰਗ ਨਾਲ ਜਮ੍ਹਾਂ ਕਰੋ।

ਟ੍ਰਿਗਰਜ਼

ਜਦੋਂ ਇੱਕ ਸਿੱਖਣ ਵਾਲਾ ਚਾਹੁੰਦਾ ਹੈ ਤਾਂ ਇਸ ਕੌਸ਼ਲ ਨੂੰ ਸਰਗਰਮ ਕਰੋ:

• ਪ੍ਰਾਈਵੇਸੀ, ਖ਼ਰਚਾ ਜਾਂ ਆਫਲਾਈਨ ਕਾਰਨਾਂ ਲਈ ਏਜੰਟ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਡਿਵਾਈਸ 'ਤੇ ਚਲਾਓ।
• Foundry Local ਨਾਲ ਮਾਡਲ ਸਥਾਨਕ ਤੌਰ ਤੇ ਸਰਵ ਕਰੋ ਅਤੇ OpenAI-ਅਨੁਕੂਲ ਐਂਡਪॉਇੰਟ ਰਾਹੀਂ ਜੁੜੋ।
• ਭਰੋਸੇਯੋਗ ਸਥਾਨਕ ਟੂਲ ਕਾਲ ਲਈ Qwen ਫੰਕਸ਼ਨ-ਕਾਲਿੰਗ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰੋ।
• ਲੋਕਲ RAG (Chroma) ਜਾਂ ਇੱਕ ਲੋਕਲ MCP ਸਰਵਰ ਸ਼ਾਮਲ ਕਰੋ।
• ਹਾਈਬ੍ਰਿਡ ਲੋਕਲ/ਕਲਾਊਡ ਰੂਟਿੰਗ रणनीਤੀ ਡਿਜ਼ਾਇਨ ਕਰੋ।

ਮੁੱਖ ਮਾਨਸਿਕ ਮਾਡਲ

ਇੱਕ SLM ਗੋਪਨੀਯਤਾ, ਖ਼ਰਚ ਅਤੇ ਆਫਲਾਈਨ ਚਾਲੂਹਾਲ ਲਈ ਵਿਸ਼ਾਲਤਾ ਨੂੰ ਤਿਆਗਦਾ ਹੈ। ਜਿੱਤਦਾ ਰਣਨੀਤੀ: SLM ਨੂੰ ਅਧਿਨਯਤਰ ਬਣਾਓ ਅਤੇ ਟੂਲਜ਼ ਨੂੰ ਭਾਰੀ ਕੰਮ ਕਰਨ ਦਿਓ। ਮਾਡਲ ਨੂੰ ਕੋਡਬੇਸ ਜਾਣਨ ਦੀ ਲੋੜ ਨਹੀਂ — ਇਸ ਨੂੰ ਇਹ ਜਾਣਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਕਦੋਂ read_file ਅਤੇ search_docs ਨੂੰ ਕਾਲ ਕਰਨਾ ਹੈ। ਇਹ SLM ਦੀ ਮਜ਼ਬੂਤੀ ਨੂੰ ਖੇਡਦਾ ਹੈ (ਸੀਮਿਤ ਫੈਸਲੇ ਜਿਵੇਂ ਕਿ ਟੂਲ ਚੋਣ) ਅਤੇ ਇਸ ਦੀ ਕਮਜ਼ੋਰੀ ਤੋਂ ਦੂਰ ਰਹਿੰਦਾ ਹੈ (ਵਿਆਪਕ ਗਿਆਨ, ਲੰਮੀ ਕਈ ਕਦਮੀ ਤਰਕਸ਼ੀਲਤਾ)।

ਇਹ ਵਿਸ਼ੇਸ਼ ਹਿੱਸੇ ਕਿਉਂ

• Foundry Local ਇੱਕ OpenAI-ਅਨੁਕੂਲ HTTP ਐਂਡਪॉਇੰਟ ਨੂੰ ਬਾਹਰ ਲੈ ਕੇ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਕਲਾਊਡ ਏਜੰਟ ਕੋਡ ਸਿਰਫ base_url ਬਦਲ ਕੇ (ਅਤੇ ਇੱਕ ਸਥਾਨਕ ਨਮੂਨਾ API ਕੁੰਜੀ ਵਰਤ ਕੇ) ਟ੍ਰਾਂਸਫਰ ਹੁੰਦਾ ਹੈ। ਇਹ ਮਸ਼ੀਨ ਲਈ ਸਭ ਤੋਂ ਚੰਗਾ ਬਿਲਡ (CPU/GPU/NPU) ਆਪਣੇ ਆਪ ਚੁਣਦਾ ਹੈ।
• Qwen ਮਾਡਲ ਫੰਕਸ਼ਨ ਕਾਲਿੰਗ ਲਈ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਹਰ ਵਾਰ ਚੰਗੇ ਤਰੀਕੇ ਨਾਲ ਟੂਲ ਕਾਲਾਂ ਜਾਰੀ ਕਰਦੇ ਹਨ — ਇਹ ਸਥਾਨਕ ਚੈਟ ਮਾਡਲ ਨੂੰ ਸਥਾਨਕ ਏਜੰਟ ਬਣਾਉਂਦਾ ਹੈ।
• Chroma ਪ੍ਰੋਸੈਸ ਵਿੱਚ ਦੌੜਦਾ ਹੈ ਅਤੇ ਵੈਕਟਰਾਂ ਨੂੰ ਡਿਸਕ 'ਤੇ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਸਾਰੀ RAG ਪਾਈਪਲਾਈਨ (ਇੰਬੈਡ → ਸਟੋਰ → ਰੀਟਰੀਵ → ਤਰਕ) ਸਥਾਨਕ ਰਹਿੰਦੀ ਹੈ।
• MCP ਇੱਕ ਟ੍ਰਾਂਸਪੋਰਟ ਹੈ, ਬਦਲੇ ਵਿੱਚ ਕੋਈ ਕਲਾਉਡ ਸੇਵਾ ਨਹੀਂ: ਇੱਕ MCP ਸਰਵਰ ਨੂੰ ਸਥਾਨਕ ਤੌਰ ਤੇ stdio ਉੱਤੇ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।

ਸੈਟਅਪ ਜਰੂਰੀਆਂ

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

~8 GB RAM ਇੱਕ ਹਕੀਕੀ ਘੱਟੋ-ਘੱਟ ਹੈ; ਇੱਕ GPU/NPU ਮਦਦਗਾਰ ਹੈ ਪਰ ਲਾਜ਼ਮੀ ਨਹੀਂ।

ਮੁੱਖ ਪੈਟਰਨ ਜੋ ਦੁਹਰਾਏ ਜਾਣ

ਵਿਦਿਆਰਥੀ ਨੂੰ ਨੋਟਬੁੱਕ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰੋ 17-local-agent-foundry-local.ipynb:

• ਸੈਂਡਬੌਕਸਡ ਟੂਲਜ਼: ਹਰ ਫਾਇਲ ਟੂਲ ਰਾਹਾਂ ਨੂੰ ਸੈੱਟ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕੋ ਪ੍ਰੋਜੈਕਟ ਰੂਟ ਤੋਂ ਬਾਹਰ ਕੁਝ ਵੀ ਮਨਜ਼ੂਰ ਨਹੀਂ ਕਰਦਾ — ਇੱਥੇ ਤਕ ਕਿ ਸਥਾਨਕ ਤੌਰ ਤੇ ਵੀ, ਇੱਕ ਟੂਲ ਯੂਜ਼ਰ ਦੀਆਂ ਪਰਮਿਸ਼ਨਾਂ ਨਾਲ ਚੱਲਦਾ ਹੈ।
• ਟੂਲ-ਕਾਲਿੰਗ ਲੂਪ: OpenAI ਟੂਲਜ਼ ਸਕੀਮਾ ਨਾਲ ਟੂਲਜ਼ ਨੂੰ ਰਜਿਸਟਰ ਕਰੋ, ਮੰਗਿਆ ਟੂਲ ਸਥਾਨਕ ਤੌਰ ਤੇ ਚਲਾਓ, ਨਤੀਜੇ ਵਾਪਸ ਭੇਜੋ, ਆਖਰੀ ਜਵਾਬ ਤੱਕ ਦੁਹਰਾਓ।
• ਲੋਕਲ RAG: ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਇੱਕ Chroma ਕਲੇਕਸ਼ਨ ਵਿੱਚ ਅਪਸਰਟ ਕਰੋ; search_docs ਸਭ ਤੋਂ ਉੱਚੇ-K ਚੰਕਸ ਵਾਪਸ ਕਰਦਾ ਹੈ।
• ਲੋਕਲ MCP: ਸਥਾਨਕ ਸਰਵਰ ਨਾਲ stdio ਉੱਤੇ ਜੁੜੋ; ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਡਾਇਰੈਕਟਰੀ ਲਈ ਇਸਦਾ ਸਕੋਪ ਸੈੱਟ ਕਰੋ ਅਤੇ ਇਸਦੇ ਨਤੀਜਿਆਂ ਦੀ ਜਾਂਚ ਕਰੋ।

ਹਾਈਬ੍ਰਿਡ ਰੂਟਿੰਗ (ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਵਜੋਂ ਸਥਾਨਕ)

ਸਥਿਤੀ	ਇਸਦੀ ਚਲਣ ਵਾਲੀ ਥਾਂ
ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ / ਆਫਲਾਈਨ	ਸਥਾਨਕ SLM
ਸੌਖਾ, ਸੀਮਿਤ ਕੰਮ	ਸਥਾਨਕ SLM (ਸਸਤਾ, ਤੇਜ਼)
ਗੈਰ-ਸਨਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ‘ਤੇ ਮੁਸ਼ਕਲ ਮਲਟੀ-ਹੌਪ ਤਰਕ	ਕਲਾਉਡ ਮਾਡਲ
ਕਲਾਉਡ ਬੰਦ	ਸਥਾਨਕ SLM (ਸੁਕੂਨਦਾਇਕ ਢੰਗ ਨਾਲ ਘਟਾਓ)

ਇਹ ਮਾਡਲ-ਰੂਟਿੰਗ ਦਾ ਵਿਚਾਰ ਪਾਠ 16 ਤੋਂ ਮਿਲਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਵਰਕਸਟੇਸ਼ਨ ਇੱਕ ਰੂਟ ਵਜੋਂ ਹੈ। ਉਹ ਡਿਜ਼ਾਈਨਾਂ ਪਸੰਦ ਕਰੋ ਜੋ ਸਥਾਨਕ ਵੱਲ ਵਾਪਸ ਆਉਂਦੀਆਂ ਹਨ ਤਾਂ ਜੋ ਏਜੰਟ ਕੁਆਲਟੀ ਵਿੱਚ ਘਟਾਓ ਅਨੁਭਵ ਕਰੇ, ਸਿੱਧਾ ਨਾਕਾਮ ਨਾ ਹੋਵੇ।

ਸਹਾਇਕ ਲਈ ਗਾਰਡਰੇਲਜ਼

• ਹਰ ਫਾਇਲ/ਟੂਲ ਆਪਰੇਸ਼ਨ ਨੂੰ ਇੱਕ ਸੰਡਬੌਕਸਡ ਪ੍ਰੋਜੈਕਟ ਡਾਇਰੈਕਟਰੀ ਤੱਕ ਸੀਮਿਤ ਰੱਖੋ।
• ਜਦੋਂ ਵਿਦਿਆਰਥੀ ਦਾ ਘੋਸ਼ਿਤ ਟੀਚਾ ਪ੍ਰਾਈਵੇਸੀ/ਆਫਲਾਈਨ ਹੈ, ਤਾਂ ਕੋਡ ਜਾਂ ਡੇਟਾ ਕਲਾਉਡ ਵਿੱਚ ਨਾ ਭੇਜੋ — ਸਾਰਾ ਪਾਈਪਲਾਈਨ ਸਥਾਨਕ ਰੱਖੋ।
• SLM ਕੁਆਲਟੀ ਲਈ ਹਕੀਕੀ ਉਮੀਦਾਂ ਰੱਖੋ; ਮਾਡਲ ਦੀ ਯਾਦਸ਼ ਦਿਓਲਤ ਦੀ ਬਜਾਇ ਟੂਲਜ਼ ਅਤੇ RAG 'ਤੇ ਨਿਰਭਰ ਰਹੋ।
• ਧਿਆਨ ਕਰੋ ਕਿ ਪਾਠ 17 ਵਿੱਚ ਕੋਈ Foundry Responses ਐਂਡਪੌਇੰਟ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਕਲਾਉਡ ਸਮੋੱਕ-ਟੈਸਟ ਕਾਰਵਾਈ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੀ — ਨੋਟਬੁੱਕ ਨੂੰ ਸਥਾਨਕ ਤੌਰ ਤੇ ਚਲਾ ਕੇ ਵੈਰੀਫਾਈ ਕਰੋ।

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> ਅਸਵੀਕਾਰੋਪਣ: ਇਸ ਦਸਤਾਵੇਜ਼ ਦਾ ਅਨੁਵਾਦ ਏਆਈ ਅਨੁਵਾਦ ਸੇਵਾ Co-op Translator ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਤਾਵਾਂ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮੱਤਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜਰੂਰੀ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਇਸ ਅਨੁਵਾਦ ਦੇ ਉਪਯੋਗ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀਆਂ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀਆਂ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆਵਾਂ ਲਈ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹਾਂ। <!-- CO-OP TRANSLATOR DISCLAIMER END -->