local-ai-agents

Foundry Local اور Qwen کے ساتھ مقامی AI ایجنٹس بنانا

سبق 17 – مقامی AI ایجنٹس بنانا کے لئے ہمراہ مہارت۔ اسے استعمال کریں تاکہ ایک سیکھنے والا ایک ایسا ایجنٹ بنا سکے جو سوچتا ہے، ٹولز کو کال کرتا ہے، اور دستاویزات کو مکمل طور پر اپنے ہی مشین پر تلاش کرتا ہے — کوئی کلاؤڈ انفرنس نہیں۔ ہر سفارش کو سبق کے مواد اور قابلِ چلانے نوٹ بک کے ساتھ منسلک کریں۔

محرکات

جب کوئی سیکھنے والا چاہتا ہے تو اس مہارت کو فعال کریں:

• ایک ایجنٹ کو مکمل طور پر ڈیوائس پر پرائیویسی، قیمت، یا آف لائن وجوہات کے لئے چلائیں۔
• Foundry Local کے ساتھ ماڈل کو مقامی طور پر فراہم کریں اور OpenAI-مطابقت پذیر اینڈپوائنٹ کے ذریعے کنیکٹ کریں۔
• قابلِ اعتماد مقامی ٹول کالز کے لئے Qwen فنکشن-کالنگ ماڈل استعمال کریں۔
• مقامی RAG (Chroma) یا مقامی MCP سرور شامل کریں۔
• ہائبرڈ مقامی/کلاؤڈ روٹنگ حکمت عملی ڈیزائن کریں۔

بنیادی ذہنی ماڈل

ایک SLM پرائیویسی، قیمت، اور آف لائن آپریشن کے لئے وسعت کو قربان کرتا ہے۔ فاتح حکمت عملی: ایس ایل ایم کو منظم کرنے دیں اور ٹولز کو بھاری کام کرنے کی اجازت دیں۔ ماڈل کو کوڈ بیس جاننے کی ضرورت نہیں — اسے یہ جاننا ہوتا ہے کہ کب read_file اور search_docs کو کال کرنا ہے۔ یہ SLM کی طاقت (محدود فیصلے جیسے ٹول انتخاب) کو بڑھاتا ہے اور اس کی کمزوری (وسیع علم، لمبی کثیر مرحلہ استدلال) سے ہٹاتا ہے۔

یہ مخصوص حصے کیوں؟

• Foundry Local ایک OpenAI-مطابق HTTP اینڈپوائنٹ فراہم کرتا ہے، لہٰذا کلاؤڈ ایجنٹ کوڈ صرف base_url کو تبدیل کرکے (اور مقامی Placeholder API کلید استعمال کرکے) منتقل ہو جاتا ہے۔ یہ خودبخود مشین کے لیے بہترین بلڈ (CPU/GPU/NPU) بھی منتخب کرتا ہے۔
• Qwen ماڈلز فنکشن کالنگ کے لیے تربیت یافتہ ہیں اور مسلسل خوبصورت ٹول کالز جاری کرتے ہیں — یہی چیز ایک مقامی چیٹ ماڈل کو ایک مقامی ایجنٹ میں تبدیل کرتی ہے۔
• Chroma پروسس میں چلتا ہے اور ویکٹرز کو ڈسک پر ذخیرہ کرتا ہے، لہٰذا پورا RAG پائپ لائن (ایمبیڈ → اسٹور → بازیافت → استدلال) مقامی رہتا ہے۔
• MCP ایک ٹرانسپورٹ ہے، کوئی کلاؤڈ سروس نہیں: ایک MCP سرور stdio پر مقامی طور پر چل سکتا ہے۔

سیٹ اپ کے لازمی نکات

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

تقریباً 8 جی بی ریم ایک حقیقی کم از کم ہے؛ GPU/NPU مدد دیتا ہے لیکن ضروری نہیں۔

نقل کرنے کے لیے کلیدی پیٹرنز

لرنر کو نوٹ بک کی سمت کریں 17-local-agent-foundry-local.ipynb:

• Sandboxed tools: ہر فائل ٹول راستے حل کرتا ہے اور کسی بھی چیز کو جو ایک پروجیکٹ روٹ سے باہر ہو مسترد کر دیتا ہے — یہاں تک کہ مقامی طور پر، ٹول صارف کی اجازتوں کے ساتھ چلتا ہے۔
• Tool-calling loop: OpenAI ٹولز اسکیمہ کے ساتھ ٹولز رجسٹر کریں، مقامی طور پر درکار ٹولز چلائیں، نتائج واپس کھلائیں، جب تک کہ حتمی جواب نہ مل جائے دہرائیں۔
• Local RAG: دستاویزات کو Chroma کلیکشن میں اپسرٹ کریں؛ search_docs ٹاپ-k ٹکڑے واپس کرتا ہے۔
• Local MCP: مقامی سرور سے stdio کے ذریعے جڑیں؛ اسے ایک پروجیکٹ ڈائریکٹری تک محدود کریں اور اس کے آؤٹ پٹ کی تصدیق کریں۔

ہائبرڈ روٹنگ (ماڈلز میں سے ایک کے طور پر مقامی)

صورتحال	کہاں چلتا ہے
حساس ڈیٹا / آف لائن	مقامی SLM
سادہ، محدود کام	مقامی SLM (سستا، تیز)
مشکل ملٹی-ہاپ استدلال غیر حساس ڈیٹا پر	کلاؤڈ ماڈل
کلاؤڈ کا بند ہونا	مقامی SLM (موزوں کمی)

یہ سبق 16 کے ماڈل روٹنگ خیال کی عکاسی کرتا ہے، جس میں ورک اسٹیشن روٹوں میں سے ایک ہے۔ ایسی ڈیزائنز کو ترجیح دیں جو مقامی پر واپس آ سکیں تاکہ ایجنٹ معیار میں کمی کرے نہ کہ مکمل ناکام ہو جائے۔

• جب لرنر کا واضح مقصد پرائیویسی/آف لائن ہو تو کوڈ یا ڈیٹا کلاؤڈ کو نہ بھیجیں — پورا پائپ لائن مقامی رکھیں۔
• SLM کے معیار کے لیے حقیقت پسندانہ توقعات قائم کریں؛ ماڈل کے یاد شدہ علم کی بجائے ٹولز اور RAG پر انحصار کریں۔
• نوٹ کریں کہ سبق 17 میں کوئی Foundry Responses اینڈپوائنٹ نہیں ہے، لہٰذا کلاؤڈ کی سموک ٹیسٹ کارروائی لاگو نہیں ہوتی — نوٹ بک کو مقامی طور پر چلا کر تصدیق کریں۔
• نوٹ کریں کہ سبق 17 میں کوئی Foundry Responses اینڈ پوائنٹ نہیں ہے، اس لیے کلاؤڈ سموک ٹیسٹ ایکشن لاگو نہیں ہوتا — نوٹ بک کو مقامی طور پر چلا کر تصدیق کریں۔

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> ڈس کلیمر: یہ دستاویز AI ترجمہ سروس Co-op Translator کے ذریعے ترجمہ کی گئی ہے۔ جبکہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم اس بات سے آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنے مادری زبان میں مستند ماخذ سمجھی جائے گی۔ حساس معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم قبول نہیں کرتے۔ <!-- CO-OP TRANSLATOR DISCLAIMER END -->