local-ai-agents

Foundry Local और Qwen के साथ लोकल AI एजेंट बनाना

Lesson 17 – Creating Local AI Agents के लिए सहायक कौशल। इसे उपयोगकर्ता को एक ऐसा एजेंट बनाने में मदद करने के लिए उपयोग करें जो स्वयं अपने मशीन पर तर्क करता है, टूल कॉल करता है, और दस्तावेज़ खोजता है — बिना किसी क्लाउड इंफेरेंस के। हर सिफारिश को पाठ के सामग्री और runnable नोटबुक में आधारित करें।

ट्रिगर्स

इस कौशल को तब सक्रिय करें जब कोई सीखने वाला चाहता है:

• कोई एजेंट पूरी तरह से उपकरण पर चलाना गोपनीयता, लागत, या ऑफ़लाइन कारणों से।
• Foundry Local के साथ स्थानीय रूप से एक मॉडल सेवा देना और OpenAI-अनुकूल अंत बिंदु के माध्यम से कनेक्ट करना।
• विश्वसनीय स्थानीय टूल कॉल करने के लिए Qwen फ़ंक्शन-कॉलिंग मॉडल का उपयोग करना।
• स्थानीय RAG (Chroma) या स्थानीय MCP सर्वर जोड़ना।
• हाइब्रिड स्थानीय/क्लाउड रूटिंग रणनीति डिजाइन करना।

मुख्य मानसिक मॉडल

एक SLM गोपनीयता, लागत, और ऑफलाइन संचालन के लिए व्यापकता का त्याग करता है। विजेता रणनीति: SLM को समन्वय करने दें और टूल्स को भारी कार्य करने दें। मॉडल को कोडबेस को जानने की ज़रूरत नहीं है — इसे सिर्फ पता होना चाहिए कि कब read_file और search_docs को कॉल करना है। यह SLM की ताकत (साधनों का चयन जैसे सीमित निर्णय) को बढ़ाता है और उसकी कमजोरी (व्यापक ज्ञान, लंबे बहु-चरण तर्क) से दूर रखता है।

क्यों ये विशिष्ट हिस्से

• Foundry Local एक OpenAI-अनुकूल HTTP एंडपॉइंट प्रदान करता है, इसलिए क्लाउड एजेंट कोड केवल base_url को बदलकर और स्थानीय प्लेसहोल्डर API कुंजी का उपयोग करके ट्रांसफर हो जाता है। यह मशीन के लिए सर्वश्रेष्ठ बिल्ड (CPU/GPU/NPU) को भी स्वचालित रूप से चुनता है।

• Qwen मॉडल फ़ंक्शन कॉलिंग के लिए प्रशिक्षित होते हैं और नियमित रूप से अच्छे फ़ॉर्मेट में टूल कॉल जारी करते हैं — यही स्थानीय चैट मॉडल को स्थानीय एजेंट में बदलता है।

• MCP एक ट्रांसपोर्ट है, क्लाउड सेवा नहीं: एक MCP सर्वर स्थानीय रूप से stdio के ऊपर चल सकता है।

सेटअप आवश्यकताएँ

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

सीखने वाले को नोटबुक दिखाएँ 17-local-agent-foundry-local.ipynb:

• सैंडबॉक्स्ड टूल्स: हर फाइल टूल पथों को हल करता है और केवल एक प्रोजेक्ट रूट के बाहर किसी भी चीज़ को अस्वीकार करता है — यहाँ तक कि स्थानीय रूप से भी, एक टूल उपयोगकर्ता की अनुमतियों के साथ चलता है।

• स्थानीय RAG: Chroma संग्रह में दस्तावेज़ डालें; search_docs शीर्ष-k टुकड़े लौटाता है।

• स्थानीय MCP: एक स्थानीय सर्वर से stdio के ऊपर कनेक्ट करें; इसे प्रोजेक्ट निर्देशिका तक सीमित करें और उसके आउटपुट को सत्यापित करें।

हाइब्रिड रूटिंग (मॉडलों में से एक के रूप में लोकल)

स्थिति	यह कहाँ चलता है
संवेदनशील डेटा / ऑफ़लाइन	लोकल SLM
साधारण, सीमित कार्य	लोकल SLM (सस्ता, तेज़)
गैर-संवेदनशील डेटा पर कठिन बहु-चरणीय तर्क	क्लाउड मॉडल
क्लाउड आउटेज	लोकल SLM (गुणवत्ता में क्रमिक कमी)

यह Lesson 16 से मॉडल-रूटिंग विचार को दर्शाता है, कार्यस्थल को रूट्स में से एक के रूप में रखता है। ऐसे डिज़ाइन पसंद करें जो स्थानीय विकल्प पर वापस जाएं ताकि एजेंट सीधे विफल होने के बजाय गुणवत्ता में गिरावट करे।

सहायक के लिए गार्डरेल्स

• जब सीखने वाले का घोषित लक्ष्य गोपनीयता/ऑफलाइन हो तो कोड या डेटा क्लाउड पर न भेजें — पूरी पाइपलाइन स्थानीय रखें।
• SLM गुणवत्ता के लिए यथार्थवादी अपेक्षाएँ सेट करें; मॉडल की यादृच्छिक जानकारी बजाय टूल और RAG पर भरोसा करें।
• ध्यान दें कि Lesson 17 में कोई Foundry Responses एंडपॉइंट नहीं है, इसलिए क्लाउड स्मोक-टेस्ट क्रिया लागू नहीं होती — नोटबुक को स्थानीय रूप से चलाकर मान्य करें।

सहायक के लिए गार्डरेल्स

• प्रत्येक फ़ाइल/टूल ऑपरेशन को सैंडबॉक्स किए गए प्रोजेक्ट डायरेक्टरी तक सीमित रखें।
• जब सीखने वाले का घोषित लक्ष्य गोपनीयता/ऑफ़लाइन हो तो कोड या डेटा क्लाउड को न भेजें — पूरा पाइपलाइन लोकल रखें।
• SLM गुणवत्ता के लिए वास्तविक अपेक्षाएँ सेट करें; मॉडल के याद किए गए ज्ञान की बजाय टूल्स और RAG पर भरोसा करें।
• ध्यान दें कि लेसन 17 में कोई Foundry Responses एंडपॉइंट नहीं है, इसलिए क्लाउड स्मोक-टेस्ट क्रिया लागू नहीं होती — नोटबुक को लोकली चलाकर सत्यापित करें।

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> अस्वीकरण: इस दस्तावेज़ का अनुवाद AI अनुवाद सेवा Co-op Translator का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में ही प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। <!-- CO-OP TRANSLATOR DISCLAIMER END -->