local-ai-agents

Foundry Local மற்றும் Qwen கொண்டு உள்ளூர் AI முகவரிகளை உருவாக்குதல்

பாடம் 17 – உள்ளூர் AI முகவரிகள் உருவாக்குதல் க்கான துணை திறன். இதைப் பயன்படுத்தி ஒரு கற்றுக்கொள்ளுபவர் reasoning செய்யும், கருவிகளை அழைக்கும் மற்றும் தேடும் ஆவணங்களை தங்களின் சொந்த கணினியில் முழுமையாக செய்யக்கூடிய முகவரியை உருவாக்க உதவுங்கள் — மேகத்தில் inferencing இல்லை. ஒவ்வொரு பரிந்துரையையும் பாட உள்ளடக்கம் மற்றும் இயங்கக்கூடிய நோட்புக் அடிப்படையில் அமைக்கவும்.

தூண்டும் நிகழ்வுகள்

கற்றுக்கொள்ளுபவர்கள் கீழ்க்கண்டவற்றை விரும்பும் போது இந்த திறனை இயக்கவும்:

• தனியுரிமை, செலவு அல்லது ஆஃப்லைன் காரணங்களுக்காக முகவரியை முழுமையாக சாதனத்தில் இயக்க வேண்டும்.
• Foundry Local உடன் உள்ளூர் மாதிரியை சேவை செய்வதற்கு மற்றும் OpenAI பொருத்தமான முடிவென்னுள் இணைக்கவும்.
• நம்பகமான உள்ளூர் கருவி அழைப்புகளை இயக்க Qwen function-calling மாதிரியைப் பயன்படுத்தவும்.
• உள்ளூர் RAG (Chroma) அல்லது உள்ளூர் MCP சேவையகத்தைச் சேர்க்கவும்.
• இடையே/மேகம் குறுக்கீட்டு வினியோகம் திட்டத்தை வடிவமைக்கவும்.

உள்ளது மூளைக்கட்டமைப்பு

SLM தனியுரிமை, செலவு மற்றும் ஆஃப்லைன் செயல்பாட்டிற்கு பரப்பளவை மாற்றுகிறது. வெற்றிகரமான திட்டம்: SLM ஐ ஒழுங்கமைக்கவும் மற்றும் கருவிகளுக்கு கடுமையான பணிகளை செய்ய தள்ளவும். மாதிரி கோட்பாட்டை அறிந்து கொள்வதற்குத் தேவையில்லை — அது எப்போது read_file மற்றும் search_docs அழைக்க வேண்டும் என்பதையே தெரிந்திருக்க வேண்டும். அது SLM இன் பலம் (கருவி தேர்வு போன்ற வரையறுக்கப்பட்ட முடிவுகள்) மற்றும் பலவீனம் (பரப்பளவு அறிவு, நீண்ட பல போட்டிகளில் reasoning) இல் இருந்து விலகுவதைக் காட்டுகிறது.

ஏன் இந்த குறிப்பிட்ட பகுதிகள்

• Foundry Local ஒரு OpenAI-உடன் இணக்கமான HTTP முடிவுந் தொடுப்பு வழங்குகிறது, ஆகையால் மேக முகவர் குறியீட்டை மாற்றுவது என்பது வெறும் base_url (மற்றும் ஒரு உள்ளூர் இடைமுக API விசையைப் பயன்படுத்துவது) மாத்திரமே ஆகும். இது இயந்திரத்திற்கான சிறந்த கட்டுமானத்தை (CPU/GPU/NPU) தானாகத் தேர்ந்தெடுக்கவும் செய்கிறது.
• Qwen மாதிரிகள் செயல்பாடு அழைக்கும் விதமாக பயிற்றப்பட்டுள்ளன மற்றும் நன்கு கட்டமைக்கப்பட்ட கருவி அழைப்புகளை தொடர்ச்சியாக வெளியிடுகின்றன — இது உள்ளூர் அரட்டைக் மாதிரியை உள்ளூர் முகவராக மாற்றுகிறது.
• Chroma செயல்முறையிலேயே இயங்குகிறது மற்றும் வெக்டர்கள் டிஸ்க்கில் சேமிக்கப்படுகின்றன, ஆகையால் முழு RAG நெடுப்புரை (உள்ளமை → சேமி → மீட்டெடு → காரணமா) உள்ளூரிலேயே இருந்து குறையாது.
• MCP ஒரு பரிமாற்றம், மேக சேவையில்லை: MCP சேவையகம் உள்ளூர் முறையில் stdio மூலம் இயங்கிவிடலாம்.

அமைப்பிற்கான அவசியங்கள்

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

சுமார் 8 GB RAM என்பது யதார்த்தமான குறைந்தபட்சம்; GPU/NPU உதவுகிறது ஆனால் தேவையில்லை.

பின்பற்ற வேண்டிய முக்கிய மாதிரிகள்

அறிந்துபவரை நோட்புக் நோக்கி குறிக்கவும் 17-local-agent-foundry-local.ipynb:

• தனிமைப்படுத்தப்பட்ட கருவிகள்: ஒவ்வொரு கோப்பு கருவியும் பாதைகளை தீர்மானித்து, ஒரே திட்ட வேர் அடைவைத் தாண்டும் எதையும் நிராகரிக்கிறது — உள்ளூரிலும் கருவி பயனர் அனுமதிகளுடன் இயங்கும்.
• கருவி-அழைப்பு வட்டாரம்: OpenAI கருவி திட்டத்துடன் கருவிகளை பதிவு செய்து, தேவையான கருவிகளை உள்ளூரா இயக்கி, பெறப்பட்ட முடிவுகளை மீண்டும் ஊட்டிக் கொண்டு, இறுதி பதிலுக்கு வரும்வரை மீண்டும் செயற்படுத்தவும்.
• உள்ளூர் RAG: Chroma தொகுப்பில் ஆவணங்களை புதுப்பிக்கவும்; search_docs சிறந்த-k துண்டுகளை வழங்குகிறது.
• உள்ளூர் MCP: உள்ளூர் சேவையகத்துடன் stdio மூலம் இணைகவும்; இதை ஒரு திட்ட அடைவுக்கு வரையறுக்கவும் அதன் வெளியீடுகளை சரிபார்க்கவும்.

கலந்த இயக்கம் (உள்ளூர் ஒரு மாதிரியாக)

நிலைமை	எங்கு இயங்குகிறது
உணர்ச்சிவாய்ந்த தரவு / ஆஃப்லைன்	உள்ளூர் SLM
எளிய, வரையறுக்கப்பட்ட பணிகள்	உள்ளூர் SLM (சலுகை, விரைவு)
கடினமான பல-மடங்கு காரணமறிதல் உணர்வற்ற தரவுகளின் மீது	மேக மாதிரி
மேக செயல் தடை	உள்ளூர் SLM (மென்மையான தாழ்வு)

இது பாடம் 16இல் இருந்த மாதிரி இயக்கல் யோசனையை பிரதிபலிக்கிறது, அங்கே வேலைநிறுவனத்தை ஒரு பாதையாக வைத்து உள்ளது. உள்ளூர் வழியிலேயே திரும்பும் வடிவமைப்புகளை முன்னுரிமை அளிக்கவும், ஆகையால் முகவர் முழுமையாக தோல்வியடையாமல் தரத்தில் குறைவாக செயல்படும்.

• பயிற்பவரின் குறிக்கோள் தனியுரிமை/ஆஃப்லைனாக இருப்பதாக கூறப்பட்டால், குறியீடு அல்லது தரவு மேகத்துக்கு அனுப்ப வேண்டாம் — முழு நடைமுறையும் உள்ளூரிலேயே இருங்கள்.
• SLM தரத்திற்கான வাস্তவமான எதிர்பார்ப்புகளை அமைக்கவும்; மாதிரி நினைவில் வைத்த அறிவிற்காகவல்ல, கருவிகள் மற்றும் RAG இல் சாரவும்.
• பாடம் 17க்கு Foundry Responses முடிவுந் தொடுப்பு இல்லை என்பதை கவனிக்கவும், ஆகையால் மேக புகை-சோதனை செயல் பொருந்தாது — நோட்புக் உள்ளூரில் ஓட்டுவதன் மூலம் சரிபார்க்கவும்.
• பாடம் 17 க்கு Foundry Responses என்ட்பாயிண்ட் இல்லை என்பதை கவனிக்கவும், ஆகவே கிளவுட் ஸ்மோக்-டெஸ்ட் செயல்பாடு பொருந்துவதில்லை — நோட்புக் உள்ளகமாக இயக்கி சரிபார்க்கவும்.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> மறுப்பு: இந்த ஆவணம் AI மொழிபெயர்ப்பு சேவை Co-op Translator பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சி செய்துள்ளோம், ஆனால் தானாக செய்யப்படும் மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கலாம் என்பதை கவனத்தில் கொள்ளவும். அசல் ஆவணம் அதன் தாய்மொழியில் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்நுட்பமான மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கத்திற்கும் நாங்கள் பொறுப்பில்வில்லை. <!-- CO-OP TRANSLATOR DISCLAIMER END -->