local-ai-agents

Foundry Local ഉം Qwen ഉം ഉപയോഗിച്ച് പ്രാദേശിക AI ഏജന്റുകൾ സൃഷ്ടിക്കൽ

Lesson 17 – Creating Local AI Agents എന്നതിനുള്ള സഹായി കഴിവ്. പഠിതാവിന് താനാക്കിയുള്ള യന്ത്രത്തിലൂടെ പൂർണ്ണമായി സ്വയം വിചാരിക്കുന്ന, ഉപകരണങ്ങൾ വിളിക്കുന്ന, ഡോക്യുമെന്റേഷൻ തിരയുന്ന ഏജന്റിനെ നിർമ്മിക്കുന്നതിന് സഹായത്തിനായി ഇത് ഉപയോഗിക്കുക — ക്ലൗഡ് ഇൻഫെറൻസ് ഇല്ലാതെ. ഓരോ ശുപാർശയും പാഠഭാഗവും പ്രവർത്തനയോഗ്യമായ നോട്ട്‌ബുക്ക് ഉൾപ്പെടെ അടിസ്ഥാനമാക്കുക.

ട്രിഗറുകൾ

ഒരു പഠിതാവ് താഴെ പറയുന്ന കാര്യങ്ങൾ ചൊവ്വഴിക്കുമ്പോൾ ഈ കഴിവ് പ്രവർത്തിപ്പിക്കുക:

• സ്വകാര്യത, ചെലവ്, അല്ലെങ്കില്‍ ഓഫ്ലൈന് പ്രവര്‍ത്തനക്കാര്‍ണമാകാം ചെയ്യുന്ന ഒരു ഏജൻറ് പൂർണ്ണമായും ഉപകരണത്തിൽ പ്രവർത്തിപ്പിക്കുക.
• Foundry Local ഉപയോഗിച്ച് ഒരു മോഡൽ പ്രാദേശികമായി സർവ്വ് ചെയ്ത് OpenAI-ഉം സാമ്യം പുലർത്തുന്ന എൻഡ്പോയിന്റിലൂടെ കണക്റ്റ് ചെയ്യുക.
• വിശ്വസനീയമായ പ്രാദേശിക ടൂൾ വിളിപ്പിന് Qwen ഫങ്ഷൻ-കോളിംഗ് മോഡൽ ഉപയോഗിക്കുക.
• പ്രാദേശിക RAG (Chroma) അല്ലെങ്കിൽ പ്രാദേശിക MCP സർവർ ചേർക്കുക.
• ഹൈബ്രിഡ് പ്രാദേശിക/ക്ലൗഡ് റൂട്ടിങ് തന്ത്രം രൂപകൽപ്പന ചെയ്യുക.

പ്രധാന മാനസിക മോഡൽ

ഒരു SLM സ്വകാര്യത, ചെലവ്, ഓഫ്ലൈന് പ്രവര്‍ത്തനം എന്നിവയ്ക്ക് വ്യാപാരസ്ഥലം വഹിക്കുന്നു. വിജയകരമായ തന്ത്രം: SLM ഘടകങ്ങളെ നിയന്ത്രിച്ചുകൊണ്ട് ഉപകരണങ്ങൾ ഭാരവാഹിത്വം ഏറ്റെടുക്കാൻ അനുവദിക്കുക. മോഡലിന് കുറേക്കൂടി കോഡ് പരിശോധിക്കേണ്ടതില്ല — പരീക്ഷിക്കേണ്ടത് 언제 വിളിക്കണമെന്ന് മാത്രമാണ് read_file અને search_docs. ഇത് SLM-ന്റെ ശക്തിയാണെന്ന് കാണിക്കുന്നു (ഉപകരണ തിരഞ്ഞെടുപ്പ് പോലെയുള്ള നിയന്ത്രിത തീരുമാനങ്ങൾ) അത്രയും പരിചയസമ്പത്തുള്ളതാണ് (വ്യാപകമായ അറിവ്, ദീർഘകാല ബഹു-ഹോപ്പ് ചിന്തനം ഇല്ല).

ഈ പ്രത്യേക ഘടകങ്ങൾ എങ്കിൽ

• Foundry Local ഒരു OpenAI-സാമ്യമുള്ള HTTP എൻഡ്പോയിന്റ് കാണിക്കുന്നു, ക്ലൗഡ് ഏജന്റ് കോഡ് സാന്ദ്രമായി മാറ്റാൻ എളുപ്പമാണ് base_url മാത്രം മാറ്റുകയോ പ്രാദേശിക പ്ലേസ്ഹോൾഡർ API കീ ഉപയോഗിക്കുകയോ ചെയ്യുക. ഇത് ഉപകരണത്തിന് ഏറ്റവും നല്ല ബിൽഡ് (CPU/GPU/NPU) സ്വയം തിരഞ്ഞെടുക്കുന്നു.
• Qwen മോഡലുകൾ ഫങ്ഷൻ കോളിംഗ് പരിശീലിപ്പിച്ചവയാണ്, സ്ഥിരതയുള്ള ടൂൾ കോൾസ് പുറപ്പെടുവിക്കുന്നു — ഇത് പ്രാദേശിക ചാറ്റ് മോഡൽ പ്രാദേശിക ഏജന്റായി മാറ്റുന്നു.
• Chroma പ്രോസസ്സിനുള്ളിൽ പ്രവർത്തിക്കുന്നു, വീക്ടറുകൾ ഡിസ്കിൽ സംഭരിക്കുന്നു, അതിനാൽ മുഴുവൻ RAG പൈപ്പ്‌ലൈൻ (എമ്പെഡ് → സൂക്ഷിക്കുക → തിരിച്ചെടുക്കുക → വിചാരിക്കുക) പ്രാദേശികമായിരിക്കും.
• MCP ഒരു ട്രാൻസ്പോർട്ടാണ്, ക്ലൗഡ് സേവനം അല്ല: MCP സർവർ പ്രാദേശികമായി stdio വഴി പ്രവർത്തിക്കാം.

ഘടനാപരമായ ആവശ്യങ്ങൾ

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

~8 GB RAM യഥാർത്ഥകൃത്യമായ കുറഞ്ഞ ആവശ്യമാണ്; GPU/NPU സഹായകമാണ്, പക്ഷേ ആവശ്യകമല്ല.

പുനരാവൃതിക്കാനുള്ള മുഖ്യ മാതൃകകൾ

പഠിതാവിനെ നോട്ട്‌ബുക്കിലേക്ക് നയിക്കുക 17-local-agent-foundry-local.ipynb:

• സാൻഡ്‌ബോക്സ് ചെയ്ത ഉപകരണങ്ങൾ: ഓരോ ഫയൽ ഉപകരണവും പാതകൾ പ്രക്രിയപ്പെടുത്തി, ഒരൊറ്റ പ്രോജക്റ്റ് റൂട്ട് ഒഴികെയുള്ള എല്ലാം നിരസിക്കുന്നു — പ്രാദേശികമായാലും ഉപകരണം ഉപയോക്താവിന്റെ അനുമതികളോടെ പ്രവർത്തിക്കുന്നു.
• ഉപകരണ വിളി ലൂപ്പ്: OpenAI ഉപകരണം സ്‌കീമയിൽ ഉപകരണങ്ങൾ രജിസ്റ്റർ ചെയ്ത്, ആവശ്യപ്പെട്ട ഉപകരണങ്ങൾ പ്രാദേശികമായി നിർവ്വഹിച്ച് ഫലം തിരിച്ചെത്തിച്ച് ചുരുക്കം പരിഹരിവരെ ആവർത്തിക്കുക.
• പ്രാദേശിക RAG: ഡോക്യുമെന്റുകൾ ഒരു Chroma ശേഖരത്തിൽ അപ്സർട്ട് ചെയ്യുക; search_docs ഉന്നത- കെ ഭാഗങ്ങൾ തിരികെ നൽകുന്നു.
• പ്രാദേശിക MCP: പ്രാദേശിക സერვറിനെ stdio മുഖാന്തിരം കണക്റ്റ് ചെയ്യുക; പ്രോജക്റ്റ് ഡയറക്ടറിയിലേക്ക് പരിധിയിടുക, ഫലങ്ങൾ പരിശോധിക്കുക.

ഹൈബ്രിഡ് റൂട്ടിങ് (പ്രാദേശികം മോഡലുകളിൽ ഒറ്റമായി)

സ്ഥിതി	ആത്ര പ്രവർത്തിക്കുന്നു
സാമ്പത്തിക വിവരങ്ങൾ / ഓഫ്ലൈൻ	പ്രാദേശിക SLM
ലളിതവും നിയന്ത്രിതവും ആയ ജോലി	പ്രാദേശിക SLM (ചെലവുകുറഞ്ഞ, വേഗം)
അസംവേദനാത്മക വിവരങ്ങളിൽ ദീർഘബാഹുവായ ചിന്തനം	ക്ലൗഡ് മോഡൽ
ക്ലൗഡ് പണിമുടക്ക്	പ്രാദേശിക SLM (സൗമ്യമായ ക്ഷയം)

ഇത് പാഠം 16 ലെ മോഡൽ റൂട്ടിങ് ആശയം പ്രതിഫലിപ്പിക്കുന്നു, പണിയിടം ഒരു മാർഗമാക്കിയാണ്. ഏജന്റ് വിജയത്തോടെ പ്രവൃത്തിക്കാൻ പ്രാദേശികത്തിലേക്ക് തിരിയുന്ന രൂപകൽപ്പനകൾ നൽക്കം.

നിലവാരം ഇടിഞ്ഞുപോകുന്നതിന് പകരം ഒരു ഏജന്റ് പൂർണ്ണമായി പരാജയപ്പെടാതെ പ്രാദേശികത്തിലേക്ക് തിരിച്ചുപോകാൻ മുൻ‌ഗണനയുള്ള രൂപകൽപ്പനകൾ നല്കുക.

സഹായി പ്രവർത്തനത്തിനുള്ള ഗാർഡ്രയിലുകൾ

• എല്ലാ ഫയൽ/ഉപകരണം പ്രവൃത്തികളും സാൻഡ്‌ബോക്സ് പ്രോജക്റ്റ് ഡയറക്ടറിയിലേക്ക് പരിധിയിടുക.
• പഠിതാവിന്റെ ലക്ഷ്യം സ്വകാര്യത/ഓഫ്ലൈൻ ആയാൽ കോഡോ ഡാറ്റയും ക്ലൗഡിലേക്ക് അയക്കേണ്ടതാണ് — പൈപ്പ്‌ലൈൻ മുഴുവൻ പ്രാദേശികമാക്കുക.
• SLM നിലവാരത്തിനുള്ള യാഥാർത്ഥ്യ പ്രതീക്ഷകൾ സജ്ജമാക്കുക; മോഡലിന്റെ ഓർമ്മപ്പെടുത്തൽ അറിവിലേക്കായി വൈസ് ടൂളുകളും RAG-ഉം ആശ്രയിക്കുക.
• പാഠം 17-ൽ Foundry Responses എൻഡ്പോയ്റ്റ് ഇല്ല, അതുകൊണ്ട് ക്ലൗഡ് സ്മോക്ക്-ടെസ്റ്റ് പ്രവർത്തനങ്ങൾ ബാധകമല്ല — നോട്ട്‌ബുക്ക് പ്രാദേശികമായി പ്രവർത്തിപ്പിച്ച് പരിശോധിക്കുക.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> അറിയിപ്പ്: ഈ രേഖ AI പരിഭാഷാ സേവനം Co-op Translator ഉപയോഗിച്ച് പരിഭാഷപ്പെടുത്തിയതാണ്. ഞങ്ങൾ കൃത്യതയ്ക്കായി ശ്രമിക്കുന്നുവെങ്കിലും, ഓട്ടോമേറ്റഡ് പരിഭാഷകളിൽ പിഴവുകൾ അല്ലെങ്കിൽ തെറ്റായ വിവരങ്ങൾ ഉണ്ടാകാൻ സാധ്യതയുണ്ട്. അതിന്റെ സ്വാഭാവിക ഭാഷയിലുള്ള അസൽ രേഖയാണ് പ്രാമാണികമായ ഉറവിടമായി പരിഗണിക്കേണ്ടത്. നിർണായകമായ വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ പരിഭാഷ ശുപാർശ ചെയ്യുന്നു. ഈ പരിഭാഷ ഉപയോഗിച്ച് ഉണ്ടാകുന്ന തെറ്റിദ്ധാരണകൾ അല്ലെങ്കിൽ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കായി ഞങ്ങൾ ഉത്തരവാദികളല്ല. <!-- CO-OP TRANSLATOR DISCLAIMER END -->