local-ai-agents

ការបង្កើតភ្នាក់ងារបញ្ញាសិប្បនិម្មិតក្នុងស្រុកជាមួយ Foundry Local និង Qwen

ជំនាញជំរុញសម្រាប់ មេរៀនទី ១៧ – ការបង្កើតភ្នាក់ងារបញ្ញាសិប្បនិម្មិតក្នុងស្រុក។ ប្រើវាដើម្បីជួយអ្នករៀនបង្កើតភ្នាក់ងារដែលអាចនិយាយអនុវត្តន៍, ហៅឧបករណ៍, និងស្វែងរក ឯកសារបានលើម៉ាស៊ីនផ្ទាល់ខ្លួនរបស់ពួកគេ — គ្មានការសន្និដ្ឋានពពកទេ។ ទំនាក់ទំនង រាល់ការផ្ដល់អនុសាសន៍គឺស្ថិតនៅក្នុងមាតិការបង្រៀន និងសៀវភៅចម្លងដែលអាចដំណើរការ។

តំណើរការ

បើកបញ្ចំនេះគ្រូបង្រៀនពេលអ្នករៀនចង់:

• រត់ភ្នាក់ងារឲ្យ ជាប់នៅលើឧបករណ៍ទាំងស្រុង ដើម្បីការពារ​ភាពឯកជន, ចំណាយ, ឬហេតុផលអញ្ញើញខ្សែ
• បម្រើម៉ូឌែលនៅក្នុងស្រុកជាមួយ Foundry Local ហើយភ្ជាប់តាមអ្វីដែលផ្គូរផ្គងនឹង OpenAI។
• ប្រើម៉ូឌែល ហៅមុខងារ Qwen ដើម្បីបញ្ជូនការហៅឧបករណ៍ក្នុងស្រុកដែលមានភាពទុកចិត្ត។
• បន្ថែម RAG ក្នុងស្រុក (Chroma) ឬ ម៉ាស៊ីនបម្រើ MCP ក្នុងស្រុក។
• កំណត់យុទ្ធសាស្រ្ត ផ្សំរវាង ស្រុក និងពពក។

គំរូម៉េតាដ៏សំខាន់

SLM មួយប្តូរពហុភាពទៅជារឿងឯកជនភាព, ថ្លៃដូរ, និងប្រតិបត្តិការអញ្ញើញខ្សែ។យុទ្ធសាស្រ្តឈ្នះគឺ៖ **អនុញ្ញាតឲ្យ SLM អប់រំ និងឲ្យឧបករណ៍ធ្វើការលំបាក។**ម៉ូឌែលមិនចាំបាច់ត្រូវតែ ស្គាល់ មូលដ្ឋានកូដ — វាត្រូវតែស្គាល់ពេលហៅ read_file និង search_docs។នោះនៅផ្នែកកម្លាំងរបស់ SLM (សេចក្តីសម្រេចចិត្តមានដែនកំណត់ដូចជាការជ្រើសរើសឧបករណ៍) និងអោយវាចាកចេញពីចំណុចខ្សោយរបស់វា (ចំណេះដឹងទូលំទូលាយ, ការយល់ដឹងប្រសិនបើរំលងច្រើនជំហាន)។

ហេតុអ្វីបានជាផ្នែកទាំងនេះ

ដូចជាការជ្រើសរើសឧបករណ៍) ហើយឆ្ងាញ់ពីចំណុចខ្សោយរបស់វា (ចំណេះដឹងទូលំទូលាយ, ការត្រួតពិនិត្យការយល់ឃើញច្រើនជំហាន) reasoning)។

ហេតុអ្វីបានជាផ្នែកជាក់លាក់ទាំងនេះ

• Foundry Local បង្ហាញពី ច្រក HTTP ដែលសមរម្យនឹង OpenAI, ដូច្នេះកូដភ្នាក់ងារតាមពពកត្រូវផ្ទេរដោយការផ្លាស់ប្ដូរ តែ base_url ប៉ុណ្ណោះ (និងប្រើកូនសោ API ជំនួសក្នុងតំបន់)។ វាក៏ជ្រើសរើសសំណុំបង្កើតល្អបំផុត (CPU/GPU/NPU) សម្រាប់ម៉ាស៊ីនផងដែរ។
• ម៉ូដែល Qwen ត្រូវបានបណ្តុះបណ្តាលសម្រាប់ការហៅមុខងារ និងបញ្ចេញការហៅឧបករណ៍ដែលបានរៀបចំរួចសព្វថ្ងៃ — នេះគឺជាអ្វីដែលបម្លែងម៉ូដែល chat ក្នុងតំបន់ទៅជាភ្នាក់ងារផ្ទាល់។
• Chroma ប្រតិបត្តិការជាការផ្តល់ក្នុងដំណើរការនិងស្តុកវ៉ិចទ័រនៅលើឌីស, ដូច្នេះលំហូរ RAG ទាំងមូល (បញ្ចូល → ផ្ទុក → ស្ដារឡើងវិញ → ធ្វើហេតុផល) រក្សាទុកនៅក្នុងតំបន់។
• MCP គឺជាការដឹកជញ្ជូនមិនមែនជាសេវាកម្មពពកទេ៖ ម៉ាស៊ីនបម្រើ MCP អាចរត់ក្នុងតំបន់តាមរយៈ stdio។

ការតំឡើងគឺចាំបាច់

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

ជា​ចំនួនគិតជា ~8 GB RAM គឺជាចំនួនកម្រិតចាប់ផ្ដើមក្នុងការពិត; GPU/NPU ជួយបានប៉ុន្តែមិនចាំបាច់ទេ។

លំនាំសំខាន់ៗសម្រាប់ធ្វើឡើងម្ដងទៀត

សំទាញអ្នករៀនទៅកាន់សៀវភៅកំណត់ត្រា 17-local-agent-foundry-local.ipynb:

• ឧបករណ៍ដែលមានដែនកំណត់៖ រាល់ឧបករណ៍ឯកសារត្រូវដោះស្រាយផ្លូវ និងបដិសេធអ្វីដែលនៅក្រៅឫសគម្រោងតែមួយ — ទោះនៅក្នុងតំបន់, ឧបករណ៍ដំណើរការជាមួយសិទ្ធិយោងទៅតាមអ្នកប្រើប្រាស់។
• រង្វិលហៅឧបករណ៍៖ ចុះបញ្ជីឧបករណ៍ជាមួយស្កីម៉ាឧបករណ៍ OpenAI, បញ្ចូលឧបករណ៍ដែលត្រូវបានស្នើសុំពីក្នុងតំបន់, បញ្ចូលលទ្ធផលត្រឡប់វិញ, ម្តងទៀតរហូតដល់បានចម្លើយចុងក្រោយ។
• RAG ក្នុងតំបន់៖ បញ្ចូលឯកសារចូលក្នុងការប្រមូល Chroma; search_docs បង្ហាញកំណត់ត្រា top-k។
• MCP ក្នុងតំបន់៖ ជាប់ភ្ជាប់ទៅម៉ាស៊ីនបម្រើក្នុងតំបន់តាមរយៈ stdio; គ្នាប្រមូលគ្នាទៅក្នុងថតគម្រោង ហើយផ្ទៀងផ្ទាត់លទ្ធផលរបស់វា។

ការបញ្ជូនតាមរយៈម៉ូដែលចម្រុះ (តំបន់ជាម៉ូដែលមួយ)

ស្ថានភាព	កន្លែងវារត់
ទិន្នន័យសូវភាគ / អូហ្វឡាញ	SLM ក្នុងតំបន់
ការងារងាយស្រួល មានដែនកំណត់	SLM ក្នុងតំបន់ (ងាយស្រួល, លឿន)
ការគិតហាត់គុណជាច្រើនដំណើរការលំបាកលើទិន្នន័យមិនសូវភាគ	ម៉ូដែលពពក
បាត់បង់សេវាពពក	SLM ក្នុងតំបន់ (ធ្វើការត្រួតពិនិត្យអត់បទបញ្ហា)

នេះស្រដៀងនឹងគំនិតនៃការបែងចែកម៉ូដែលពីមេរៀនទី 16, ជាមួយនឹងកុំព្យូទ័រផ្ទះដោយជាម៉ាស៊ីនមួយ ក្នុងចំណោមផ្លូវ។ ចូលចិត្តរចនាបទដែលត្រូវតែត្រលប់ទៅតំបន់ ដូច្នេះភ្នាក់ងារនឹងបន្ថយគុណភាពជាងការបរាជ័យបែបច្បាស់។

• កុំផ្សាយកូដឬទិន្នន័យទៅពពកពេលគោលបំណងរបស់អ្នករៀនគឺសំរាប់ភាពឯកជន/អូហ្វឡាញ — ហូរកំណត់ទាំងបណ្ដោយនៅក្នុងតំបន់។
• កំណត់សមត្ថភាពចាំបាច់សម្រាប់គុណភាព SLM; ពឹងផ្អែកលើឧបករណ៍ និង RAG ជាងចំណេះដឹងដែលម៉ូដែលបានចងចាំ។
• សូមចំណាំថាមេរៀនទី 17 មិនមានច្រក Foundry Responses ទេ, ដូច្នេះសកម្មភាពសាកល្បងផ្ទុកពពកមិនអនុវត្ត — ធ្វើការផ្ទៀងផ្ទាត់ដោយរត់សៀវភៅកំណត់ត្រានៅក្នុងតំបន់។
• សូមចំណាំថា មេរៀនទី១៧ មិនមានចំណុចបញ្ចប់ Foundry Responses ទេ ដូច្នេះសកម្មភាពសាកល្បងដុំធូលីពពកមិនសមរម្យ — សូមធានាថា ដោយរក្សាសុវត្ថិភាពដោយរត់កំណត់ត្រាដៃក្នុងម្ចាស់ម៉ាស៊ីន។

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> ការបដិសេធ: ឯកសារនេះត្រូវបានបម្លែងភាសា ដោយប្រើសេវាបម្លែងភាសា AI Co-op Translator។ ទោះយើងខ្ញុំមានក្តីប្រាថ្នាឱ្យបានច្បាស់លាស់ តែសូមយល់ដឹងថាការបម្លែងដោយស្វ័យប្រវត្តិក៏អាចមានកំហុសឬភាពមិនត្រឹមត្រូវ។ ឯកសារដើមជាភាសាទីតាំងគួរត្រូវបានគេប្រើជាប្រភពច្បាស់លាស់។ សម្រាប់ព័ត៌មានសំខាន់ៗ សូមណែនាំឱ្យប្រើប្រាស់ការប្រែដោយមនុស្សជំនាញ។ យើងខ្ញុំមិនទទួលខុសត្រូវចំពោះការយល់ច្រឡំ ឬការបកស្រាយខុសបន្ទាប់ពីការប្រើប្រាស់ការបម្លែងនេះនោះទេ។ <!-- CO-OP TRANSLATOR DISCLAIMER END -->