local-ai-agents

Foundry Local と Qwen を使ったローカル AI エージェントの作成

Lesson 17 – Creating Local AI Agents の補助スキルです。 学習者がエージェントを構築する際に役立ててください。推論、ツール呼び出し、ドキュメント検索をすべて自身のマシン上で行います — クラウド推論は使いません。すべての推奨事項はレッスン内容と実行可能なノートブックに基づいています。

トリガー

学習者が以下を望むときにこのスキルを有効にします：

• プライバシー、コスト、オフラインを理由に<strong>完全にデバイス上</strong>でエージェントを動作させたい。
• Foundry Local でローカルにモデルを提供し、OpenAI互換エンドポイント経由で接続したい。
• <strong>Qwenの関数呼び出しモデル</strong>を使って信頼できるローカルのツール呼び出しを行いたい。
• ローカルRAG（Chroma）や<strong>ローカルMCPサーバー</strong>を追加したい。
• <strong>ハイブリッド</strong>なローカル／クラウドルーティング戦略を設計したい。

コアメンタルモデル

SLMはプライバシー、コスト、オフライン運用のために範囲の広さを犠牲にします。勝利の戦略は：SLMにオーケストレーションを任せ、ツールに重い作業をさせることです。 モデルはコードベースを<em>知らなくても</em>良い — いつread_fileやsearch_docsを呼び出すかを知っていれば十分です。これによりSLMの強み（ツール選択のような限定的な意思決定）を活かし、弱み（広範な知識、長いマルチホップ推論）から離れられます。

なぜこれらの要素を選ぶのか

• Foundry Local は OpenAI互換のHTTPエンドポイント を公開しているため、クラウド向けのエージェントコードはbase_urlを変え（かつローカルのプレースホルダーAPIキーを使う）だけで移行可能です。さらにマシンに最適なビルド（CPU/GPU/NPU）を自動選択します。
• <strong>Qwen</strong>モデルは関数呼び出しのために訓練されており、整形式のツール呼び出しを安定して出力します — これがローカルの<em>チャット</em>モデルをローカル<em>エージェント</em>に変えます。
• <strong>Chroma</strong>はプロセス内で動作しディスクにベクトルを格納するため、RAGパイプライン全体（埋め込み → 保存 → 検索 → 推論）がローカルに保たれます。
• <strong>MCP</strong>はクラウドサービスではなくトランスポートです：MCPサーバーはstdio上でローカルに動作可能です。

セットアップの必須事項

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

~8 GBのRAMが現実的な最低限です；GPU/NPUがあると便利ですが必須ではありません。

再現すべき主要パターン

学習者にノートブックを指し示します 17-local-agent-foundry-local.ipynb：

• <strong>サンドボックス化されたツール</strong>：全ファイルツールはパスを解決し、単一プロジェクトルート外を拒否します — ローカルであってもツールはユーザーの権限で動作します。
• <strong>ツール呼び出しループ</strong>：ツールをOpenAIツールスキーマに登録し、要求されたツールをローカル実行、結果をフィードバック、最終回答が出るまで繰り返します。
• ローカルRAG：ドキュメントをChromaコレクションにアップサートします；search_docsはトップkチャンクを返します。
• ローカルMCP：stdioを介してローカルサーバーに接続します；プロジェクトディレクトリにスコープし、出力を検証します。

ハイブリッドルーティング（ローカルがモデルの一つ）

状況	実行場所
機密データ / オフライン	ローカルSLM
単純で限定的なタスク	ローカルSLM（低コスト、高速）
非機密データで複雑なマルチホップ推論	クラウドモデル
クラウド障害時	ローカルSLM（グレースフルデグラデーション）

これはLesson 16のモデルルーティングの考えと対応し、ワークステーションをルートのひとつとしています。エージェントは完全失敗せず品質が落ちる程度に局所フォールバックする設計を推奨します。

アシスタント向けのガードレール

• すべてのファイル／ツール操作をサンドボックス化したプロジェクトディレクトリ内に限定してください。
• 学習者の目的がプライバシーやオフラインの場合、コードやデータをクラウドに送信しないでください — パイプライン全体をローカルに保ちます。
• SLMの品質に現実的な期待値を設定し、モデルの記憶知識よりツールとRAGに依存してください。
• Lesson 17には<strong>Foundry Responses</strong>のエンドポイントが<strong>ありません</strong>ので、クラウドスモークテストの操作は適用されません — ノートブックをローカルで実行して検証してください。

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> 免責事項： 本書類は AI 翻訳サービス Co-op Translator を使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確な部分が含まれる可能性があることをご承知おきください。原文の原語版が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や解釈違いについても、当方は責任を負いかねます。 <!-- CO-OP TRANSLATOR DISCLAIMER END -->