local-ai-agents

Создание локальных AI-агентов с Foundry Local и Qwen

Сопроводительное умение для Урока 17 – Создание локальных AI-агентов. Используйте его, чтобы помочь ученику построить агента, который самостоятельно рассуждает, вызывает инструменты и ищет документацию полностью на своей машине — без облачных вычислений. Основывайте каждое предложение на содержании урока и запускаемой тетради.

Триггеры

Активируйте это умение, когда ученик хочет:

• Запустить агента полностью на устройстве ради конфиденциальности, экономии или офлайн-режима.
• Обслуживать модель локально с помощью Foundry Local и подключаться через OpenAI-совместимый эндпоинт.
• Использовать модель с функциональным вызовом Qwen для надежных локальных вызовов инструментов.
• Добавить локальный RAG (Chroma) или локальный MCP сервер.
• Разработать гибридную стратегию маршрутизации локально/в облаке.

Основная ментальная модель

SLM жертвует охватом ради конфиденциальности, экономии и офлайн-работы. Победная стратегия: дать SLM управлять и позволить инструментам выполнять тяжелую работу. Модели не нужно знать кодовую базу — ей нужно знать, когда вызывать read_file и search_docs. Это играет на сильных сторонах SLM (ограниченные решения, такие как выбор инструмента) и избегает слабостей (широкие знания, длинные многошаговые рассуждения).

Почему именно эти компоненты

• Foundry Local предоставляет OpenAI-совместимый HTTP эндпоинт, так что код облачного агента переносится изменением только base_url (и использованием локального фиктивного API ключа). Также автоматически выбирает лучшую сборку (CPU/GPU/NPU) для машины.
• Модели Qwen обучены для функциональных вызовов и стабильно генерируют корректные вызовы инструментов — это то, что превращает локальную чат-модель в локального агента.
• Chroma работает в том же процессе и хранит векторы на диске, поэтому весь конвейер RAG (встраивание → сохранение → извлечение → рассуждение) остаётся локальным.
• MCP — это транспорт, а не облачная служба: MCP сервер может работать локально через stdio.

Основные требования к настройке

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # локальный заполнитель

~8 ГБ ОЗУ — реалистичный минимум; GPU/NPU помогает, но не обязателен.

Основные паттерны для воспроизведения

Направьте ученика на тетрадь 17-local-agent-foundry-local.ipynb:

• Изолированные инструменты: каждый файловый инструмент разрешает пути и отклоняет всё за пределами одной корневой папки проекта — даже локально инструмент работает с разрешениями пользователя.
• Цикл вызова инструментов: зарегистрировать инструменты с схемой OpenAI, выполнять запрошенные инструменты локально, возвращать результаты, повторять до получения окончательного ответа.
• Локальный RAG: добавлять документы в коллекцию Chroma; search_docs возвращает топ-k фрагментов.
• Локальный MCP: подключаться к локальному серверу через stdio; ограничивать область действия проектной директорией и проверять его вывод.

Гибридная маршрутизация (локальный как одна из моделей)

Ситуация	Где выполняется
Конфиденциальные данные / офлайн	Локальный SLM
Простая, ограниченная задача	Локальный SLM (дешево, быстро)
Сложное многошаговое рассуждение над неконфиденциальными данными	Облачная модель
Сбой облака	Локальный SLM (плавное ухудшение)

Это отражает идею маршрутизации моделей из Урока 16, с рабочей станцией как одним из маршрутов. Предпочитайте конструкции, которые могут перейти к локальному варианту, чтобы агент деградировал в качестве, а не полностью выходил из строя.

Ограничения для помощника

• Каждый файловый/инструментальный вызов ограничивать изолированной проектной директорией.
• Не отправлять код или данные в облако, если целью ученика является конфиденциальность/офлайн — весь конвейер должен оставаться локальным.
• Устанавливать реалистичные ожидания по качеству SLM; опираться на инструменты и RAG, а не на запомненные моделью знания.
• Обратите внимание, что в Уроке 17 нет эндпоинта Foundry Responses, поэтому действие облачного smoke-теста не применяется — проверяйте, запуская тетрадь локально.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> Отказ от ответственности: Этот документ был переведен с использованием сервиса машинного перевода Co-op Translator. Несмотря на наши усилия по обеспечению точности, имейте в виду, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования этого перевода. <!-- CO-OP TRANSLATOR DISCLAIMER END -->