Локальні моделі зручні тим, що після першого завантаження їх можна використовувати будь-де — інтернет більше не потрібен. Усе, з чим ви працюєте, залишається на вашому пристрої, і жоден «великий брат» не бачить ваші дані чи запити. Відповіді надходять без затримок, зазвичай пов’язаних із хмарними сервісами, а витрати на обчислення зводяться лише до спожитої електроенергії, оскільки все виконується на вашому обладнанні.
Моделі адаптуються під пристрій: Foundry Local обирає оптимальну версію для CPU, GPU або NPU, забезпечуючи максимальну швидкість та ефективність.
🛠 Foundry Local
Foundry Local від Microsoft спрощує запуск локальних моделей.
Частина завдань ШІ виконується локально, частина — у хмарі, коли це зручно.
Використовувати Foundry Local можна через:
- CLI — прості команди в терміналі або PowerShell
- SDK — знайомі бібліотеки, включаючи REST API сумісний з OpenAI
- Visual Studio Code AI Toolkit — моделі безпосередньо в IDE
Каталог моделей містить варіанти, оптимізовані для локальної роботи. Якщо модель вже завантажена, вона запускається миттєво з кешу. Локальна служба приймає запити як веб-сервіс, що дозволяє викликати моделі зі скриптів або інтегрувати їх у власні інструменти.
⚙️ Вимоги до системи
- Операційна система: Windows 10/11 (x64/ARM), Windows Server 2025 або macOS
- Пам’ять і диск: мінімум 8 ГБ RAM і 3 ГБ вільного місця (рекомендовано 16 ГБ / 15 ГБ)
- Мережа: інтернет потрібен лише для першого завантаження моделі
- Прискорення (опційно): NVIDIA (серії 2000+), AMD (6000+), Intel iGPU, Qualcomm Snapdragon X Elite, Apple Silicon
- Права адміністратора: необхідні для встановлення
💾 Встановлення Foundry Local
1. Через CLI
Windows:
winget install Microsoft.FoundryLocal --scope machine
Якщо встановлення не вдалося — завантажте файл .msix та залежності й встановіть через PowerShell з правами адміністратора.
macOS: використовуйте інструкції з офіційної документації.
2. Завантаження інсталятора
Знайдіть останню версію в репозиторії Foundry Local на GitHub та встановіть вручну.
Після встановлення перевірте довідку:
foundry help
🚀 Перший запуск моделі
- У терміналі запустіть модель (наприклад,
phi-3.5-mini). - Під час першого запуску вона завантажиться локально (кілька хвилин).
- Наступні запити використовуватимуть кеш.
Приклад:
foundry model run phi-3.5-mini
Для запуску GPT-OSS-20B:
foundry model run gpt-oss-20b
⚠ Потрібна NVIDIA GPU 16 ГБ+ VRAM та Foundry Local 0.6.87+.
Перевірити версію:
foundry --version
🖥 Foundry Local CLI — Довідник
Інтерфейс командного рядка (CLI) Foundry Local призначений для керування моделями, сервісом та локальним кешем.
🔎 Огляд
Щоб побачити всі доступні команди:
foundry --help
Категорії команд:
- Model — керування та запуск моделей
- Service — керування сервісом Foundry Local
- Cache — робота з кешем
📦 Команди для моделей
| Команда | Опис |
|---|---|
foundry model --help | Довідка по командах для моделей. |
foundry model run <model> | Запустити модель (завантажить за потреби). |
foundry model list | Список доступних моделей. |
foundry model info <model> | Детальна інформація про модель. |
foundry model download <model> | Завантажити модель у кеш без запуску. |
foundry model load <model> | Завантажити модель у сервіс. |
foundry model unload <model> | Вивантажити модель зі сервісу. |
⚙️ Команди сервісу
| Команда | Опис |
|---|---|
foundry service --help | Довідка по сервісу. |
foundry service start | Запуск сервісу. |
foundry service stop | Зупинка сервісу. |
foundry service restart | Перезапуск сервісу. |
foundry service status | Перевірка статусу сервісу. |
foundry service ps | Список завантажених моделей. |
foundry service logs | Перегляд логів сервісу. |
foundry service set <options> | Налаштування (наприклад, GPU). |
🗂 Команди кешу
| Команда | Опис |
|---|---|
foundry cache --help | Довідка по кешу. |
foundry cache location | Показати шлях до кешу. |
foundry cache list | Список моделей у кеші. |
foundry cache remove <model> | Видалити модель з кешу. |
foundry cache cd <path> | Змінити директорію кешу. |
🚀 Приклади використання
Швидкий запуск моделі
# Завантажити та запустити модель
foundry model run phi-4-mini
# Інформація про модель
foundry model info phi-4-mini
# Завантажити модель без запуску
foundry model download phi-4-mini
Керування сервісом
foundry service status
foundry service ps
foundry service restart
Робота з кешем
foundry cache list
foundry cache remove old-model
foundry cache cd /path/to/larger/drive
🔧 Розширені можливості
# Переглянути ліцензію моделі
foundry model info phi-4-mini --license
# Згенерувати діагностичні логи
foundry zip-logs
# Налаштувати використання GPU
foundry service set --gpu 0
📌 Тепер у тебе є єдиний документ: огляд локальних моделей, вимоги, встановлення, перший запуск та повний довідник CLI.
Хочеш, щоб я підготував готову версію .md для блогу/репозиторію?