AI Meta

Как запустить Llama локально

Облачный Meta AI удобен, но веса Llama можно скачать и крутить у себя: без отправки промптов в чат мессенджера и с полным контролем над офлайном. Ниже — три популярных пути (Ollama, LM Studio, llama.cpp), ориентиры по железу и на что смотреть в лицензии. Обзор семейства — на странице Llama.

Это не официальная инструкция Meta и не замена документации выбранного рантайма. Названия моделей, квантизации и команды обновляются часто — перед установкой сверьте актуальный README. Для продакшена отдельно прочитайте лицензию конкретной версии Llama и Acceptable Use Policy.

Чем локальная Llama отличается от Meta AI

  • Meta AI — готовый ассистент в приложениях и на meta.ai, модели на стороне Meta, удобный чат «из коробки».
  • Локальная Llama — вы сами ставите рантайм, качаете веса, выбираете размер модели и отвечаете за железо, обновления и безопасность.

Локальный запуск не заменяет все фичи Meta AI (генерация картинок в стиле приложения, интеграция с WhatsApp и т.п.). Зато даёт офлайн, предсказуемую приватность на своей машине и возможность встроить модель в свои скрипты.

Железо: с чего начать

Точные цифры зависят от размера модели и квантизации. Общие ориентиры:

  • Маленькие модели (порядка 1B–8B) часто тянутся на современном ноутбуке с 16 ГБ RAM; с GPU будет заметно быстрее.
  • Средние (порядка 70B и рядом) уже хотят много VRAM или очень много системной памяти и терпения; для дома чаще берут сильную квантизацию или облачный GPU.
  • Диск: десятки гигабайт на одну модель — норма; закладывайте запас под несколько вариантов.
  • Формат GGUF — самый частый путь для CPU/GPU-инференса через llama.cpp-экосистему (Ollama и LM Studio тоже опираются на него для многих сборок).

Не гонитесь сразу за самой большой моделью: начните с компактной, проверьте скорость ответа на ваших задачах, потом масштабируйте.

Вариант 1. Ollama

Самый простой старт для многих: установка одной программой, модели подтягиваются командой, локальный API по умолчанию на127.0.0.1:11434. Лицензия самого Ollama — MIT.

  1. Скачайте и установите Ollama с официального сайта под свою ОС.
  2. В терминале выполните что-то вроде ollama run llama3.2или другую актуальную метку Llama из библиотеки Ollama (имя тега сверяйте в каталоге — они меняются).
  3. Дождитесь загрузки весов и напишите тестовый промпт в чате CLI.
  4. При необходимости подключайте Open WebUI или свои скрипты к локальному API.

Удобно, когда нужен быстрый «чат у себя» и привычный командный интерфейс. Меньше ручной возни с путями к GGUF-файлам.

Вариант 2. LM Studio

Десктоп-приложение с графическим интерфейсом: поиск моделей (часто через Hugging Face), загрузка, чат, локальный сервер. Само приложение — проприетарное, бесплатно для личного и внутреннего бизнес-использования по условиям Element Labs; CLI lms распространяется отдельно под MIT. Не путайте лицензию приложения с лицензией весов Llama.

  1. Установите LM Studio с официального сайта.
  2. В каталоге найдите нужную Llama (или совместимый GGUF) и скачайте.
  3. Загрузите модель в память и откройте чат в приложении.
  4. При желании включите локальный сервер (часто порт вроде 1234) для совместимых клиентов.

Хороший выбор, если не хотите жить в терминале. Перед корпоративным внешним SaaS-использованием перечитайте App Terms — там есть ограничения на service-bureau / SaaS-сценарии.

Вариант 3. llama.cpp

Низкоуровневый и максимально «свой» путь: проект ggml-org под MIT, прямой контроль над сервером, флагами и сборкой. Подходит тем, кто готов читать документацию и собирать или ставить бинарники самостоятельно.

  1. Поставьте llama.cpp по актуальной инструкции проекта (сборкой или установщиком).
  2. Скачайте GGUF-файл нужной Llama с доверенного источника.
  3. Запустите инференс / llama-server (или актуальный CLI-командный интерфейс вашей версии) с путём к модели.
  4. При необходимости повесьте OpenAI-совместимый API на localhost.

Больше гибкости и ответственности: вы сами выбираете квантизацию, контекст, GPU-слои и то, как сервис слушает сеть. Не выставляйте API в интернет без аутентификации и понимания рисков.

Лицензия: на что смотреть

Веса Llama распространяются не под Apache/MIT, а по Llama Community License (для Llama 4 — отдельное соглашение с датой вступления в силу в апреле 2025). В общих чертах для большинства людей и компаний:

  • Разрешены использование, воспроизведение, распространение и создание производных работ при соблюдении условий лицензии и Acceptable Use Policy.
  • При распространении материалов или продукта, который их содержит, обычно нужно передать копию соглашения и заметно показать «Built with Llama»; производные модели при дистрибуции — с именем, начинающимся с «Llama».
  • Если на дату релиза соответствующей версии Llama у продукта было больше 700 млн месячных активных пользователей, нужно отдельно запросить лицензию у Meta.
  • Отдельно читайте Acceptable Use Policy: там запрещённые сценарии. Для части мультимодальных вариантов Llama 4 есть региональные оговорки (в том числе связанные с ЕС) — сверяйте актуальный текст на сайте Meta.

Рантайм (Ollama / llama.cpp — MIT; LM Studio — свои App Terms) и веса Llama — разные лицензии. Обе нужно соблюдать.

Безопасность и здравый смысл

  • Качайте веса только из понятных источников.
  • Не открывайте локальный API наружу без защиты.
  • Локальный запуск не отменяет законы и политику допустимого использования модели.
  • Для повседневных задач «просто спросить ИИ» часто проще остаться вMeta AI; локальная Llama — когда нужен контроль и офлайн.

Короткий чеклист

  1. Выбрали путь: Ollama (просто), LM Studio (GUI) или llama.cpp (контроль).
  2. Проверили RAM/VRAM и место на диске под GGUF.
  3. Скачали модель и прогнали тестовый промпт локально.
  4. Прочитали Llama Community License и AUP для своей версии.
  5. Не светите API в сеть без необходимости.

Читайте также