AI Meta

SAM 3D: 3D из одного фото

SAM 3D — пара моделей Meta из семейства Segment Anything, которые восстанавливают трёхмерную форму предметов и людей по обычной фотографии.

Абстрактная визуализация SAM 3D от Meta

Семейство Segment Anything

Segment Anything (SAM) — исследовательская линейка Meta для «понимания» изображений. Первые модели SAM умели выделять любой объект на фото по клику. SAM 3 научился находить, вырезать и отслеживать объекты на фото и видео по текстовому описанию. SAM 3D пошёл дальше: из плоской картинки он строит объёмную модель. В той же площадке есть и SAM Audio — для выделения отдельных звуков.

Две модели SAM 3D

SAM 3D Objects

  • восстанавливает геометрию, текстуру и положение объектов по одному изображению;
  • работает с реальными «бытовыми» фото, где предметы частично закрыты или сняты под неудобным углом;
  • может собрать сцену из нескольких объектов, которые затем можно вращать и рассматривать с разных ракурсов.

SAM 3D Body

  • оценивает позу и форму тела человека по одному фото;
  • справляется с необычными позами, частичной видимостью, группами людей;
  • поддерживает подсказки — маски и ключевые точки, чтобы направить модель;
  • использует открытый формат 3D-меша Meta Momentum Human Rig (MHR), в котором скелет и форма тела разделены.

Результаты двух моделей можно совместить в одной сцене — например, человек на стуле в комнате.

Как попробовать

Самый простой способ — Segment Anything Playground, веб-площадка Meta с демонстрациями моделей. В ней есть режимы «Создать 3D-сцену» и «Создать 3D-тело».

  1. Откройте Segment Anything Playground и войдите в аккаунт.
  2. Примите условия: это исследовательская демо-версия.
  3. Загрузите фото и выберите объект или человека.
  4. Дождитесь реконструкции и покрутите 3D-модель в браузере.

Подробно с советами по выбору фото — в гайдекак сделать 3D-модель из фото.

Для разработчиков

Meta опубликовала код инференса, чекпойнты моделей, обучающие и оценочные данные, а также бенчмарк. Репозитории sam-3d-objects и sam-3d-body находятся в организации facebookresearch на GitHub, веса — на Hugging Face по запросу доступа. Для запуска нужна видеокарта с достаточным объёмом памяти — точные требования описаны в репозиториях.

Где применяется

  • Покупки. SAM 3D и SAM 3 лежат в основе функции View in Room на Facebook Marketplace: можно примерить лампу или стол к своей комнате до покупки.
  • Робототехника — понимание формы и положения предметов.
  • Игры и медиа — быстрые 3D-заготовки.
  • Спорт и медицина — анализ позы и движения (в исследовательских задачах).
  • Образование — наглядные 3D-модели из фото.

Ограничения

  • Playground предназначен для личного некоммерческого использования.
  • Модель «додумывает» невидимые стороны предмета — это правдоподобная реконструкция, а не точное измерение.
  • Для печати на 3D-принтере или профессиональной анимации модель обычно нужно дорабатывать.
  • Не загружайте фото людей без их согласия.

Читайте также