SAM 3D из фото: как сделать 3D-объект

Два режима: объект и человек

• SAM 3D Objects — из изображения с маской объекта получает 3D-форму с текстурой и расположением в сцене. Удобно для предметов, мебели, реквизита; умеет работать с частично закрытыми объектами.
• SAM 3D Body — оценивает форму и позу человека по одному кадру, в том числе при частичной видимости.

В Playground это обычно две точки входа: «Create 3D scenes» (сцены / объекты) и «Create 3D bodies» (тела). Не путайте их с 2D-вырезками SAM 3 — те режут изображение или видео, но не строят объём.

Где попробовать

1. Откройте Segment Anything Playground на сайте демо Meta (раздел Segment Anything / Playground на aidemos.meta.com).
2. Примите условия демо, если появится окно с Terms of Service.
3. Выберите шаблон Create 3D scenes или Create 3D bodies— либо начните с чистого холста и загрузите своё фото.
4. Войдите в аккаунт Meta, если Playground попросит логин: без него часть функций может быть недоступна.

Официальный обзор моделей и ссылки на исследования — наблоге Meta AI про SAM 3Dи на странице SAM 3D research.

Пошагово: объект из фото

1. Подготовьте снимок. Лучше всего работает чёткое фото предмета на относительно понятном фоне: лампа, стул, кружка, игрушка. Сильная смазанность, экстремальный кроп и почти полный окклюжн ухудшают результат.
2. Загрузите изображение в Playground (drag-and-drop или кнопка загрузки).
3. Выделите объект. Обычно помогают клик / маска / текстовый промпт в духе SAM 3 («lamp», «chair»). Убедитесь, что маска покрывает нужный предмет, а не весь фон.
4. Запустите 3D-реконструкцию для выбранного объекта (кнопка вроде Generate / Create 3D — название зависит от сборки UI).
5. Осмотрите результат: вращайте камеру, проверьте силуэт сбоку и сзади. Если форма «плывёт», попробуйте другую маску или более удачный ракурс исходника.
6. Экспорт, если демо его предлагает (например, просмотр сцены или сохранение представления). Для серьёзного пайплайна разработчики используют открытый код SAM 3D Objects и сохраняют, в том числе, gaussian splat / PLY — это уже вне веб-демо.

Пошагово: человек (Body)

1. Загрузите фото человека целиком или почти целиком в кадре.
2. Выберите режим Create 3D bodies.
3. Дождитесь оценки позы и формы; осмотрите модель с разных сторон.
4. Помните: это оценка тела и позы, а не «цифровой двойник лица с паспортом». Не используйте чужие фото без согласия.

Советы по качеству исходника

• Один главный объект крупнее и ближе к центру кадра.
• Хороший свет без жёстких бликов на глянце.
• Избегайте сильного перспективного искажения «рыбий глаз».
• Для сцены с несколькими предметами выделяйте их по одному — так проще контролировать маски.
• Не ждите идеальной невидимой стороны: модель достраивает объём по одному виду, опираясь на узнавание и контекст, а не на второй ракурс.

Ограничения (честно)

• Один кадр ≠ полноценный 3D-скан со всех сторон. Невидимая сторона — оценка, а не измерение.
• Мелкие детали, тонкие ножки, прозрачное стекло и зеркала часто «ломаются».
• Playground — демо: лимиты, очередь и набор кнопок экспорта могут меняться; это не студийный софт.
• Результаты исследовательского демо не стоит без проверки тащить в коммерческий продукт — смотрите лицензии кода, весов и Terms демо.

Куда дальше

Если нужно просто поиграть с объёмом из бытового фото — хватит Playground. Если встраиваете реконструкцию в свой пайплайн — смотрите открытые репозитории Meta (SAM 3D Objects / Body), чекпоинты и бенчмарки. В продуктах Meta похожие идеи уже встречаются, например в сценариях «посмотреть предмет в комнате» на Marketplace — это иллюстрация направления, а не инструкция «нажать ту же кнопку в Playground».

Рядом по теме: генерация изображений, гайдкак создать картинку иглоссарий с короткими определениями.

Короткий чеклист

1. Открыли Segment Anything Playground.
2. Выбрали 3D scenes или 3D bodies.
3. Загрузили чёткое фото и аккуратно выделили объект / человека.
4. Проверили модель сбоку и сзади.
5. Не ждали «идеального скана» с одного ракурса.