SAM 3D

SAM 3D - нейросеть, которая восстанавливает 3D по одной фотографии: либо делает 3D-фигуру человека (поза + форма тела), либо превращает выбранный предмет на фото в 3D-объект.

По заявлениям создателей, SAM 3D умеет работать с “живыми” фото (не студийными) - со сложным фоном, частичными перекрытиями (когда часть тела/предмета закрыта) и необычными позами. Также подчёркивается “open vocabulary” подход: можно указать текстом, какой именно объект на фото нужно превратить в 3D, даже если это что-то редкое или нестандартное.

Как это работает

В простых словах процесс такой:

1. вы загружаете фото;
2. нейросеть “понимает”, где на картинке нужный человек или предмет (по маске или по текстовому запросу);
3. достраивает глубину и форму - и собирает 3D-модель, которую можно вращать и использовать дальше.

Важно понимать: это всё равно “догадка по одной картинке”. То, чего не видно (например, спинка стула или часть тела за сумкой), нейросеть достраивает по типичным формам.

Настройки

• Тип генерации - выбираете, что нужно получить: 3D-фигура из фото или 3D-объект из фото.
• Изображение - один файл (поддерживаются популярные форматы вроде JPG/PNG и форматы с айфонов).
• Маска (для режима 3D‑фигуры) - если включить, вы вручную закрашиваете человека на фото. Это помогает, когда фон сложный, людей несколько, или нейросеть цепляет лишнее.
• Экспортировать отдельные меши (.ply) для каждого человека (для режима 3D‑фигуры) - удобно, если на фото несколько людей и вы хотите получить их как отдельные 3D-части.
• Добавить 3D‑ключевые точки для визуализации (для режима 3D‑фигуры) - добавляет “опорные точки” скелета/позы, чтобы было проще проверить, правильно ли восстановилась поза.
• Маски объектов (для режима 3D‑объекта) - можно загрузить до 8 масок, если нужно точно указать, какие предметы в кадре превращать в 3D.
• Что восстановить в 3D (для режима 3D‑объекта) - текстом пишете, какой предмет нужен (например: car, chair, lamp). Это особенно полезно, если маски не загружали, и нейросети нужно самой найти объект.

Для чего подойдёт

• Сделать 3D-модель человека по фото для превиза: прикинуть позу персонажа для рисунка, анимации или раскадровки.
• Быстро получить 3D-предмет из фотографии: например, “оцифровать” стул, лампу, игрушку или машину для макета/сцены.
• Подготовить 3D для примерки в AR/сцене: когда хочется “покрутить” предмет перед использованием в визуализации.
• Разобрать кадр со множеством объектов: выбрать нужный предмет маской или текстом и восстановить именно его.

Ограничения

• Один ракурс = всегда есть угадывание: задние и скрытые части могут получиться неточно.
• Мелкие детали (тонкие ремешки, пальцы, сложные узоры) часто упрощаются или “плывут”, особенно на фото низкого качества.
• Сильно размытые, тёмные, пересвеченные фото и кадры, где объект занимает маленькую часть изображения, заметно ухудшают результат.
• Если в кадре несколько людей/предметов и они перекрывают друг друга, лучше использовать маску - так меньше шансов, что захватится лишнее.