А есть где тулза, чтобы модели мебели по фотке генерить?

hunyuan 3d multi view может по проекциям что-то сгенерировать, размер придется самому подгонять правда

https://furnimesh.com новомодно, чуть сложно

А размеры?

Не знаю при чём тут линукс, но кстати похожее хотелось, правда чуть отличается:

1) не для мебели а для строительных нужд, т.е. с одной стороны больше размеры и сложнее посмотреть со всех сторон, с другой - все линии обычно примерно прямые (да другие и не требуются)

2) думаю лучше не серию фоток а видео с обходом вокруг - чем больше данных тем лучше, надо ж ещё искажения геометрии от камеры автоматически распознать и скомпенсировать

Думал как-нить сам попробовать сделать, но, как обычно, даже не начинал. Самой сложной частью кажется выявить на фотке где собственно эти линии (углы) проходят. Дальше вроде обычная геометрия.

Не проще моделеру заказать?

По каждой табуретке обращаться?

думаю лучше не серию фоток а видео с обходом вокруг

Угу, строить облако точек (https://colmap.github.io/), затем натягивать на него полигоны (https://www.meshlab.net/). Впрочем, на практике я ничем подобным никогда не занимался, это чисто теоретические представления.

надо ж ещё искажения геометрии от камеры автоматически распознать и скомпенсировать

Правильнее было бы камеру отдельно откалибровать, и на этапе реконструкции облака точек оперировать уже готовой моделью камеры.

Видел какие-то китайские 3д-камеры, но софт там чудовищен (в плане установки). Так что по факту поснимать не получилось)

В контексте мебели калибровать на специальном образце может и несложно, но если нужны объекты с характерными размерами как минимум несколько метров по всем измерениям - уже затруднительно, по-моему. И по-моему всё-таки калибровка на лету, при наличии видео с обходом объекта, будет вполне успешной.

А есть где тулза, чтобы модели мебели по фотке генерить?

Ну там БЯМ какая-нить? Чтобы в икее можно было сделать пару тройку фоток (например с линейкой сверху) и оно 3д модель выдавало нужных размеров.

ИИ БЯМ головного мозга. Ну тогда у БЯМ и спросил бы.

Отличный вопрос! Прямо вот «БЯМ» — и готовая точная 3D-модель по паре фото — это пока что фантастика, особенно с гарантией точных размеров. Но технология очень быстро развивается, и есть решения, которые максимально близко подобрались к этой задаче.

Давайте разделим инструменты на две категории: полностью автоматические (нейросети) и полуавтоматические (требующие ручной работы, но дающие точный результат).

1. Полностью автоматические (нейросети) — «Быстро и для визуала»

Эти сервисы пытаются создать 3D-модель из одного или нескольких изображений «в один клик». Они отлично подходят для быстрого получения примерной формы, но размеры будут приблизительными.

• Tripo AI (tripo3d.ai): Один из лидеров в этом направлении. Загружаете фото, через минуту получаете 3D-модель (меш). Качество варьируется, но для простых форм работает неплохо.
• Miracle AI (miracle.ai): Аналогичный сервис, также генерирует 3D-модели по фото.
• CSM (Common Sense Machines) / 3Dgen: Еще один мощный инструмент от исследовательской группы.

Проблема для вашего кейса: Размеры не точные, геометрия может быть «плывущей». Линейка на фото скорее собьет их с толку, чем поможет. Эти модели хороши для игр, AR или быстрых визуализаций, но не для производства или точного моделирования интерьера.

2. Полуавтоматические / Ручные (Фотограмметрия + CAD) — «Точно и для дела»

Это именно тот путь, который приведет вас к точной модели нужных размеров. Он требует больше усилий, но результат того стоит.

Суть метода: Вы делаете серию фотографий объекта со всех сторон, а специальная программа (софт для фотограмметрии) анализирует их и строит 3D-меш (оболочку). Затем этот меш вы используете как основу для создания точной параметрической модели в CAD-программе.

Пошаговый план для вашей задачи с IKEA:

Шаг 1: Сканирование объекта (Фотограмметрия)

1. Подготовка: Поставьте предмет мебели так, чтобы к нему был доступ со всех сторон. Освещение должно быть хорошим, но без резких бликов.
2. Съемка: Сделайте много (50-100+) фотографий со всех ракурсов — по кругу, сверху, снизу (если возможно). Снимайте с перекрытием кадров примерно на 70-80%. Снимите отдельно линейку, лежащую на объекте, чтобы она была в кадре и была хорошо видна ее шкала.
3. Обработка в программе:
   • Polycam (poly.cam): Очень популярное и удобное приложение для смартфона и ПК. Отлично справляется с фотограмметрией. Вы загружаете фото, а оно выдает 3D-меш. Вы можете указать программе эталонный размер (например, отметить на модели отрезок длиной 1 метр по вашей линейке на фото), и она масштабирует всю модель до правильных размеров.
   • Meshroom (meshroom.com): Бесплатная, мощная, но более сложная программа для ПК. Требует хорошей видеокарты (NVIDIA).
   • RealityCapture: Очень профессиональный и быстрый софт, но платный.

Результат этого шага: У вас есть 3D-меш вашего предмета мебели в правильном масштабе (благодаря линейке).

Шаг 2: Создание точной CAD-модели

Меш из фотограмметрии — это «дикий» объект, не состоящий из примитивов (кубов, цилиндров). Для работы в инженерных программах или для точной подгонки нужна чистая модель.

1. Импортируйте меш в программу для 3D-моделирования:
   • Blender (blender.org) — бесплатный и невероятно мощный инструмент. В нем есть все необходимое для ретопологии (преобразования меша в чистую сетку) и моделирования.
   • Fusion 360 (autodesk.ru) — профессиональный CAD-пакет. Идеален для создания точных параметрических моделей. В нем можно использовать меш как «образец» и обводить его точными примитивами (прямоугольниками, цилиндрами).
2. Создайте модель: Используя инструменты измерения в программе (они будут точны, так как меш уже масштабирован), вы строите новую, «чистую» модель, повторяющую форму исходного предмета. Вы буквально «обводите» свой сканерованный объект.

Результат этого шага: У вас есть идеальная, точная 3D-модель вашей тумбочки/стула/стола в нужных размерах, готовая для 3D-печати, рендера или планирования интерьера.

Итог: Что же выбрать?

• Если вам нужна просто «примерная форма» для демонстрации: Используйте Tripo AI или Miracle AI. Быстро, но неточно.
• Если вам нужна точная модель с правильными размерами (ваш случай): Готовьтесь потратить время. Схема Фотограмметрия (Polycam) + Ручное моделирование (Blender/Fusion 360) — это самый надежный на сегодня способ.

Линейка на фото — это правильный ход, но он сработает не в «БЯМ»-нейросети, а именно в связке с программами для фотограмметрии, где вы можете вручную задать масштаб.

Этот процесс становится все проще с каждым годом, и возможно, что настоящий «БЯМ»-инструмент появится в ближайшие пару лет. Но пока для точных задач без ручного труда не обойтись.

Самой сложной частью кажется выявить на фотке где собственно эти линии (углы) проходят.

Понять по статичной фотографии, где там геометрические линии (углы), а где всякие текстуры и тени - задача нетривиальная...

С моей дилетантской т.з., на кадре выявляют так называемые points of interest (по идее, туда попадут как раз углы, а также и прочие «особые» места на картинке, google: point of interest detection), и для каждой такой точки строят feature descriptor (вектор чисел, характеризующий окрестность заданной точки, инвариантный к вращению и изменению масштаба). Затем на двух кадрах ищут похожие feature descriptors, благодаря чему устанавливают соответствие между одной и той же физической точкой на двух разных кадрах. Затем по изменившимся расстояниям между точками на картинке пытаются делать выводы об их расположении в пространстве (а учитывая, что на предыдущих шагах будут погрешности, ложные срабатывания, движения самого объекта, то это тот ещё ад).

Пошаговый план для вашей задачи с IKEA:

Шаг 1: Сканирование объекта (Фотограмметрия)

Подготовка: Поставьте предмет мебели так, чтобы к нему был доступ со всех сторон.

Отличный план, надежный как логика БЯМ.

Мне кажется что вполне решаемая с вычислительными мощностями. Но ладно, можно упростить и в полуручном режиме это сделать: на одном кадре помогаешь размечать линии, а дальше уж сопоставить куда они сместились в следующем будет ещё проще уже автоматом (тут важно, что это видео - следующий кадр через очень маленькое время и все смещения малы). Если в поле зрения появляется новая - тоже размечаешь её в каком-то одном кадре, на соседние само распространяется.

Точки не всегда годятся. Одно из применений такой штуки - найти отклонения конструкции от правильной геометрии - т.е. перекосы и прочие деформации, они могут произвольным образом получаться.