3d reconstruction from multiple images

В крайтеке(создатели крайзис) как-то делали нормалмап из нескольких фоток объекта с разных ракурсов.

Voodoo Camera Tracker
Version 1.0.1 beta for Linux and Windows
Copyright (C) 2002-2009 Laboratorium für Informationstechnologie

http://make3d.cs.cornell.edu/

Это создание «модели» из единственной фотографии. На хабре было, выглядит сложно, и результат не очень хорош (хотя лучше скорее всего и не добиться)

Круто, но это совсем не то.

Никто случайно таким не занимался? Насколько это сложно: построить 3d модель из нескольких изображений? Что можно почитать на русском ознакомительное?

Ну я занимаюсь

google OpenCV

http://www.123dapp.com/catch

Занимался. Если у тебя фотки одного объекта то будет попроще. Сейчас могут восстанавливать целые города из этих ваших фликров http://www.youtube.com/watch?v=sQegEro5Bfo . Общая схема такая: получаешь параметры камеры, на каждой картинке ебошишь сифты или аналогичное, потом сопоставляешь одинаковые точки с разных камер и получаешь координаты в 3d. Потом по этой начальной реконструкции(типа того что на видео) можно уже строить плотное облако точек и получать почти текстуры. Основная сложность в том что бы прооптимизировать невязку этих точек при проэцировании.

В простейшей постановке(хорошие изображения, дан 1 объект) задача уже более-менее считается решенной, точность реконструкции аналогична точности 3д сканнеров стоимостью до 200к евро. Сайнтистс умывают руки и дают все в руки инженерам-прогерам чтоб те ебались и внедряли в ынтерпрайз, если кому надо.

В общем смотри тут

http://phototour.cs.washington.edu/bundler/ http://code.google.com/p/vincents-structure-from-motion-matlab-toolbox/ http://phototour.cs.washington.edu/

я бы тебе может скинул статьи и презентации, но ты сам скажи нужно ли тебе это. + Тебе нужно тупо закодить или есть академический интерес?

На самом деле я нахожусь в состоянии выбора задачи для курсовой. Но кажется это уж слишком сложно.

Это больше тянет на диплом или диссертацию :)

А если серьёзно, я тоже когда-то в 2005-м выбирал, чем бы таким решить подобную задачу (полу)автоматически. В конце концов эту разовую работу проще всего оказалось сделать ручками, на глазок. А в 2009 фанаты-историки нашего города сваяли физическую модель и даже всерьёз решили восстановить утраченное. До сих пор, правда, всё так в мечтах и осталось. Да и место то давно застроено.

Ну а Linux тут при том, что моделировал по музейным фоткам в Wings3D. Правда, для визуализации, зачем-то связался с ныне мёртвым VRML, с которым Linux так толком и не подружился. Только исходники модели и остались.

>Что можно почитать на русском ознакомительное?

Хорн Б. К. П. Зрение роботов

>построить 3d модель из нескольких изображений

«ARC 3D WebService» - делает из серии 2D снимков 3D векторное «изображение».
Основан на MeshLab и можно скачать исходники для Linux.

P.S. Занятная поделка из web камеры: BlenderLiveShapes :)

какой вуз? какой твой кровень знания математики? На сколько хорошо знаешь методы оптимизации? Сколько у тебя будет времени на эту работу?

Эта работа не тянет ни на диплом и уж тем более не на диссертацию. Я тебе советую все же попробовать взять эту тему. По крайней мере ты узнаешь что сейчас делают люди в computer vision, ведь это уже давно не фильтры этого вашего собеля или сегментация изображений с помощью k-means.

В общем, можешь рассчитывать на мою помощь в виде статей, годных ссылок, похожих задач, даваемых на ВМК МГУ и ETH Zurich. Ну и если тебе действительно будет интересно, мб что-то сам объясню.

Я бы не советовал эту книгу Хорна. Во-первых она нереально устарела( в плане методов), во-вторых, местами можно в разы проще объяснить. Я хз какую именно книгу лучше прошитать, ну наверно можно эту http://www.amazon.com/Computer-Vision-Algorithms-Applications-Science/dp/1848... , может можно Форсайт Понса(нет нет это точно шутка: книга сама написана оч сложно, так еще у нас она вышла просто в безбожном переводе). Мне кажеся лучше учиться компьютерному зрению по статьям и презентациям)) Если опу интересно, могу понакидать ссылок.

Вуз - КубГУ, курс 3. Насчет математики: диффуры, матан, дискретка, лин.алгебра, комплексный анализ - наверное знаю=) Методы оптимизации не знаю вообще, будет в следующем курсе, да и на другой кафедре. Времени у меня около полугода.
Я думаю, что не осилю это. Жаль.

Матлаб знаешь? Что вообще используешь для работ? Я тебе правда советую взять эту работу. В простейших формулировках пишется за 4 дня. Попробуй игрушечный пример: сфоткай дом( желательно где есть экрек что бы влезло где-то 6х6 окон) с двух разных точек разнесенных на 4-8 метров.отметь на обоих картинках координаты углов нескольких(9-и например) окон и экреры. Дальше у тебя есть точки на картинках, которым соответствуют одинковые координаты в нашем гипотетическом 3д.

Все же постараюсь скинуть презентации через минут 40. Как у тебя со знаением английского, кстати?

>Я бы не советовал эту книгу Хорна.

ТС заказывал «на русском ознакомительное». Кроме старого Хорна на русском для начинающих можно дать 13 и 14 главы Шапиро Л., Стокман Дж. Компьютерное зрение (DjVu, 67,0 МБ). А затем, конечно, гуглить статьи по «Computer-Vision-Algorithms».

>годных ссылок, похожих задач, даваемых на ВМК МГУ

Дал бы сразу свои ссылки, чтобы ТС проникся нетривиальностью некоторых задач :)

У меня знакомый аспирант нафигачил такую штуку - http://www.russian3dscanner.com/

2 ОП:

Я про эти ссылки на точно такие же задания

http://courses.graphicon.ru/main/vision/2010/assigns/autumn/assign1

http://courses.graphicon.ru/main/vision/2010/assigns/autumn/assign2

Вот тут слайды лекций по заданиям http://dl.dropbox.com/u/6941303/cv_2010_01.pdf.zip тут тебе надо посмотреть лекции 10-13. Слайды хорошие, но иногда непонятны и плохо объяснены математические аспекты — это главный недостаток той лабы по моему мнению.

Сейчас я бы начал скорее просматривать следующий курс http://www.cvg.ethz.ch/teaching/2011fall/compvis/ Если что, на каждое из заданий местным мастерс стюдентам дается не более двух недель. Конечно, они более знакомы со смежными областями, чем оп, но раз у опа 6 месяцев, ему будет невероятно полезно самому в этом разобраться.

Короче самым критичным я бы назвал знание английского языка. Ну еще намного легче все это делать в матлабе или октаве(на худой конец в питоне).

По компьютерному зрению еще есть такая тема http://courses.graphicon.ru/main/vision/2010/assigns/autumn/assign3 но это все уже реально сожно будет осилить без знания pattern recognition/machine learning причем не на уровне этих ваших тупых нейронных сеточек.

ПС, ОП, если что тебе всегда поможем и не забывай, что в сети куча студенческих имплементаций этой задачи, так что если будет совсем жопа, можешь подсмотреть что у них — ведь это курсач он нужен что бы ты ознакомился с чем-то, а не придумывал что-то новое.

Эх, я сначала хотел делать курсач с чем-то связанным с OpenGL(процедурные ландшафты). Но 3d реконструкция очень инетерсная тема, по крайней мере на первый взгляд. Хотя по слайдам, в целом, алгоритм кажется понятным, тут есть куча подводных камней, например определение что точки x и x' есть одинаковые на разных изображениях.

>точки x и x' есть одинаковые на разных изображениях для этого и есть sift или surf.

Вообще дорого осилит идущий. Алсо не принимай близко к сердцу советов от того кто что-то слышал. Ну и тут как бы настоящий современный сайнс и стейт-оф-арт-алгорисмс. Так что это оче оче полезно.

>>ВМК МГУ и ETH Zurich

Ну и как с госзаказами на эти технологии? Судя по тому, что находится в открытом доступе, типа LIDAR, американская военщина намерена поджарить медвежатину в интерактивном 3D режиме с разрешением вплоть до юдашкинских шильдиков.

Ну я не особо знаю, над госзаказами обычно не так интересно работать, чаще даже невероятно противно. Ну да, можно идентифицировать лица, ну да жыды проводили тендер на метод, который в реальном времени будет палить людей, высовывающихся из окошек дома. Ну еще можно тречить людей не видео и определять что они делают. Еще по выражению лица, походке можно попробовать дать оценку тому, на сколько человек нервничает и не хочет ли он себя взорвать)) Наверно, в настоящем бою эти технологии не поиспользуешь: мы уже умеем определять что на картинке машина, или самолет, или велосипед, но не с такой точностью, что бы палить по этому из танка)) Ну а в разведке, и сборе информации: да, без проблем. Да и кому нужен сейчас этот ближний бой?

Ну вот пытаюсь осилить тот же sift по этой статейке http://habrahabr.ru/blogs/algorithm/106302/ и довольно тяжело уже после разложения в ояд тейлора.

т.е в многочлен.

OMG прекратить считать хабр научным источником.... приду домой пришлю тебе нормальные статьи. На этом вашем хабре банально ложь пишут. Ну и да... плоховато у вас с математикой если в ряд тейлора не раскладывается) но ты не робей, все можно осилить.

Да и вообще тебе в этой задаче не особо надо знать как sift работает.

Ммм... С рядом все ок, после него уже становиться не очень ясно, хотя надо еще будет почитать=) но я не откажусь от нормальных статей =)

Вполне себе интересная область, давно хотел углубиться =). Но меня больше смутило это:

Сайнтистс умывают руки и дают все в руки инженерам-прогерам чтоб те ебались и внедряли в ынтерпрайз, если кому надо.

Зря Вы так...