Photosynth и ICE для склеивания видео

В середине декабря Matt Uyttendaele в своем блоге писал о необычном применении Microsoft ICE и Photosynth — для склеивания в панорамы или фотосинты не просто фотографий, а последовательностей видеокадров. Раз можно склеивать фотографии, почему бы не попробовать склеивать видео-кадры?

Интересная идея, не правда ли? Хотите реконструировать какую-нибудь сцену из фильма в виде 3d-сцены в рамках Photosynth? Или вот, к примеру, хочется посмотреть сразу всю панораму, которую камера оператора показывает кусочно, перемещаясь вдоль нее?

Делается это просто: берется видеоряд, делается раскадровка (я использовал VirtualDub), готовые изображения передаются в программу — и вуаля — панорама или фотосинт готовы.

Примеры подобных кинопанорам можно посмотреть, например, на flickr:

Также советую почитать пост в блоге Cinema Squid`s Ink о склеивании с помощью ICE кадров из “Starship Troopers” (“Звездный десант”).

Конечно, очень многое зависит от качества исходного материала, HD-версия видео подойдет намного лучше, чем раскадровка ролика с Youtube в обычном качестве :)

Сам Мэт приводит такой пример результата синтеза кадров из фильма “Bigfoot”:

В принципе, очевидно, что изображения не очень хорошего качества и разрешения, к тому же черно-белые. Результат не идеален, но как минимум, интересен!

Я решил не мелочиться и взять ролик с сайта Европейского космического агенства, посвященного телескопу Хаббл. Ролик представляет собой некую анимацию пролета над нашей планетой в возможном будущем:

 

Посмотреть фотосинт можно здесь https://photosynth.net/view.aspx?cid=ebb27fe4-7739-4440-8052-635c29076b12.

Возможно, когда-нибудь в будущем ICE и Photosynth научатся анализировать видео напрямую.

Кстати, если кому-то вопрос склеивания видео-кадров в единую панораму интересен с научной точки зрения, рекомендую статью Efficiently Registering Video into Panoramic Mosaics в MS Research.