close

Вход

Забыли?

вход по аккаунту

...генерации многоракурсных изображений на основе карты

код для вставкиСкачать
Некоторые методы генерации
многоракурсных изображений
на основе карты глубины
Вячеслав Нападовский
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus 
Содержание





Введение
Occlusion Filling with Horizontal Mirroring
Enhancement of Depth Maps with Alpha
Channel Estimation
Заполнение областей открытия
с использованием фона
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
2
Only for
Maxus 
Постановка задачи
На входе:
 Один или несколько ракурсов
 Карты глубины для всех ракурсов
 Положение виртуальной камеры
На выходе:
 Сгенерированный ракурс для виртуальной
камеры
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
3
Only for
Maxus 
Виртуальная камера
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
A. Mavlankar, “Image-Based Rendering using Disparity Compensated
Interpolation,” Applied Vision and Imaging Systems, 2005
4
Only for
Maxus 
Основные приложения



Генерация дополнительных ракурсов
для автостереоскопических дисплеев
по стерео или по 2D+Z
Генерация 3D-контента под конкретные
устройства
Конвертация 2D в 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
5
Only for
Maxus 
DIBR
Одна из реализаций
1.
2.
3.
Предобработка карты глубины
Warping
Заполнение областей открытия
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
6
Only for
Maxus 
Пример генерации
Depth Image Based Rendering (DIBR)
Исходное изображение
Смещённые пиксели
Карта глубины
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Laihua Wang et al., “A Novel Virtual View Rendering Approach Based
on DIBR,” ICCSE, 2012
7
Only for
Maxus 
Проблемы, возникающие
при использовании DIBR
Тип артефакта
1
2
3
4
5
6
Предложенный
алгоритм
Пустые
Интерполяция
«трещины»
только недостающих
пикселей
Полупрозрачные Поиск и заполнение
«трещины»
Ореол
Уменьшение
приоритета у слоя
с фоном
Неестественные Смешивание слоёв
цвета
с передним планом
Области
Заполнение
открытия
константным цветом
из слоя фона
Ошибка на
—
карте глубины
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Sjostrom et al., “Improved depth-image-based rendering
algorithm,” 3DTV-CON, 2011
8
Only for
Maxus 
Содержание





Введение
Occlusion Filling with Horizontal Mirroring
Enhancement of Depth Maps with Alpha
Channel Estimation
Заполнение областей открытия
с использованием фона
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
9
Only for
Maxus 
Modified DIBR
Шаг 1 из 4
Конвертация карты глубины в карту
диспаритета с помощью Lookup Table (LUT)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
10
Only for
Maxus 
Modified DIBR
Шаг 2 из 4
Увеличение значений диспаритета
на краях объектов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
11
Only for
Maxus 
Modified DIBR
Эффективность фильтрации
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
12
Only for
Maxus 
Modified DIBR
3.
4.
Warping
Заполнение областей открытия методом
зеркального отражения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
13
Only for
Maxus 
Modified DIBR
Пример зеркального отражения
Полученный результат с помощью
повторения крайнего пикселя
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Результат метода, предложенного
в статье
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
14
Only for
Maxus 
Результат
Метод с использованием экстраполяции
Исходное изображение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Заполнение областей открытия с помощью
экстраполяции
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
15
Only for
Maxus 
Результат
Карта границ
диспаритета
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Предложенный метод
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
16
Only for
Maxus 
Выводы
Достоинства:
 Простота в реализации
 Высокая скорость (realtime)
Недостатки:
 Более чувствителен:


к импульсному шуму на карте глубины
к несовпадению границ глубины и изображения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
17
Only for
Maxus 
Содержание





Введение
Occlusion Filling with Horizontal Mirroring
Enhancement of Depth Maps with Alpha
Channel Estimation
Заполнение областей открытия
с использованием фона
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
18
Only for
Maxus 
Особенности алгоритма

Требуется на вход:





исходное изображение
карта глубины (Kinect)
изображение с инфракрасной камеры
(Time-Of-Flight camera)
Строится карты глубины и карты
прозрачности
Данные TOF-камеры используются для
улучшения результата на границах объектов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
19
Only for
Maxus 
Схема алгоритма
На стороне encoder’а
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
20
Only for
Maxus 
Схема алгоритма
На стороне decoder’а
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
21
Only for
Maxus 
Depth Image Enhancement
1.
2.
3.
Бинаризация карты глубины с помощью
метода k-средних с целью получения
trimap’а
Морфологическое расширение карты
глубины
Использование closed form matting’а для
вычисления альфа-канала
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
22
Only for
Maxus 
Вычисление цветов
объекта и фона
С целью вычисления цветов пикселей фона (B) и объекта (F)
выполняется минимизация следующей функции:
I – изображение
αi – значение альфа-канала i-го пикселя
Интенсивность i-го пикселя объекта по каналу c:
– объекта,
– фона,
– изображения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
23
Only for
Maxus 
Входные данные
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
24
Only for
Maxus 
Результаты маттинга (1)
Исходное изображение
(b) маттинг по исходному изображению,
(c) маттинг по карте глубины, (d) результат авторов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
25
Only for
Maxus 
Результаты маттинга (2)
Color image
Depth image
IR image
Closed form
matting
Depth alignment
Result using
IR image
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
26
Only for
Maxus 
Сравнение (1)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
27
Only for
Maxus 
Сравнение (2)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012
28
Only for
Maxus 
Выводы
Достоинства:
 Высокая скорость работы (realtime)
 Улучшение за счёт использования маттинга
Недостаток:
 Востребовано изображение от TOF-камеры
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
29
Only for
Maxus 
Содержание





Введение
Occlusion Filling with Horizontal Mirroring
Enhancement of Depth Maps with Alpha
Channel Estimation
Заполнение областей открытия
с использованием фона
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
30
Only for
Maxus 
Особенности алгоритма



На вход алгоритму подаётся
многоракурсное видео
Для вычисления глубины используется
метод M. Tanimoto “Depth Estimation
Reference Software (DERS) 5.0,” 2009
Предполагается статичность фона
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
31
Only for
Maxus 
DIBR
Карта
диспаритета
Заполнение разрывов
карты глубины
Ground truth
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Результат
авторов
MPEG VSRS
(View Synthesis
Reference Software)
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
32
Only for
Maxus 
Temporally Consistent
Handling of Disocclusions
Выделение области фона с помощью
бинаризации карты глубины
и морфологического расширения
2.
Обновление ранее сохранённого
изображения фона и его глубины
Для восстановления текстуры в областях
открытия используются методы синтеза
текстур
1.
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
33
Only for
Maxus 
Результат (1)
Reference view
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
34
Only for
Maxus 
Результат (2)
Warping result
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
35
Only for
Maxus 
Результат (3)
Восстановленный фон
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
36
Only for
Maxus 
Результат (4)
Сгенерированный ракурс с помощью MPEG VSRS
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
38
Only for
Maxus 
Результат (5)
Сгенерированный ракурс по методу авторов статьи
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
39
Only for
Maxus 
Результат
Увеличенные области
Результат авторов
MPEG VSRS
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Результат авторов
MPEG VSRS
M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010
40
Only for
Maxus 
Выводы
Достоинство:
 Заполнение областей открытия с помощью
фона, присутствующего на видео
Недостаток:
 Требование статичного фона
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
41
Only for
Maxus 
Содержание





Введение
Occlusion Filling with Horizontal Mirroring
Enhancement of Depth Maps with Alpha
Channel Estimation
Заполнение областей открытия
с использованием фона
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
42
Only for
Maxus 
Заключение
В области алгоритмов генерации
многоракурсных изображений за последние
1,5 года не было предложено новых методов.
Из рассмотренных методов интересными на
мой взгляд являются:
 Маттинг с использованием глубины
 Использование восстановленного фона
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
43
Only for
Maxus 
Литература (1)
1.
2.
S.-F. Hsiao, J.-W. Cheng, W.-L. Wang and G.-F. Yeh,
“Low latency design of Depth-Image-Based Rendering using hybrid
warping and hole-filling,” in IEEE International Symposium on Circuits
and Systems (ISCAS), Seoul, Korea, 2012, pp. 608–611.
M. Sjostrom, P. Hardling, L. S. Karlsson, R. Olsson, “Improved
depth-image-based rendering algorithm,” in 3DTV Conference: The
True Vision — Сapture, Transmission and Display of 3D Video
(3DTV-CON), Antalya, Turkey, 2011, pp. 1–4.
3.
J.-H. Cho, K. H. Lee and K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” in IEEE Journal
of Selected Topics in Signal Processing, 2012, vol. 6, pp. 483–494.
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
44
Only for
Maxus 
Литература (2)
4.
M. Koppel, P. Ndjiki-Nya, D. Doshkov, H. Lakshman, P. Merkle,
K. Muller and T. Wiegand, “Temporally consistent handling of
disocclusions with texture synthesis for depth-image-based rendering,”
in 17th IEEE International Conference on Image Processing (ICIP),
Hong Kong, China, 2010, pp. 1809–1812.
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
45
Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
46
1/--страниц
Пожаловаться на содержимое документа