close

Вход

Забыли?

вход по аккаунту

Обзор артефактов стерео видео

код для вставкиСкачать
Обзор артефактов
стерео видео
Временная синхронизация
Алексей Борисов
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus 
Лирическое вступление
Stereoscopic images are
easy to do badly,
hard to do well, and
impossible to do correctly
Фольклор
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
2
Only for
Maxus 
Содержание






Введение
Зона комфортного восприятия
Binocular luster
Zoom синхронизация
Временная синхронизация
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
3
Введение
Классификация артефактов
Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification
of stereoscopic artefacts”, MOBILE3DTV technical report, 2008
4
Only for
Maxus 
Введение
Camera configuration (1)
Представление уровней
глубины при съёмке
параллельной
и сходящейся
конфигурациями камер
toed-in
configuration
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
parallel
configuration
Andrew Woods, Tom Docherty, Rolf Koch, “Image Distortions
in Stereoscopic Video Systems”, Processing of SPIE, 1993
5
Only for
Maxus 
Введение
Camera configuration (2)
Camera
Configuration
Достоинства
Недостатки
Параллельная
Не требует
изменений во
время съёмки
HVS (Human Visual
System) работает
иначе
Сходящаяся
Совместимость с
HVS
Необходимость
постоянного
изменения
параметров
при съёмке
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
6
Only for
Maxus 
Введение
Трапецеидальное искажение
При сходящейся конфигурации камер
возникает вертикальный параллакс
Keystone distortion
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Andrew Woods, Tom Docherty, Rolf Koch, “Image Distortions
in Stereoscopic Video Systems”, Processing of SPIE, 1993
7
Only for
Maxus 
Введение
Внешняя симметрия
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Daniele Siragusano, “Stereo3D Postproduction”,
CinePostproduction
8
Only for
Maxus 
Введение
Внутренняя симметрия (1)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Daniele Siragusano, “Stereo3D Postproduction”,
CinePostproduction
9
Only for
Maxus 
Введение
Внутренняя симметрия (2)
Focus Symmetry
L
R
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
L
R
Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification
of stereoscopic artefacts”, MOBILE3DTV technical report, 2008
10
Only for
Maxus 
Введение
Эффект картонок
Cardboard effect — отсутствие рельефа
и объёма
2D изображение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Карта глубины
Burazerovic et al., “Automatic depth profiling of 2D cinema —
and photographic images”, ICIP, 2009
11
Only for
Maxus 
Введение
Depth cues rivalry (1)
Источники информации о глубине
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification
of stereoscopic artefacts”, MOBILE3DTV technical report, 2008
12
Only for
Maxus 
Введение
Depth cues rivalry (2)
Accommodation-convergence rivalry
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Stephan Reichelt, et al., “Depth cues in human visual perception
and their realization in 3D display”, Three-Dimensional Imaging,
Visualization, and Display 2010 and Display Technologies and
Applications for Defense, Security, and Avionics IV
13
Only for
Maxus 
Введение
Depth cues rivalry (3)
Эффект кукольного театра
(Perspective-disparity rivalry)
Depth as suggested
by perspective cues
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Depth as suggested
by binocular cues
Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification
of stereoscopic artefacts”, MOBILE3DTV technical report, 2008
14
Only for
Maxus 
Contents






Введение
Зона комфортного восприятия
Binocular luster
Zoom синхронизация
Временная синхронизация
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
15
Only for
Maxus 
Восприятие глубины
Введение


Серый: невидимая зона
Красный: опасная зона


Оранжевый: быстрая зона


Большая нагрузка на глаза
Объект виден только одному
глазу — нагрузка
Зеленый: зона отдыха глаз


Рядом с плоскостью экрана
Комфортная для восприятия
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Bernard Mendiburu, “Tutorial on Stereoscopic Imaging”, Digital
Cinema Summit, NAB, 2009
16
Only for
Maxus 
Восприятие глубины
Постановка задачи
Цель: определить зону комфортного
восприятия
DoF = 0.2D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
17
Only for
Maxus 
Восприятие глубины
Максимальный параллакс (1)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
18
Only for
Maxus 
Восприятие глубины
Максимальный параллакс (2)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
19
Only for
Maxus 
Восприятие глубины
Гипотезы


Для каждой сцены существует свой
оптимальный DoF
Оптимальные параметры съёмки
достигаются при наименьшем искажении
объекта области интереса (RoI)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
20
Only for
Maxus 
Восприятие глубины
Субъективное тестирование (1)
Исследование, цель которого — проверка
гипотез + определение доминирующей, если
обе верные, но не могут быть выполнены
одновременно
 5 сцен
 3 значения DoF
 28 испытуемых
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
21
Only for
Maxus 
Восприятие глубины
Субъективное тестирование (2)
Сцены, использованные при тестировании
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
22
Only for
Maxus 
Восприятие глубины
Результаты (1)
Подчёркнутые значения являются наилучшими
согласно проведённому тестированию
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
23
Only for
Maxus 
Восприятие глубины
Результаты (2)



Исследование подтвердило универсальный
для всех сцен DoF = 0,2
В большинстве случаев при оптимальных
параметрах съёмки искажения объекта RoI
незначительны
Параметры съёмки определяются DoF
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New
stereoscopic video shooting rule based on stereoscopic distortion
parameters and comfortable viewing zone”, SPIE, 2011
24
Only for
Maxus 
Contents






Введение
Зона комфортного восприятия
Binocular luster
Zoom синхронизация
Временная синхронизация
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
26
Only for
Maxus 
Binocular luster
Введение
Binocular luster — визуальный эффект
сияния (свечения) объекта, вызванный
различными функциями контрастности
на левом и правом ракурсах
Left view
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Right view
Cyclopean Image
Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal
of binocular luster in compressed 3D images”, ICASSP, 2011
27
Only for
Maxus 
Binocular luster
Причины возникновения



Сжатие
Постобработка
Конвертация 2D в 3D (?)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal
of binocular luster in compressed 3D images”, ICASSP, 2011
28
Only for
Maxus 
Binocular luster
Детектирование при сильном сжатии (1)
Алгоритм:
1.
Построение карты полярности
для обоих видов
2.
Вычитание построенных карт
3.
Медианная фильтрация
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Can Bal, Ankit K. Jain, Truong Q. Nguyen, “Detection and removal
of binocular luster in compressed 3D images”, ICASSP, 2011
29
Only for
Maxus 
Binocular luster
Детектирование при сильном сжатии (2)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal
of binocular luster in compressed 3D images”, ICASSP, 2011
30
Only for
Maxus 
Binocular luster
Результаты
Left compressed view
Right compressed view
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Right compressed view
with shine detection
Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal
of binocular luster in compressed 3D images”, ICASSP, 2011
31
Only for
Maxus 
Contents






Введение
Зона комфортного восприятия
Binocular luster
Zoom синхронизация
Временная синхронизация
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
32
Only for
Maxus 
Zoom synchronization
Введение

Причины



Рассинхронизированная стереопара
Внутрикамерные различия
Рассинхронизация по времени
Эффекты


Напряжение глаз
Синхронизированная стереопара
Затруднение синтеза изображения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
33
Only for
Maxus 
Zoom synchronization
Субъективное оценивание
Исследование по влиянию асинхронного
масштабирования на визуальное восприятие
зрителя
 Коэффициент масштабирования 5-20%
 4 последовательности
 17 испытуемых
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
34
Only for
Maxus 
Zoom synchronization
Результаты тестирования
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
35
Only for
Maxus 
Zoom synchronization
Особенности алгоритма
Требования к видео:
 Синхронизация по времени
 Параллельная конфигурация камер
 Отсутствие вертикального параллакса
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
36
Only for
Maxus 
Zoom synchronization
Модель сцены
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
37
Only for
Maxus 
Zoom synchronization
Алгоритм
1.
Генерация пар
(SIFT detector)
2.
Задача линейной регрессии
(решение методом наименьших квадратов)
3.
Итоговое преобразование
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
38
Only for
Maxus 
Zoom synchronization
Результаты (1)
До синхронизации
Левый ракурс
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Правый ракурс
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
39
Only for
Maxus 
Zoom synchronization
Результаты (2)
После синхронизации
Левый ракурс
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Правый ракурс
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
40
Only for
Maxus 
Zoom synchronization
Результаты (3)
До синхронизации
Левый ракурс
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Правый ракурс
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
41
Only for
Maxus 
Zoom synchronization
Результаты (4)
После синхронизации
Левый ракурс
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Правый ракурс
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
42
Only for
Maxus 
Zoom synchronization
Выводы

Достоинство


Возможность расширения класса
применимости путём усложнения модели
Недостатки


Point-based
Жёсткие ограничения применимости
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al.
“Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
43
Only for
Maxus 
Contents






Введение
Зона комфортного восприятия
Binocular luster
Zoom синхронизация
Временная синхронизация
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
45
Only for
Maxus 
Временная синхронизация
Причина — дороговизна использования
дополнительного аппаратного обеспечения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Daniele Siragusano, “Stereo3D Postproduction”,
CinePostproduction
46
Only for
Maxus 
Временная синхронизация
Субъективное оценивание
Исследование по влиянию рассинхронизации
по времени на визуальное восприятие
зрителя
 Смещение ± 10 кадров
 Видео 25 fps
 66 тестов
 20 испытуемых
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal
synchronization in stereoscopic video: influence on quality
of experience and automatic asynchrony detection”, ICIP, 2010
47
Only for
Maxus 
Временная синхронизация
Результаты тестирования (1)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal
synchronization in stereoscopic video: influence on quality
of experience and automatic asynchrony detection”, ICIP, 2010
48
Only for
Maxus 
Временная синхронизация
Результаты тестирования(2)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal
synchronization in stereoscopic video: influence on quality
of experience and automatic asynchrony detection”, ICIP, 2010
49
Only for
Maxus 
Временная синхронизация
Выводы
Результаты:
—
—
Good
Bad
В пересчёте на fps:
Frame rate Frame shift Frame shift
(good)
(bad)
25 fps
2
5
50 fps
4
10
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal
synchronization in stereoscopic video: influence on quality
of experience and automatic asynchrony detection”, ICIP, 2010
50
Only for
Maxus 
Contents





Введение
Зона комфортного восприятия
Binocular luster
Zoom synchronization
Временная синхронизация




Subjective quality test
Distribution based sync
Inflection points based sync
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
51
Only for
Maxus 
Distribution based sync
Алгоритм
1.
2.
3.
Поиск точек с наибольшими
пространственно-временными
искажениями на обоих видах
Построение гистрограмм распределений
найденных точек
Поиск сдвига, минимизирующего разницу
гистограмм
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
52
Only for
Maxus 
Distribution based sync
Space-time interest points (1)

Пространство


детектор Харриса
Пространство + время
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
53
Only for
Maxus 
Distribution based sync
Space-time interest points (2)


Значимость точки
Выбираются 200 точек максимальной
значимости:
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
54
Only for
Maxus 
Distribution based sync
Space-time interest points (3)
Красным квадратом выделена область,
содержащая space-time interest points
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
55
Only for
Maxus 
Distribution based sync
Space-time interest points (4)
Красным квадратом выделена область,
содержащая space-time interest points
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
56
Only for
Maxus 
Distribution based sync
Корреляционная функция
Номер кадра
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
C(t)
Кол-во точек
Кол-во точек
Корреляционная функция
Распределение точек
(максимум соответствуют
Распределение точек интереса
интереса для левого ракурса
найденному сдвигу по времени)
для правого ракурса
Номер кадра
Сдвиг по времени
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
57
Only for
Maxus 
Distribution based sync
Результаты
Номер кадра
Номер кадра
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Сдвиг по времени
C(t)
Кол-во точек
Кол-во точек
Номер кадра
C(t)
Кол-во точек
Кол-во точек
Корреляционная функция
(максимум соответствуют
Распределение точек интереса Распределение точек интереса
найденному сдвигу по времени)
для левого ракурса
для правого ракурса
Номер кадра
Сдвиг по времени
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
58
Only for
Maxus 
Distribution based sync
Выводы

Достоинство


Скорость
Недостаток

Невозможно синхронизировать видео
с зацикленным движением
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
59
Only for
Maxus 
Contents





Введение
Зона комфортного восприятия
Binocular luster
Zoom синхронизация
Временная синхронизация




Subjective quality test
Distribution based sync
Inflection points based sync
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
60
Only for
Maxus 
Inflection Points based sync
Введение
Point of inflection (PoI) — точка
резкого изменения траектории
Идея: сопоставление не траекторий,
а ключевых точек траекторий
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Anthony Whitehead, Robert Laganiere et al. “Temporal
Synchronization of Video Sequences in Theory and in Practice”,
Motion and Video Computing, WACV/MOTIONS, 2005
61
Only for
Maxus 
Inflection Points based sync
Алгоритм (1)
1.
2.
3.
Вычисление PoI
Сопоставление на основе PoI
Уточнение результатов с помощью
эпиполярной геометрии
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Anthony Whitehead, Robert Laganiere et al. “Temporal
Synchronization of Video Sequences in Theory and in Practice”,
Motion and Video Computing, WACV/MOTIONS, 2005
62
Only for
Maxus 
Inflection Points based sync
Алгоритм (2)
Авторы используют feature tracker
для построения траекторий, по которым
вычисляются PoI
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Anthony Whitehead, Robert Laganiere et al. “Temporal
Synchronization of Video Sequences in Theory and in Practice”,
Motion and Video Computing, WACV/MOTIONS, 2005
63
Only for
Maxus 
Inflection Points based sync
Алгоритм (3)
Уточнение результатов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Anthony Whitehead, Robert Laganiere et al. “Temporal
Synchronization of Video Sequences in Theory and in Practice”,
Motion and Video Computing, WACV/MOTIONS, 2005
64
Only for
Maxus 
Inflection Points based sync
Результаты (1)
Camera
(#)
Gross sync
(frame #)
Gross
shift
Precise sync
(frame #)
Precise full Ground Truth
frame shift
(shift)
1
141
0
141
0
0
2
146
5
146.05
5
5
3
151
10
150.97
10
10
Результыты алгоритма на синтезированных данных
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Anthony Whitehead, Robert Laganiere et al. “Temporal
Synchronization of Video Sequences in Theory and in Practice”,
Motion and Video Computing, WACV/MOTIONS, 2005
65
Only for
Maxus 
Inflection Points based sync
Результаты (2)
Camera Gross sync
(#)
(frame #)
Precise sync
(frame #)
Manual sync
(frame #)
1
127
126.75
127
2
228
229.33
229
3
160
159
159
Результыты алгоритма на реальных данных
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Anthony Whitehead, Robert Laganiere et al. “Temporal
Synchronization of Video Sequences in Theory and in Practice”,
Motion and Video Computing, WACV/MOTIONS, 2005
66
Only for
Maxus 
Inflection Points based sync
Выводы

Достоинства



Отсутствие детерминированной ошибки
сопоставления траекторий
Возможен переход от точек к областям
(использование ME или OF)
Недостаток

Point-based алгоритм
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Anthony Whitehead, Robert Laganiere et al. “Temporal
Synchronization of Video Sequences in Theory and in Practice”,
Motion and Video Computing, WACV/MOTIONS, 2005
67
Only for
Maxus 
Содержание






Введение
Зона комфортного восприятия
Binocular luster
Zoom синхронизация
Временная синхронизация
Заключение
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
71
Only for
Maxus 
Заключение
Мои результаты
Stereo Quality Assessment Tool (SQAT) =
= VirtualDub filter + MATLAB script
Осуществляется контроль:
 максимального параллакса
 пространственной симметрии
 соответствия по цвету
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
72
Only for
Maxus 
Заключение
Мои результаты (2)
Контроль максимального параллакса
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
73
Only for
Maxus 
Заключение
Мои результаты (2*)
Контроль максимального параллакса
Channel mismatch
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
74
Only for
Maxus 
Заключение
Мои результаты (3)
Уровень глубины
Контроль максимального параллакса
[1180;1240]
[1930;1963]
-10
0
+20
500
1000
1500
2000
Номер кадра
График распределения количества
пикселей по уровням глубины
Максимальный
параллакс
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
75
Only for
Maxus 
Заключение
Мои результаты (4)
Контроль максимального параллакса
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
76
Only for
Maxus 
Заключение
Мои результаты (5)
Величина искажения
Контроль параллакса
-60
0
+120
500
1000
1500
2000
2500
3000
3500
4000
Номер кадра
График распределения количества
пикселей по уровням искажений
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
77
Only for
Maxus 
Заключение
Мои результаты (6)
Величина искажения
Контроль пространственной симметрии
3063
4533
-20
0
+20
1000
2000
3000
4000
5000
Номер кадра
График распределения количества
пикселей по уровням искажений
Максимальныe
искажения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
78
Only for
Maxus 
Заключение
Мои результаты (7)
Контроль пространственной симметрии
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 3063
79
Левый
ракурс
Левый
вид
Only for
Maxus 
Заключение
Мои результаты (8)
Контроль пространственной симметрии
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 3063
80
Правый
ракурс
Правый
вид
Only for
Maxus 
Заключение
Мои результаты (9)
Контроль пространственной симметрии
Смещение
по вертикали
(px)
-20
0
CS MSU Graphics & Media Lab (Video Group)
+20
www.compression.ru/video/
Кадр 3063
81
Визуализация
Правый вид
Only for
Maxus 
Заключение
Мои результаты (10)
Контроль пространственной симметрии
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 4533
3063
82
Левый
Левый
ракурс
вид
Only for
Maxus 
Заключение
Мои результаты (11)
Контроль пространственной симметрии
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 4533
3063
83
Правый
Правый
ракурс
вид
Only for
Maxus 
Заключение
Мои результаты (12)
Контроль пространственной симметрии
Смещение
по вертикали
(px)
-20
0
CS MSU Graphics & Media Lab (Video Group)
+20
www.compression.ru/video/
Кадр 3063
4553
4533
84
Визуализация
Правый вид
Only for
Maxus 
Заключение
Мои результаты (13)
Разница по цвету
Контроль соответствия по цвету
1140
500
1000
2260
1500
2000
2500
Номер кадра
График соответствия/несоответствия
по цвету между кадрами
Максимальныe
искажения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
85
Only for
Maxus 
Заключение
Мои результаты (14)
Контроль соответствия по цвету
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 3063
4553
1140
86
Визуализация
Левый
Левый
ракурс
вид
Правый
Only for
Maxus 
Заключение
Мои результаты (15)
Контроль соответствия по цвету
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 3063
4553
1140
87
Правый
Визуализация
Правый
ракурс
вид
Only for
Maxus 
Заключение
Мои результаты (16)
Контроль соответствия по цвету
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 3063
4553
1140
2260
88
Визуализация
Левый
Левый
ракурс
вид
Правый
Only for
Maxus 
Заключение
Мои результаты (17)
Контроль соответствия по цвету
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Кадр 3063
4553
1140
2260
89
Правый
Визуализация
Левый
ракурс
вид
Правый
Only for
Maxus 
Заключение
Были освещены:
 Базовые артефакты стерео видео
 3 субъективных тестирования по влиянию
различных артефактов
 Алгоритм детектирования binocular luster
 3 алгоритма синхронизации стереопары
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
90
Only for
Maxus 
Заключение
Дальнейшие планы (1)

Временная синхронизация



Zoom синхронизация


Реализовать алгоритм на основе
распределения space-time interest points
Разработать алгоритм, основанный
на идее points of inflection (PoI)
Доработать предложенный алгоритм
Binocular luster

Разработать алгоритм, способный детектировать
артефакт, возникший не обязательно при сжатии
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
91
Only for
Maxus 
Заключение
Дальнейшие планы (2)

Нечестное стерео (сдвиг по времени)


Разработать алгоритм, определяющий
некорректный способ построения стереопары
Восприятие глубины

Разработать алгоритм, сопоставляющий
информацию о глубине, полученную
из разных depth cues
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
92
Only for
Maxus 
Литература (1)
1.
2.
3.
4.
W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic
video shooting rule based on stereoscopic distortion parameters and
comfortable viewing zone”, Society of Photographic Instrumentation
Engineers, 2011
Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal
of binocular luster in compressed 3D images”, International Conference
on Acoustics, Speech, and Signal Processing, 2011
Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting
Unsynchronized Zoom in 3D Video”, International Symposium
on Circuits and Systems, 2011
Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal
synchronization in stereoscopic video: influence on quality of experience
and automatic asynchrony detection”, the International Conference on
Image Processing, 2010
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
93
Only for
Maxus 
Литература (2)
5.
6.
7.
8.
9.
Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time
interest point distribution”, Proceedings of Advanced Concepts
for Intelligent Vision Systems, 2004
Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization
of Video Sequences in Theory and in Practice”, Motion and Video
Computing, Workshop on Applications of Computer Vision, 2005
Andrew Woods, Tom Docherty, Rolf Koch, “Image Distortions
in Stereoscopic Video Systems”, Processing of Society of Photographic
Instrumentation Engineers, 1993
Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification
of stereoscopic artefacts”, MOBILE3DTV technical report, 2008
Burazerovic et al., “Automatic depth profiling of 2D cinema
and photographic images”, the International Conference on Image
Processing , 2009
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
94
Only for
Maxus 
Литература (3)
10.
11.
Stephan Reichelt, et al., “Depth cues in human visual perception and
their realization in 3D display”, Three-Dimensional Imaging,
Visualization, and Display 2010 and Display Technologies and
Applications for Defense, Security, and Avionics IV
Bernard Mendiburu, “Tutorial on Stereoscopic Imaging”, Digital Cinema
Summit, National Association of Broadcasters, 2009
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
95
Only for
Maxus 
А где слайд
с большим знаком вопроса?
=)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Copyrighted by Alexander Voronov
96
Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах Англии,
Франции, Швейцарии (в России в МГУ и
ИПМ им. Келдыша)
 Выпускниками защищено 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
97
1/--страниц
Пожаловаться на содержимое документа