close

Вход

Забыли?

вход по аккаунту

Рабочая программа по дисциплине Язык рекламы профиль;pdf

код для вставкиСкачать
Техника выделения ортотропных границ изображения и её применение
к ряду задач автоматической классификации транспортных средств в
видеопотоке*
Белогаев А.А.
Московский физикотехнический институт
(государственный
университет)
[email protected]
Кузнецова Е.Г.
Институт проблем
передачи информации им.
А.А. Харкевича РАН
[email protected]
Одной из таких задач является проблема
определения транспортного средства в кадре,
поставленная в рамках реализации системы
автоматической классификации транспортных
средств. Исходные данные представлены в виде
последовательности изображений во времени,
фиксирующихся видеокамерой, направленной
перпендикулярно оси движения транспортных
средств (ТС). Для детектирования движения в
системе АКТС используется ряд внешних
детекторов
(индукционная
петля,
корреляционный детектор) [2, 3]. Проблемой при
этом является наличие жестких сцепок ТС,
которые занимают малую часть кадра, и, как
следствие, часто не детектируются. Заметим, что
сцепка является протяженным объектом вдоль
горизонтальной поверхности, т.е. ее изображение
характеризуется наличием преимущественно
горизонтально направленных линий границ.
Таким образом, применение техники выделения
горизонтально
направленных
границ
обеспечивает корректное детектирование наличия
движущегося ТС с жесткими сцепками и может
быть использовано в совокупности с основными
детекторами движения в АКТС.
Другой задачей, для решения которой была
использована техника выделения ортотропных
границ в рамках АКТС, является проблема
определения мгновенной скорости движения
объекта (ТС) в видеопотоке. Последовательность
упорядоченных во времени кадров видеоряда
позволяет определить скорость движения объекта
(ТС) как его дискретное смещение для каждой
пары последовательных изображений. В рамках
Аннотация
Описывается
техника
выделения
ортотропных границ на последовательности
изображений видеоряда, представленных в
градациях
серого.
Рассматриваются
особенности использования данной техники для
решения нескольких задач в рамках системы
автоматической классификации транспортных
средств (АКТС), работающей в режиме
реального времени в условиях ограниченной
мощности
промышленных
компьютеров;
описывается ряд эвристик для повышения
качества работы предложенных алгоритмов,
приводятся оценки их сложности и результаты
замеров качества.
1. Введение
Классическим алгоритмом выделения границ
на изображении является детектор границ Канни
[1]. Алгоритм состоит из пяти шагов: размытие
изображения для удаления шума, поиск
градиентов в каждой точке, подавление немаксимумов (границы — локальные максимумы
градиента), двойная пороговая фильтрация и связь
границ в компоненты связности. Однако, в ряде
задач детектирования особенностей движущихся
объектов
в
видеопотоке,
выделение
неортотропных границ оказывается избыточным.
Под ортотропными границами в данном случае
понимаются границы, направленные параллельно
одной из осей координат — Ox или Oy (для
изображения на плоскости).
*
Николаев Д.П.
Институт проблем передачи
информации им. А.А.
Харкевича
[email protected]
Работа выполнена при финансовой поддержке РФФИ (грант № 13-07-00870-а)
184
данной
задачи
рассматривается
только
горизонтальное смещение объекта во времени,
вертикальное движение отсутствует. Заметим, что
ось
фиксирующей
камеры
расположена
достаточно близко к регистрируемому участку
автодороги, поэтому в каждый момент времени
камерой захватывается лишь часть протяженного
ТС, поэтому существующие методы сегментации
движущихся объектов в видеопотоке оказываются
неприменимыми. Т.к. по условию задачи
мгновенное смещение ТС не превышает ширины
регистрируемого кадра, для решения данной
задачи могут быть применены методы с
использованием оптического потока (optical flow).
Однако, реализованный ранее метод определения
смещения с использованием дифференциального
уравнения
Лукаса-Канаде
[4],
оказался
неприменимым
в
случае
нестабильного
искусственного освещения в ночное время (ИКфонари) [5]. Предложенный алгоритм вычисления
мгновенной скорости движения между двумя
последовательными
во
времени
кадрами,
определяемой из сопоставления вертикально
направленных линий в каждом кадре видеоряда,
характеризуется
нечувствительностью
к
изменениям освещенности и даже частичной
засветке кадра.
Отметим, что в связи с особенностями
рассматриваемой предметной области, оба
алгоритма должны быть устойчивы к следующим
факторам:
 дрожание камеры
 изменение освещения (естественного и
искуственного)
 естественные помехи (дождь, снег, тени).
линейна от размеров изображения не зависит от
радиуса размытия.
2. Выделяются локальные экстремумы
производной изображения вдоль оси Ox. Для
вычисления
производной
может
быть
использована, например, свертка с ядром
2. Техника выделения ортотропных
границ
3.
Опишем алгоритм выделения линий границ
(треков), направленных вдоль оси координат Ox
на изображении, представленном в градациях
серого в виде матрицы яркостей
Далее рассматривается задача обнаружения ТС
в видеопоследовательности с использованием
техники выделения горизонтальных треков.
Во всех описанных задачах рассматриваемая
область интереса на каждом кадре ограничена ROI
(region of interest) – прямоугольной областью,
определяемой геометрией полосы, содержащей
участок дороги, по
которому движется
регистрируемое ТС и гарантированно не
захватывающей области движения с других полос
автодороги.
(, ),  = 1 … ,  = 1 … ℎ,
[−1 0 1] .
(2)
3. Простым обходом в глубину вдоль
рассматриваемой оси экстремальные точки
объединяются в компоненты связности. При этом
из каждой точки поиск в глубину может
осуществляться по трем направлениям (рис. 1),
(i-1, j+1)
(i, j)
(i, j+1)
(i+1, j+1)
Рис. 1. Схема сбора компонент связности
разветвления (точки, имеющие два и более
соседних экстремальных пикселя) удаляются.
4. Полученные таким образом треки
фильтруются по длине для подавления случайных
выбросов.
Описанный
алгоритм
характеризуется
максимальной сложностью ( ∙ ℎ) по времени и
требует ( ∙ ℎ) памяти.
(1)
где  и ℎ – ширина и высота изображения
соответственно.
1. Для подавления высокочастотных шумов
исходное изображение сглаживается фильтром
Гаусса. Заметим, что здесь и далее для реализации
сглаживания используется рекурсивный алгоритм
свертки
изображения,
основанный
на
аппроксимации гауссового ядра с бесконечным
размером окна [6], т.е. сложность вычислений
185
Задача детектирования
видеопотоке
ТС
в
3.1 Словарь границ фоновых объектов
Регистрируемое изображение в каждый
момент времени состоит из движущегося объекта
(ТС) и неподвижного фона. Для выделения границ
движущегося объекта, предварительно создается
словарь статических фоновых границ —
множество неподвижных треков, детектируемых
на изображении в течение k последних кадров,
когда движение отсутствовало (рис. 2a).
Отсутствие движения определяется сигналами
внешних детекторов: индукционной петли и
корреляционного детектора. При этом найденным
фоновым границам присваивается индекс
устойчивости, зависящий от длительности
промежутка времени, в течение которого они были
видны. На рис. 2б) другим цветом выделены
устойчивые треки.
Рис. 3. Оценка сходства горизонтальных треков
 (3) с пороговым значением, экспериментально
установленным равным 0.09.
Далее строится гистограмма
 = (),
(4)
где  = 1. .  – абсцисса точки экстремума на
изображении,
() – количество экстремумов, имеющих
абсциссу  и принадлежащим подвижным трекам
объекта, а также лежащих на статичной линии
словаря и перекрытых на текущем кадре.
Для
подавления
случайных
выбросов
полученная гистограмма сглаживается по Ox
фильтром Гаусса. Считается, что на текущем
кадре присутствует движущийся объект, если
̅̅̅̅̅̅
() ≤  ∀ ∈ [ , + ],  ∈ [1,  − 1] (5)
а)
где символ “” означает усреднение по Ox
фильтром Гаусса.
б)
Рис. 2. Словарь границ фоновых объектов
3.3
3.2 Сопоставление найденных линий с
линиями из словаря
гистограммы
во
Однако, в случае, когда горизонтальные треки,
принадлежащие движущемуся объекту-сцепке
оказываются
достаточно
близкими
по
расположению к статическим линиям словаря, они
могут быть ложно отнесены к неподвижным, что
приводит к ошибке работы описанного алгоритма.
Тем не менее, если известна скорость ТС
относительно предыдущего кадра, усреднением
гистограмм, полученных на k последних фреймах
с заданным смещением, ложные подавления
границ движущегося объекта в отдельные
моменты времени сглаживаются.
Примеры усредненных во времени гистограмм
приведены на рис. 4а), б). На рисунке видна,
существенная разница между гистограммами
проездов двух следующих друг за другом с малым
интервалов ТС (рис. 4а) и ТС с жесткой сцепкой
(рис. 4б). И, согласно условию (5), для
построенных
таким
образом
гистограмм,
предложенный метод оказывается эффективным
Вообще говоря, горизонтальные треки
неподвижного фона не идеально неподвижны по
причине дрожания камеры, нестатичности
освещения, наличия теней и прочих помех. Для
оценки сходства линий границ на текущем кадре
со словарными в каждой точке трека, предлагается
использовать следующую метрику (рис. 3):
 =  ∙ (∆)2 + (∆)2 ,
Усреднение
времени
(3)
где ∆ - разность ординат пикселя словарной
линии и соответствующего (с той же абсциссой)
ему пикселя новой линии,

настроечный
коэффициент,
экспериментально установленный равным 0.0035
∆ - длина вектора разности единичных
нормалей, проведенных к соответствующим
точкам двух сравниваемых линий.
Оценка принадлежности каждой точки трека
неподвижному фону осуществляется сравнением
186
для детектирования движущихся сцепок ТС.
состоящие из экстремальных точек, определяемых
следующим образом (рис. 5):
1. Точки локальных максимумов (рис. 5-1) и
минимумов (рис. 5-2) на исходном яркостном
изображении среди пары соседних точек слева и
справа, абсолютная разность которых с соседними
точками превышает порог 1 , экспериментально
принятый равным 0.01.
2. На предварительно сглаженном фильтром
Гаусса изображении сверткой с ядром [−1 0 1]
вычисляется производная по Ox. Искомыми
точками являются локальные максимумы (рис. 53) и минимумы (рис. 5-4) производных,
абсолютные значения производной в которых
превышают порог 2 , экспериментально принятый
0.01.
Далее, согласно описанной ранее технике,
простым обходом в глубину выделяются
вертикальные
линии
связных
пикселей.
Результатом является четырехканальное бинарное
изображение,
где
единичным
пикселям
соответствуют координаты экстремальных точек,
принадлежащим вертикальным трекам каждого из
четырех типов границ. Найденные треки
фильтруются
по
длине.
В
результате
вычислительных экспериментов, минимальная
длина связной вертикальной линии была принята
равной 40.
y
а)
x
б)
Рис. 4. Проинтегрированные гистограммы
для близкого проезда двух ТС (a) и двух
сцепленных ТС (б)
Задача определения скорости движения ТС
относительно
предыдущего
кадра
рассматривается далее.
O
4. Определение скорости движения ТС
Далее рассматривается задача определения
мгновенной скорости горизонтального движения
протяженного ТС в видеопотоке на каждой паре
последовательных кадров.
4.1 Детектирование вертикальных границ
Для оценки горизонтального смещения ТС, на
каждом кадре выделяются вертикальные треки,
Рис. 5. Типы вертикальных границ
187
4.2 Удаление неподвижных границ
4.4 О применении алгоритма определения
скорости движения ТС
Для оценки величины мгновенного смещения
движущегося объекта на двух соседних кадрах,
требуется
удалить
вертикальные
треки,
соответствующие
неподвижным
фоновым
границам. Для этого выделим общие для этих
кадров граничные точки, рассчитав для пары
бинарных изображений треков побитовое «И», а
затем вычтем полученную картинку из обоих
кадров. На рис. 6а) показан результат выделения
вертикальных треков на кадре, содержащем ТС.
Множество треков с удаленными неподвижными
границами изображено на рис. 6б).
Описанный метод встроен в настоящую
версию системы АКТС и используется для
определения направлений въезда и выезда ТС на
контрольную
полосу.
Вычислительные
эксперименты показали, что данный алгоритм
устойчив к изменяющимся условиям освещения,
частичной засветке и случайным шумам и
обеспечивает 99.9% качества детектирования
направлений проездов на имеющемся тестовом
стенде АКТС (~6000 проездов).
Кроме того, алгоритм применяется для
создания панорамных изображений протяженного
ТС в течение проезда, создаваемых путем
усреднения каждого кадра движения ТС с
найденным мгновенным смещением относительно
предыдущего кадра (рис. 7), которое в
дальнейшем планируется использовать для
решения ряда вспомогательных задач АКТС.
а)
б)
Рис. 6. Удаление статических границ
5. Заключение
В данной работе описана техника выделения
ортотропных границ на изображении на основе
вычисления компонент связности, состоящих из
локальных пиков яркости и производной
изображения.
Предложенный алгоритм характеризуется
меньшей
вычислительной
сложностью
в
сравнении
с
распространенным
для
4.3 Совмещение вертикальных границ
Искомым на текущем кадре считается то
оптимальное смещение, при котором количество
совпадающих
пикселей,
принадлежащих
вертикальным
границам
на
паре
последовательных кадров, максимально.
Рис. 7. Панорамное изображение проезда ТС
188
детектирования линий границ в общем случае
алгоритмом Канни. Кроме того, результатом
работы детектора Канни является выделение
только линий «границ-ступеней», т.е. локальных
максимумов модуля градиента изображения.
Описанная техника детектирует также линии
«границ-холмов», т.е. локальных пиков яркости
изображения, которые также являются значимыми
границами на изображении.
Отметим, что в данной работе приведен
алгоритм детектирования ортотропных границ на
изображении, представленном в градациях серого,
однако данная техника может быть применена и к
многоканальным изображением с использованием
метода
вычисления
градиента
мультиспектрального изображения [7].
Рассмотрено
применение
предложенной
техники для решения следующих прикладных
задач в рамах АКТС:
 детектирование ТС в видеопотоке в условиях
наличия жестких сцепок,
 вычисление мгновенной скорости движения
объекта
на
последовательности
упорядоченных во времени кадров видеоряда.
Заметим, что в алгоритмах решения описанных
задач
ортотропные
границы
фактически
используются в качестве характерных признаков,
позволяющих прослеживать движущиеся и
статические объекты в видеопотоке. Вообще
говоря, существует ряд достаточно эффективных
алгоритмов
прослеживания
объектов
с
использованием различных характерных областей
на изображении, например, SIFT [8], SURF [9],
однако,
они
характеризуются
высокой
вычислительной сложностью, что затрудняет их
применение в системах реального времени на
промышленных вычислителях с ограниченным
быстродействием.
Предложенный алгоритм характеризуется
малой вычислительной сложностью, а результаты
вычислительных экспериментов показывают
высокое качество его работы при решении ряда
реальных прикладных задач АКТС. Кроме того,
алгоритм характеризуется устойчивостью к
случайным шумам на изображении, а также
характерных для видеосистем реального времени
нестабильным погодным условиям и условиям
освещения.
Таким образом, описанная техника является
эффективной для прослеживания статических и
поступательно
движущихся
объектов
в
видеопотоке в промышленных видеосистемах
реального времени, работающих в условиях
возникновения различной природы шумов и
ограниченных временных и вычислительных
мощностей.
Литература
[1] Canny J. A Computional Approach to Edge Detection //
IEEE Transactions on Pattern Analysis and Machine
Intelligence. 1986. V. PAMI-8, N 6. P. 679-698.
[2] A. Grigoriev, T. Kharipov, D. Nikolaev, Determination
of axle count for vehicle recognition and classification //
Proceeding of the 8th Open German-Russian Workshop
“Pattern Recognition and Image Understanding”
OGRW-8-2011, 2011. P. 89-91
[3] Григорьев А.С., Усилин С.А., Ханипов Т.М.,
Постников
В.В.,
Николаев
Д.П.
Способ
автоматической классификации транспортных
средств. Патент RU 2486597 C1
[4] Lucas B.D., Kanade T. An iterative image registration
technique with an application to stereo vision //
Proceeding of Imaging Understanding Workshop, 1981.
P. 121-130
[5] Кузнецова Е., Коноваленко И., Николаев Д.
Сравнение методов определения скорости движения
объекта в задаче оценки мгновенного смещения
транспортных средств. Труды 56-й научной
конференции МФТИ. Инновации и высокие
технологии. 2013. P. 55-57.
[6] Deriche R. Using Canny's criteria to derive a recursively
implemented optimal edge detector // Int. J. Computer
Vision. 1987. V. 1, N. 4. P. 167–187.
[7] Di Zenzo S. A Note of the Gradient of a multi-image //
Computer vision, Graphics and Image Processing. 1986.
N. 33. P 116-125.
[8] Lowe D. Distinctive image features from scale-invariant
keypoints // International Journal of Computer Vision.
2004. N. 2. P. 91.
[9] Funayama R., Yanagihara H., etc. Robust interest point
detector and descriptor. 2009. Patent US2009238460
A1.
189
1/--страниц
Пожаловаться на содержимое документа