close

Вход

Забыли?

вход по аккаунту

;pdf

код для вставкиСкачать
1
Санкт-Петербургский государственный электротехнический
университет «ЛЭТИ» имени В. И. Ульянова (Ленина)
На правах рукописи
Малашин Дмитрий Олегович
МЕТОДЫ ПОВЫШЕНИЯ БЫСТРОДЕЙСТВИЯ И ТОЧНОСТИ
СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЯ В ПРИКЛАДНЫХ ТЕЛЕВИЗИОННЫХ
КАМЕРАХ
Специальность: 05.12.04 – Радиотехника, в том числе системы и
устройства телевидения
ДИССЕРТАЦИЯ
на соискание ученой степени кандидата технических наук
Научный руководитель
д.т.н., проф. Цыцулин А.К.
Санкт- Петербург – 2014
2
ОГЛАВЛЕНИЕ
стр.
Cписок используемых сокращений……………………………………….
4
Введение……………………………………………………………………..
5
1 Обзор известных систем автоматической стабилизации
изображения, постановка задачи………………………........................
10
1.1 Виды современных систем стабилизации изображения……....
10
1.2 Системы автоматической стабилизации изображения на
основе косвенных методов измерения смещения изображения.
28
1.3 Системы автоматической стабилизации изображения на
основе прямых методов измерения смещения изображения…..
31
1.4 Выводы и постановка задач исследования……………………...
45
2 Структурный синтез прецизионной быстродействующей системы
стабилизации изображения……………………………………
47
2.1 Структурный синтез фотоприемного блока прецизионного
быстродействующего измерителя смещения изображения…..
47
2.2 Система автоматического управления в телевизионной
камере с прецизионной быстродействующей системой
стабилизации изображения……………………………………..
53
2.3 Выводы…………………………………………………………..
58
3 Разработка методов повышения быстродействия и точности
измерения смещения изображения……………………………………
59
3.1 Разработка прямого метода измерения смещения изображения
с субпиксельной точностью……………………………………...
59
3.2 Разработка метода для определения интерполирующей
функции ВКФ видеосигналов дополнительных
фотоприемников при малых смещениях………………………...
67
3.3 Разработка алгоритма определения оптимальных параметров
режекторного фильтра……………………………………………
76
3
Разработка алгоритма сокращения вычислительной сложности
3.4
вычислителя ВКФ…………………………………………………
84
3.5 Разработка метода повышения частоты измерения смещения
изображения……………………………………………………….
87
3.6 Выводы……………………………………………………………..
91
4 Апробация и внедрение разработанных методов……………………..
93
4.1 Модельное исследование формы аппроксимирующей кривой
АКФ изображений………………………………………………...
93
4.2 Экспериментальная проверка формы аппроксимирующей
кривой АКФ изображений………………………………………..
101
4.3 Экспериментальная проверка точности прецизионного
измерения смещения в зависимости от сюжетов изображения..
108
4.4 Макет видеокамеры с субпиксельным измерителем
смещения………………………………………….........................
4.5 Выводы……………………………………………………………..
118
119
Заключение………………………………………………………………….
124
Список использованных источников………………………………………
128
Приложение А……………………………………………………………….
139
Приложение Б……………………………………………………………….
157
Приложение В……………………………………………………………….
161
Приложение Г (Акты о внедрении) ………………………………………..
163
4
СПИСОК ИСПОЛЬЗОВАННЫХ СОКРАЩЕНИЙ
АКФ
Автокорреляционная функция
АРВН
Автоматическое регулирование времени накопления
АЦП
Аналого-цифровой преобразователь
ВКФ
Взаимно корреляционная функция
ВСнК
Видеосистема на кристалле
ИС
Измеритель смещения
ИУ
Исполнительное устройство
КУ
Комплекс управления
О
Основание
ОБПФ
Обратное быстрое преобразование Фурье
ОЦ
Оптическая цепь
ПЛИС
Программируемая логическая интегральная схема
ПЭ
Подвижный элемент
СБИС
Сверхбольшая интегральная схема
СКО
Среднеквадратичное отклонение
СКСИ
Система контроля смещения изображения
УСО
Устройство стабилизации основания
УФ
Устройство фиксации
ФП
Фотоприемник
5
ВВЕДЕНИЕ
Диссертация посвящена решению части крупной научно-технической
проблемы видеоинформатики – стабилизации изображения в прикладных
телевизионных камерах для использования, в первую очередь, в движущихся
по неровным дорогам и бездорожью транспортных средствах. При этом
акцент делался на частной, но достаточно актуальной задаче компенсации
смаза изображения, вызываемого колебаниями визирной оси телекамеры при
воздействии механических возмущений типа вибрации основания.
Актуальность темы. Актуальность этой работы связана с потребностью
создания качественно нового класса телевизионных камер с автоматической
стабилизацией изображения, способных компенсировать большие ускорения
вибрации
и
обеспечивать
высокую
точность
позиционирования
исполнительного устройства в условиях жестких требований к массагабаритным характеристикам изделия и призвана способствовать реализации
федеральной
целевой
программы
”Исследования
и
разработки
по
приоритетным направлениям развития научно-технического комплекса
России” на 2014-2020 г.
Узкий диапазон компенсируемых возмущений и собственно сама
проблематика совмещения изображений – «вечная» проблема телевизионной
техники. Одним из основоположников решения данной проблемы является
У. Прэтт, рассмотревший вопрос совмещения изображений с точки зрения
корреляционной и последовательной привязок. Группе задач посвящённых
автоматической стабилизации изображения и извлечению максимума
полезной информации из телевизионного сигнала посвятил свои работы А. К.
Цыцулин. В развитие методов цифровой и электронной стабилизации
изображения вклад внесли труды Р. Вудса, Р. Гонсалеса, Ю. Б. Зубарева,
В. П. Дворковича,
аэрокосмических
Р.
Е.
Быкова
изображений
и
др.
методом
Проблематику
локальной
совмещения
корреляции
рассмотрели А. С. Потапов, И. А. Малышев, В. Р. Луцив. Задачи, связанные с
6
системами контроля смещения изображения, рассмотрели такие научные
деятели, как: А. Хаяши, Я. Китогава, Н. Е. Конюхов, Н. В. Кравцов, П. В.
Николаев, Ю. Г. Якушев и др. В решение задач, относящихся к
рассматриваемой проблеме, внесли вклад Д. Н. Еськов, М. И. Кривошеев, А.
В. Петраков, Б. С. Тимофеев, И. Н. Пустынский, И. П. Гуров, А. А. Бузников,
М. Н. Голушко. Данная диссертация является развитием известных
результатов в области стабилизации телевизионного изображения
акцентированием
внимания
на
значительном
расширении
с
диапазона
компенсируемых возмущений и повышению точности систем стабилизации.
Целью работы является улучшение качества изображения прикладных
телевизионных камер в жестких условиях эксплуатации. Для достижения
поставленной цели были поставлены и решены следующие задачи:
1) разработка
методов
повышения
быстродействия
стабилизации
изображения;
2) разработка методов достижения субпиксельной точности измерений в
реальном времени малых смещений изображений;
3) апробация разработанных методов.
Основные методы исследования. Для решения поставленных в
диссертационной
работе
задач
были
использованы:
методы
теории
оценивания, численные методы и методы математического моделирования.
Научная новизна. Научную новизну характеризуют следующие
полученные научные результаты:
1. Предложен метод стабилизации изображений, основанный на прямом
методе измерения смещения с субпиксельной точностью, отличающийся тем,
что позволяет существенно расширить диапазон скоростей смещения
визирной оси, при которых искажения смаза маскируются шумом.
2. Введена
необходимость
учета
аппроксимации
взаимно
корреляционной функции изображений полиномом четвертой степени при
субпиксельных смещениях изображения.
7
3. Предложен
алгоритм
определения
оптимальных
параметров
режекторного фильтра, основанный на нахождении компромисса между
потерей точности и вычислительной сложностью фильтра.
Практическая
определяется
значимость.
выигрышами,
Практическая
достигнутыми
значимость
благодаря
работы
эффективности
разработанных методов повышения быстродействия и точности систем
автоматической стабилизации изображения:
 предложенный метод измерения смещения изображений позволяет
вплотную приблизиться к теоретическому пределу эффективности маскированию шумом скоростного смаза (ошибок стабилизации);
 предложенная аппроксимация взаимно корреляционной функции
полиномом четвертой степени, позволяет в зависимости от сюжета добиться
точности измерения смещения изображения 0,006 …0,07 пикселя;
 определены параметры импульсной характеристики режекторного
фильтра,
обеспечивающие
компромисс
между
потерей
точности
и
вычислительной сложностью;
 расширение диапазона частот компенсируемых возмущений на 2
порядка за счет реализации системы измерения смещения изображения в
виде ВСнК и распараллеливания считывания видеосигналов с линейных
фотоприемников.
Диссертация содержит введение, четыре главы и заключение. Первая
глава посвящена обзору известных систем автоматической стабилизации
изображения, основанных на различных методах измерения смещения
изображения [1]–[90]. Основной акцент в данной главе делается на
существующие ограничения в рассматриваемых системах и ставится научная
задача диссертации. Рассматриваются как системы стабилизации изображения,
так и методы измерения смещения. Дается объективная оценка развития
рассматриваемой области знаний на сегодняшний день.
Вторая глава посвящена структурному синтезу быстродействующей
прецизионной
системы
стабилизации
изображения.
Рассматриваются
8
различные варианты построения фотоприемного блока, состоящего из
основного и измерительных фотоприемников. Освещается создание следящей
системы с отрицательной обратной связью в рамках разрабатываемых методов.
Третья глава посвящена разработке методов повышения быстродействия и
точности измерения смещения изображения. Приводятся подробные данные о
разработанной методике синтеза телевизионных камер со стабилизацией
изображения.
Аналитически
обосновывается
использование
двух
дополнительных ортогональных линейных фотоприёмников и предложенной
аппроксимации
корреляционной
функции,
позволяющее
существенно
расширить диапазон компенсируемых возмущений визирной оси. Показывается
преимущества реализации измерителя смещения изображения в виде ВСнК.
Четвертая
глава
целиком
посвящена
апробации
и
внедрению
разработанных методов. В ней представлены результаты, полученные в ходе
проведения различных практических экспериментов позволяющие оценить
достоверность используемой методики. Получены практические данные о
форме аппроксимирующей кривой АКФ изображений, а также оценки
измерения смещения изображения для различных сюжетов. Обоснованы
различия в потенциальной точности определения координат сдвинутого
изображения для основных и линейных фотоприемников.
Заключение подчеркивает внутреннее единство решенных задач,
новизну и значимость полученных результатов и содержит выводы по
диссертации, совокупность которых позволяет сделать вывод о решении
поставленной задачи – разработки методов повышения быстродействия и
точности стабилизации изображения в прикладных телевизионных камерах.
Основные положения, выносимые на защиту:
1. Предложенный способ построения телекамеры с множественными
потоками информации на основе считывания видеосигналов не только с
основного матричного фотоприёмника, но и с двух ортогональных линейных
фотоприемников, позволяет повысить быстродействие прямого измерения
9
смещения изображения на два порядка по сравнению с телекамерой с
единственным потоком видеоинформации.
2. Аппроксимация
ВКФ
полиномом
четвертой
степени
при
субпиксельных смещениях изображения средней детальности позволяет
повысить точность измерения смещения изображения до 2 дБ по сравнению с
аппроксимацией ВКФ полиномом второй степени.
3. Порядок
режекторного
фильтра
обострения
ВКФ
должен
определяться исходя из формализованного компромисса между потерей
точности и вычислительной сложностью фильтра.
Реализация результатов работы. Результаты работы использованы в
разработках ООО «Пекод», НИР ОАО «НИИТ» и учебном процессе
СПбГЭТУ «ЛЭТИ», о чём имеются акты внедрения.
Публикации. По теме диссертации опубликовано 8 работ, 2 из которых
опубликованы в журнале, входящем в перечень ВАК, 4 работы содержатся в
сборниках материалов научных конференций. Получен 1 патент РФ на
изобретение. По одной заявке на изобретение имеется решение о выдаче
патента.
Апробация работы. Основные положения диссертационной работы
представлялись и обсуждались на:
– научно-технических конференциях СПбНТО РЭС имени А.С. Попова,
СПб, 2012, 2013 гг.;
– международных научно-технических конференциях "Телевидение:
передача и обработка изображений", СПб, 2012, 2013 гг.;
– научно-технических конференциях профессорско-преподавательского
состава СПбГЭТУ «ЛЭТИ» в 2012, 2013, 2014 гг.
Структура и объем диссертации. Диссертация состоит из списка
используемых
сокращений,
введения,
4
глав,
заключения,
списка
использованных источников, включающего 109 наименований. Диссертация
изложена на 138 страницах машинописного текста, содержит 60 рисунков и 3
таблицы.
10
1 ОБЗОР ИЗВЕСТНЫХ СИСТЕМ АВТОМАТИЧЕСКОЙ
СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЯ, ПОСТАНОВКА ЗАДАЧИ
1.1 Виды современных систем стабилизации изображения
Перед
рассмотрением
непосредственно
систем
стабилизации
изображения, следует, прежде всего, отметить параметры возмущающих
воздействий. При движении транспортного средства по бездорожью
возникают высокочастотные колебания от 1000 Гц и выше. Конкретный
диапазон возмущающих воздействий в каждом конкретном случае разный,
он определяется такими параметрами как неоднородность почвы, состав
почвы, скорость движения транспортного средства, масса транспортного
средства и т.д. Как правило, основные вибрации присутствуют на частотах от
0 до 5 кГц. Данным диапазоном и ограничимся при постановке задач
диссертации.
Современные
классифицировать
системы
по
стабилизации
множеству
различных
изображения
критериев:
можно
по
типу
исполнительного устройства, по диапазону компенсируемых возмущений, по
виду используемого измерителя смещения изображения, по точности
стабилизации и др.
В целом, все системы стабилизации можно классифицировать по
следующим видам: оптическая, механическая, цифровая, электронная,
программная.
Также
сюда
можно
отнести
различные
комбинации
представленных систем.
Целенаправленный выбор предполагаемой схемы оптического прибора
со стабилизацией изображения в основном определяется принципом
построения
системы
управления,
которая
обязана
с
высокой
чувствительностью реагировать на внешние возмущения широкого спектра
частот, вызвавших смещение изображения. В этом случае, при создании
11
системы
стабилизации,
можно
выделить
два
направления.
Первое
направление связано с применением различных лазерных или механических
высокочувствительных гироскопов, фиксирующих перемещения подвижного
основания в пространстве и выдающих соответствующие сигналы на
следящие системы, управляющие исполнительными устройствами прибора и
компенсирующие
динамические
сдвиги
изображения.
Ко
второму
направлению можно отнести использование различных информационных
систем контроля смещения изображения в координатных осях фокальной
плоскости и с созданием замкнутых систем управления непосредственно по
изображению[1].
Вернемся к основной классификации систем стабилизации. Под
программной
оперирование
стабилизацией
уже
изображения,
готовыми
потоками
как
правило,
понимают
видеоданных.
Наиболее
распространенными на сегодняшний день, являются программные продукты,
которые
по
анализу
смаза
изображения
на
полученном
кадре,
восстанавливают исходное изображение. Данная обработка выполняется
непосредственно на персональном
компьютере и занимает большое
количество времени. Не так давно появилось новое направление в системах
автоматической стабилизации, а именно программные системы стабилизации
реального времени. Иногда их относят к классу цифровых систем
стабилизации, что, по моему мнению, является более правильным.
Целесообразно называть их цифровые системы стабилизации реального
времени.
Цифровая стабилизация изображения реального времени может быть
разделена на 3 части, а именно: предварительная обработка изображения,
глобальная система оценивания движения и система сглаживания/коррекции
изображения [2].Предварительная обработка изображения, в основном, –
низкоуровневая
обработка
изображения
и
характеризуется
большим
количеством входных данных и простых вычислений. Она включает в себя
следующие составляющие: световую компенсацию, операцию сдвига,
12
операцию усреднения, операцию порога, генерацию таблиц соответствия и
коррекцию
гистограмм.
оценивание
глобальных
Система
оценивания
межкадровых
движения
векторов
отвечает
движения,
за
которые
направляются системе коррекции движения. Система компенсации движения
выполняет стабилизацию последовательности изображений в соответствии с
глобальной моделью движения.
На сегодняшний день, активно развивается огромное количество
различных систем цифровой стабилизации изображения. Чаще всего,
оценивание перемещения основано на алгоритме согласования блоков [3,4] и
фазовом корреляционном алгоритме [5,6,7]. В алгоритмах согласования
блоков, в частности, выделяют алгоритмы согласования точек, алгоритм
согласования краев профилей, согласование разрядных матриц в коде Грея и
блоковой фильтрации векторов перемещения. Но эти алгоритмы не столь
эффективны
при
одновременно
двух
видах
движения
камеры:
поступательного и вращательного. Для этой цели используется метод
фазовой корреляции для оценивания перемещения, который позволяет
достичь лучших качественных результатов.
Опишем краткий алгоритм метода фазовой корреляции[2] (смотри
рисунок 1.1):
Определение корреляционного пространства:
– Поделить изображения I
k 1
и I
k
(предыдущее и настоящее
изображение) на блоки пикселей 64х64, названные под-изображением,
– Выполнить двумерное БПФ (быстрое преобразование Фурье) над
каждым блоком,
– Взять двумерное ОБПФ (обратное быстрое преобразование Фурье) и
идентифицировать наиболее доминантный пик,
– Использовать координаты пика как предполагаемые вектора для
сопоставления 16х16 блоков,
– Нормированное пересечение спектра двумерного ОБПФ – это фазовое
корреляционное пространство.
13
Определение глобальных векторов движения:
– Анализ наибольших пиковых значений амплитуды и значений их
координат, известных как локальный вектор движения,
– Взять среднюю величину двух наибольших локальных векторов
движения четырех соседствующих пикселей
– Усреднение обнаруженного локального вектора движения, известно
как глобальный вектор движения (ГВД).
Необходимо сказать несколько слов о практической реализации данного
алгоритма (рисунок 1.2 и рисунок 1.3). В данном случае, это было
реализовано в виде отдельного печатного узла, совместимого с PCI [2]. В
качестве основных обрабатывающих микросхем были взяты 6 микросхем
Virtex 2. Разрешение 320x240 пикселей(2006 г).
Теперь перейдем непосредственно к несколько другому методу
стабилизации изображения, а именно электронному. Иногда, его тоже
относят к цифровой стабилизации изображения.
Так какой же смысл несет в себе это понятие — “электронная
стабилизация”? Данный термин появился сравнительно недавно в период
бурного развития систем обработки информации. Этот метод предоставляет
возможность отойти от использования различных исполнительных устройств
(ИУ), применяемых в других видах стабилизации, что в свою очередь
позволяет получить большую степень микроминиатюризации аппаратуры.
Альтернативный способ электронной стабилизации использует ту же
концепцию “вырезания окна”. Отличие заключается только в том, что
активная (эффективная) область изображения формируется не из готовых
кадров, а, образно говоря, на самой ПЗС матрице. На фоточувствительном
элементе камеры выбирается центральная часть, на которой располагается
эффективная область изображения, а боковые пиксели играют роль ”буфера”.
При дрожании камеры, изображение начинает перемещаться по матрице.
Блок обработки регистрирует эти перемещения, и открывает окно в той части
матрицы, куда было произведено смещение.
14
Рисунок 1.1 – Расположение под-изображений, используемых для оценки
локального движения
15
Рисунок 1.2 – Пример программной стабилизации изображения реального
времени
16
Рисунок 1.3 – Пример программной стабилизации изображения реального
времени
17
Рисунок 1.4 – Упрощенная блок-схема электронной стабилизации
изображения
18
На рисунке 1.4 представлена типичная упрощенная блок-схема
электронной стабилизации изображения с вырезанием ”окна”. Прежде всего,
происходит захват изображения. Потом кадр делится на макроблоки.
Методом параллельной обработки выполняется пространственная оценка и
оценка движения.
После того как эти характеристики интегрируются в глобальные вектора
движения, происходит обрез текущего изображения в соответствии с этими
векторами (рисунок 1.5) [8].
На сегодняшний день, производители электронных компонентов (к
примеру, фирма Photonfocus) активно развивают направления производства
КМОП матриц с поддержкой формирования отдельных считывающих
областей или окон, в том числе множественных областей считывания. Это
дает возможность считывать данные с матрицы с разной кадровой частотой,
что позволяет в свою очередь увеличить диапазон компенсируемых
ускорений. Данную особенность необходимо осознать с целью лучшего
понимания
изложенного
в
основной
части
диссертации.
Именно
технологические возможности современных производств элементной базы
электронных компонентов, в частности фотоприемников, обеспечивают ряд
выигрышей
в
функционале
и
производительности
которые
можно
достигнуть.
Широкое применение нашли системы оптической и механической
стабилизации изображения. Суть этих систем достаточно точно отражают
названия: “оптическая” и “механическая”. Под механической системой
стабилизации изображения чаще всего подразумевают автоматическую
стабилизацию,
в
которой
используется
механическое
перемещение
отдельных частей камеры для компенсации сдвига изображения. На
физическом уровне это достигается использованием специализированных
приводных систем. Отличие оптической стабилизации от механической
выражается в том, что компенсация нежелательного перемещения
19
Рисунок 1.5 – Вырезание фрагмента изображения при электронной
стабилизации изображения
20
изображения происходит за счет использования оптической системы,
представленной в виде линзы или системы линз.
Обе вышеуказанные системы стабилизации изображения используют
специальные приводные механизмы.
В оптической системе помимо
погрешности позиционирования ИУ добавляются аберрации вносимые
системой линз.
С другой стороны
перемещение оптической линзы в целом гораздо
менее энергоемко, нежели перемещение других частей телевизионной
камеры, которые используются при механической системе стабилизации
изображения.
В качестве примера типичной механической системы стабилизации
изображения
рассмотрим
систему
стабилизации,
представленную
на
рисунках 1.6 и 1.7 [9] . Принцип действия достаточно прост. Компенсация
смещения изображения осуществляется непосредственно перемещением
печатной платы с закрепленным на ней фоточувствительным элементом. В
роли
приводов
выступают
специальные
электрические
магниты,
расположенные на соседнем печатном узле.
В качестве системы измерения смещения используются датчики
положения, основанные на Эффекте Холла. Главное достоинство этих
датчиков заключается в отсутствии механических движущихся частей и
высоком быстродействии (до 100 кГц). Благодаря этому датчики Холла
отличаются
высокой
надежностью,
долговечностью
и
не
требуют
физического контакта с измеряемой средой.
На рисунке 1.8 представлен график [9], иллюстрирующий отклики
системы на возмущающие воздействия. График представлен для 3-х
состояний магнитного материала: горячего, нормального и холодного. Это
обусловлено изменением вязкости феррофлюида с изменением температуры.
Рисунок 1.9 [9] иллюстрирует величины возможного частотного
диапазона компенсируемых возмущений опять же для 3-х различных
температур (от горячего к холодному сверху вниз).
21
Рисунок 1.6 – Система стабилизации изображения, использующая
магнитную систему перемещения
Рисунок 1.7 – Система стабилизации изображения, использующая магнитную
систему перемещения. Вид сбоку
22
Рисунок 1.8 –Зависимость времени отклика системы управления от величины
возмущений
Рисунок 1.9 – Зависимость частоты компенсируемых возмущений от
отношения амплитуд
23
Очевидно, что использовать данный вид стабилизации при воздействиях
выше 30 Гц представляется достаточно проблематичным. Данная система
стабилизации может найти ограниченное применение для компенсации
низкочастотных возмущений, например, в различных фотоаппаратах и
телевизионных камерах дешевого сегмента.
Рассмотрим
упрощенную
схему
(рисунок
1.10)
оптической
стабилизации изображения с использованием жидкостных линз [10]. Для
компенсации возмущающих воздействий по каждой из осей требуется по две
жидкостных линзы. Особенность жидкостных линз заключается в том, что
они могут изменять своё фокусное расстояние под действием электрического
тока. Такой подход позволяет создавать системы стабилизации изображения
без использования механического перемещения линз. Недостаток данного
подхода, при котором в качестве ИУ выступает жидкостные линзы, в
относительно небольшом диапазоне компенсируемых возмущений. Это
связано с недостаточной скоростью изменения фокального расстояния линз.
Популярной является система стабилизации изображения на линейных
двигателях [11]. В ее состав входит непосредственно линза, перемещение
которой и осуществляет коррекцию изображения, а также контроллер
осуществляющий управление (рисунок 1.11). Данная система может
компенсировать более высокие частоты вибраций за счет особенностей
линейных двигателей.
К недостаткам данной системы можно отнести относительно низкую
точность позиционирования ИУ, а также высокое энергопотребление и
сложность обеспечения электромагнитной совместимости в аппаратуре. К
несомненным
достоинствам
относится
невысокая
себестоимость
производства изделия.
В качестве интересного ИУ для стабилизации визирной оси телекамеры
можно использовать устройство компании Physik Instrumente – гексапод на
пьезоприводах. На рисунке 1.12 показан общий вид устройства.
24
Рисунок 1.10 – Система стабилизации изображения на жидкостных линзах
Рисунок 1.11 – Система стабилизации изображения на линейных двигателях
25
Данное изделие осуществляет перемещения на расстояние до 50 мм во
всех плоскостях и позволяет компенсировать частоты порядка 1 кГц с
субпиксельной (около 0.5 мкм) точностью. К недостаткам можно отнести
чрезвычайно высокую стоимость и большие габаритные размеры.
На сегодняшний день существует множество более современных
пьезоприводных систем отвечающих всем современным требованиям к
микроминиатюризации, точности, надежности и скорости перемещений.
Изделие, представленное на рисунке 1.13 (фирма Physik Instrumente, M-661),
может осуществлять перемещения с ускорением до 20g при шаге
перемещения 100 нм и диапазоне перемещения 20 мм. Это ИУ является,
пожалуй, одним из лучших на сегодняшний день в серийном производстве.
Это устройство обладает единственным недостатком – высокой стоимостью,
однако
для
использования
в
системах
стабилизации
изображения
специального применения может быть чрезвычайно эффективным.
Очевидно,
что единственная
высокоскоростные
высокоточные
причина,
по которой
отсутствуют
системы стабилизации изображения,
заключается в недостатках существующих систем измерения смещения, так
как ИУ уже могут обеспечивать необходимую точность и быстродействие, а
систем
измерения
смещения
способных
обеспечить
необходимое
быстродействие, по сути, нет.
Прежде чем непосредственно перейти к рассмотрению существующих
систем измерения смещения, выделим несколько характерных концепций
построения видеоинформационных систем [A1]:
• учёт семантической смены сюжета или концепция малокадрового
телевидения, предложенная С. И. Катаевым и вошедшая в практику
космического телевидения [12], позже получившая развитие в виде
адаптации кадровой частоты к динамике сюжета для максимизации
количества информации в кадре [13];
• учёт влияния подвижности изображения на разрешающую способность
телевизионной системы [14], в том числе при наблюдении Земли из космоса
26
Рисунок 1.12 – Гексапод на пьезоприводах. Общий вид
Рисунок 1.13 – Сверхскоростной миниатюрный пьезопривод
27
[15],
позволивший
формализовать
требования
к
стабилизаторам
изображений, в частности, в современных цифровых фотоаппаратах, где
реализуются косвенные методы оценки возмущения визирной оси с
помощью датчиков ускорений [16];
• обработка изображений для компенсации смаза [17], выдвинувшая
дополнительные требования к программно-аппаратным средствам обработки
видеосигнала в реальном времени;
• электронная стабилизация
изображения для облегчения работы
оператора, не учитывающая потери информации из-за смаза и использующая
прямой метод оценки возмущений, но эффективная при медленных
возмущениях [18];
• адаптивная
оптика,
позволяющая
компенсировать
возмущения
турбулентной атмосферы благодаря использованию нескольких подвижных
сегментов зеркала [19];
• электромеханическая
использующая
прямой
стабилизация
метод
оценки
изображения
медленных
в
астрономии,
возмущений
по
ограниченному набору изображений при наличии в поле зрения опорной
звезды с яркостью, на порядки большей, чем у исследуемой звезды в
основном поле [1];
• электромеханическая
прямой
метод
оценки
стабилизация
быстрых
изображения,
возмущений
по
использующая
широкому
классу
изображений. Запас энергии, необходимый при скоростном считывании
сигнала, достигается не за счёт яркости объектов, а за счёт площади
вспомогательного изображения [20].
Частично мы затронули некоторые аспекты построения данных
концепций видеоинформационных систем в вышеизложенном анализе.
Дальнейшее рассуждение будет, в основном, посвящено рассмотрению
систем стабилизации изображения на основе различных методов измерения
смещения.
28
1.2 Системы автоматической стабилизации изображения на основе
косвенных методов измерения смещения изображения
Системы
автоматической
стабилизации
изображения
на
основе
косвенных методов измерения смещения, в целом, являются более простыми
системами, нежели системы стабилизации, использующие прямые методы
оценки смещения. Косвенные методы используют в основном показания от
различных датчиков для определения вибраций воздействующих на
телевизионную камеру. Большая часть, существующих в настоящее время
систем стабилизации изображения использует информацию о текущем
значении параметров движения основания [1]. В этом случае, мы получаем
оценку движения не изображения, что является более корректным, а лишь
оценку движения части устройства, в которой установлены датчики. В силу
влияния очевидных факторов группу данных методов оценки смещения
принято называть косвенными.
Рассмотрим обобщённую функциональную схему оптического прибора
[1]. На вход оптической цепи (ОЦ) поступает оптический сигнал gо.с.
Движения изображения в фокальной плоскости объектива характеризуется
вектором vи. Вектор vп движения фотоприёмника (ФП) в сумме с вектором vи
даёт вектор разностного движения Δv, который в свою очередь, поступает на
устройство фиксации (УФ). В качестве устройства фиксации изображения
может быть использован твердотельный датчик изображения.
Сдвиг изображения δ на устройстве фиксации определяется не только
параметрами вектора Δv, но и характеристиками УФ.
Одной из основных причин смещения изображения является движение
основания О под действием возмущений Во. С помощью параметров
движения основания определяют вектор движения v0. Параметры этого
вектора вычисляются измерителем смещения основания (ИС) и поступают в
качестве
управляющих
воздействий
на
комплекс
управления
(КУ)
движением подвижных элементов (ПЭ) оптической цепи и фотоприёмника.
29
Для этой цепи комплекс управления вырабатывает компенсирующие
движения vк1 и vк2. Для частичной компенсации сдвига изображения
информация на выходе ИС может использоваться в устройстве стабилизации
основания (УСО).
Приведённая на рисунке 1.14 схема показывает, что в данном случае
система стабилизации изображения построена по разомкнутому принципу и
не может быть эффективно использована для компенсации возмущающих
воздействий В0 и Вп на ОЦ и ФП соответственно. Погрешности ИС приводят
к некомпенсируемым погрешностям в целом [1].
Примеры системы стабилизации изображения на основе косвенных
методов измерения смещения представлены в патентах [21,22]. Оба
устройства содержат датчики для коррекции положения, основное отличие
заключается в выбранных ИУ и перемещаемых узлах изделий. В первом
случае,
в
элементы,
качестве
во
перемещаемого
втором
случае
элемента
матричный
выступают
фотоприемник.
оптические
Главным
достоинством патента с перемещаемым фотоприемником является высокая
степень микроминиатюризации устройства.
Косвенные методы в целом не удовлетворяют требованиям по точности
для оценки смещения, и могут быть использованы для компенсации лишь
низкочастотных возмущений, где задача не избавиться от заметного
скоростного смаза, а требуется лишь снизить его влияние, чтобы получить
изображения приемлемого качества. Однако бывает иногда полезно
использовать косвенные методы оценки смещения вместе с прямыми
методами измерения смещения [23]. Это дает возможность системе сравнить
оценки, полученные прямым методом оценки по изображению (прямые
методы будут рассмотрены в дальнейшем) и косвенным методом с помощью
датчиков и выделить на изображении движущиеся объекты (рисунок 1.15).
То есть, другими словами, это дает возможность выделить на изображении
30
Рисунок 1.14 – Обобщенная функциональная схема оптического прибора
Рисунок 1.15 – Иллюстрация одновременного смещения объектов на
изображении и вибрациями телевизионной камеры
31
движущиеся и стационарные части изображения и грубо оценить вектора их
взаимных движений.
Как
видно
на
рисунке
1.15
[23]
могут
быть
одновременные
вибрационные воздействия телевизионной камеры и изменение положения
человека относительно травы уже на самом изображении. Данная система
является достаточно интересной, но подчеркнем, что косвенный метод
измерения смещения, используемый здесь, являются лишь дополнением к
прямому методу. В параграфе, посвящённому прямым методам измерения
смещения, мы рассмотрим способы определения взаимного движения
объектов на изображении без использования каких либо дополнительных
датчиков, а посредством информации поступающей лишь с самого
видеоизображения.
1.3 Системы автоматической стабилизации изображения на основе
прямых методов измерения смещения изображения
Как очевидно из самого названия, сущность прямых методов измерения
смещения заключается в оценке пространственного сдвига изображения на
самом
фотоприемнике,
посредством
анализа
лишь
видеоданных
с
изображения. Этот анализ может быть осуществлён большим количеством
способов, далее мы рассмотрим некоторые основные из них. Но перед этим
вернемся к рассмотрению вопросов, затронутых в предыдущем параграфе об
определении смещения объектов относительно друг друга на самом
изображении без использования дополнительных датчиков. Решение данной
задачи в первую очередь связано с тематикой распознавания образов.
Сущность подхода заключается в определении определенных объектов на
изображении, определении линий, обострения контуров, и других методов
цифровой обработки изображений. Методологически грамотно данные
вопросы цифровой обработки видеоизображений описаны в известном труде
32
Р. Е. Быкова [24]. Выделив объект на видео кадре можно провести анализ его
перемещения по полю изображения.
Для
понимания
дальнейшего
изложения
рассмотрим
способ
стабилизации изображения [1], в котором используется прямой метод
измерения смещения, и с целью уменьшения задержек на формирование
сигнала смещения измерение производят не по сигналу кадра основной
фотоприемной матрицы, а по сигналу дополнительного фотоприемника
(рисунок 1.16). При этом для оценки смещения изображения используется
одноэлементный фотоприемник, также как и основная фотоприемная
матрица, расположенный в фокальной плоскости объектива, сигналы с
которого
обрабатываются
недостатком
последнего
автокорреляционным
упомянутого
способа
методом.
является
Основным
возможность
измерения смещения лишь при поступательном движении изображения
относительно
фотоприемника,
так
как
при
вибрации
(возвратно-
поступательном движении) на одноэлементный фотоприемник может
проецироваться участок кадра с постоянной освещенностью [20]. Этот
способ может найти ограниченное применение в видеоинформационных
системах с достаточно равномерным движением основания (например, в
некоторых авиакосмических системах мониторинга) [15].
Интересная
запатентованная
система
стабилизации
изображения
представлена на рисунке 1. 17 [20].
Интересной особенностью данной системы является наличие двух
ортогональных фотоприемников используемых для измерения смещения
изображения.
Одним
из
недостатков
данной
системы
стабилизации
изображения является пространственное разделение фото приёмной и
вычислительной
части
устройства,
что
приводит
к
появлению
дополнительных шумов и наводок за счет паразитного влияния проводников.
33
Рисунок 1.16 – Структурная схема стабилизации изображения относительно
фотоприёмника с измерителем относительного смещения фотоприёмника и
изображения с помощью одноэлементного фотоприемника
34
Рисунок 1.17 – Структурная схема стабилизации изображения относительно
фотоприёмника с измерителем их относительного смещения с
пространственным разделением считывания основного изображения с
матричного фотоприёмника и дополнительных сигналов с двух линейных
фотоприёмников, формирующих с высокой частотой проекции на
вертикальную и горизонтальную оси с двух участков фотоприёмного модуля,
прилегающих к матричному фотоприёмнику
35
Помимо этого, единичные каналы считывания информации с линейных
фотоприемников и как следствие относительно медленные измерения
смещения, существенно ограничивают точность и частотный диапазон
изменяемых смещений. Данные ограничения могут привести к ситуации,
когда
возможности по
перемещению подвижного
устройства
могут
превзойти возможности системы измерения смещения [А3].
С позиции совмещения телевизионных растров рассмотрел прямые
методы измерения смещения А. В. Петраков [25]. Проведем краткий анализ
некоторых из отмеченных им методов.
В работе [26] точность совмещения трех изображений при настройке
определялась
точностью
оптической
светорасщепляющей
системы
и
отклоняющих катушек камеры. В данной системе после подстройки
цветового баланса и тока лучей автоматически подстраивается совмещение
красного
и
синего
изображений
с
зеленым.
С
целью
проверки
относительного положения изображений этих каналов используются восемь
наклонных граней четырех треугольников таблицы, т.е. погрешности
совмещения по горизонтали и вертикали обнаруживаются при измерениях
лишь в горизонтальном направлении. Система коррекции действует по
минимуму погрешности во всех восьми контролируемых точках. При этом
коррекции подвергаются: горизонтальная и вертикальная центровки; ширина
и высота изображения; поворот и перекос изображения; линейность по
горизонтали.
Автоматическая
подстройка
камеры
предусматривает
использование тест - таблицы размером во весь растр, для чего необходимо
прерывать телевизионную передачу [25]. Это делает данную систему
малопригодной для современного использования.
Существенное улучшение вышеуказанного способа заключалось в
перенесение тест – таблиц в крайние части растра. Данная методика была
подробно исследована во множестве работ [27–33].
При непосредственном участии А. В. Петракова, а также под его
руководством было сделано огромное количество изобретений, ценных для
36
науки, в частности для развития проблематики совмещения растров и
стабилизации изображения [34–45].
Важными с точки зрения диссертационной работы являются вопросы,
связанные непосредственно с теорией корреляционно-экстремальных систем
и обработкой изображений [13, 46–58]. В рамках теории корреляционноэкстремальных систем рассматриваются способы нахождения смещения
изображения
при
помощи
определения
экстремума
корреляционных
функции, зачастую путем определения максимума взаимно-корреляционной
функции. Особый интерес представляют градиентные методы поиска
экстремума функции взаимной корреляции, нашедшие отражение в работах
[56, 57, 59–61].
Ценной работой с точки зрения высокоточного измерения смещения
является труд В. В. Березина [62], который в рамках данной работы
разработал алгоритм быстрого градиентного спуска QDS, который позволил
сократить число точек поиска экстремума взаимно-корреляционной функции
и тем самым уменьшить вычислительную сложность алгоритма.
Многие исследования в области совмещения и оценки смещения
изображений были направленны на нахождение оптимальных методов
измерения смещения изображения для достижения максимальной точности
[63]. В данной, чрезвычайно ценной для науки статье, рассматривалась
задача
совмещения
изображений,
которая
сводилась
к нахождению
пространственного преобразования и преобразования яркости, которые дают
минимум целевой функции. Критерий качества отображения в данном труде
рассматривался
изображения.
в
зависимости
Поскольку
от
основными
выбора
характерных
характеристиками
признаков
структурных
элементов являются пространственные координаты, то совместно с ними
весьма
популярно
уравнение,
использование
описывающее
метода
целевую
наименьших
функцию,
могут
квадратов.
В
добавляться
дополнительные слагаемые, если помимо пространственных координат
структурные элементы обладают дополнительными характеристиками. В
37
качестве таких характеристик могут выступать углы ориентации и
геометрические размеры, которые должны совпадать для соответствующих
структурных элементов после применения верного отображения. Так как
далеко не все структурные элементы удается отождествить между собой на
паре
изображений,
то
критерий,
определяемый
целевой
функцией,
применяется только к тем из них, для которых соответствие было найдено.
Чтобы сравнивать между собой решения с разным числом соответствий, в
критерий качества необходимо включать слагаемое, учитывающее их число.
Для этих целей авторы выразили критерий качества через карту расстояний.
Это позволило уйти от необходимости определения соответствия между
характерными признаками изображения. В статье [63] было совершенно
верно замечено, при рассмотрении методов основанных на площадях, что
положение корреляционного максимума определяет оптимальное смещение
между
шаблоном (фрагментом
первого
изображения) и
вторым
изображением, что дает пару опорных точек для выполнения совмещений.
Важной техникой, позволяющей добиться большей производительности и
надежности методов совмещения, является техника использования пирамиды
изображения с постепенно улучшающимся разрешением. Однако конкретное
применение этой техники во многом зависит от интуиции исследователя.
Использование симметричной весовой функции, как показано в ряде работ,
также приводит к более надежным методам совмещения за счет уменьшения
числа локальных экстремумов [63].
Одни из первых упоминаний о квадратичной форме аппроксимирующей
кривой целевой функции при малых смещениях изображениях были
рассмотрены в работах [64 – 67]. Высокой ценностью обладает труд Б. С.
Тимофеева [66] в котором, в рамках частотных систем контроля смещения
изображения, где была показана необходимость учета квадратичной формы
аппроксимирующей кривой целевой функции при субпиксельной оценке
смещения изображения и была достигнута высокая точность измерения
смещения изображения. Развитие заложенных в данном труде принципов
38
было продолжено Н. А. Обуховой [67], которая предложила два метода
получения субпиксельной оценки векторов движения: интерполяционный и
пакетный с детальным рассмотрением соответствующим им алгоритмам.
Рассмотрим несколько более подробно системы прямого измерения
смещения, которые подтолкнули автора к развитию собственных идей по
данной проблематике.
Начало разработки прямого метода измерения смещения изображения с
субпиксельной точностью было положено благодаря блестящей работе [1], с
позиции которой и начинается рассмотрение решения поставленных в
диссертации задач.
Все системы контроля смещения изображения (системы прямого
измерения смещения изображения) можно разделить на следующие классы:
активные, полупассивные и пассивные. Для активных систем контроля
смещения изображения характерно, что объект, изображение которого
исследуется
системой,
облучается
источником
электромагнитного
излучения, характеристиками которого можно управлять. В пассивных
системах контроля смещения изображения объект, изображение которого
также исследуется системой, обладает собственным излучением или
используется излучение естественного источника света (солнца, луны).
Подавляющая часть современных систем контроля смещения изображения
является пассивными, так как применение активных систем контроля
смещения изображения ограничивается мощностью источников излучения и
рядом
других
факторов.
Пассивные
системы
контроля
смещения
изображения можно разделить на ряд типов, к примеру, на системы контроля
смещения изображения, в которых используется развертка и модуляция
светового пучка, на системы контроля смещения изображения мозаичного
типа и др. В большей части систем контроля смещения изображения первого
типа используется только один детектор. Для модуляции светового потока в
этих системах используются различные растровые структуры (неподвижные
и подвижные растровые решетки, коммутируемые полосовые фотоэлементы
39
и др.). Большее число детекторов используются в системах контроля
смещения изображения мозаичного типа. В некоторых системах контроля
смещения изображения используются сканирующие устройства. Причем,
сканирование изображения может осуществляться путем перемещения
изображения относительно неподвижной анализирующей диафрагмы или
перемещением
диафрагмы
относительно
изображения.
Активные
и
пассивные системы контроля смещения изображения по принципу действия
можно подразделить на пять видов: фазовые, амплитудные, корреляционные,
частотные, времяимпульсные [1]. Для выбора вида системы прямого
измерения смещения, на основе которого будет разрабатываться наши
методы, целесообразно вкратце рассмотреть все пять вышеуказанных видов.
Выявление их характерных особенностей поможет понять суть дальнейших
действий в рукописи диссертации.
Системы контроля смещения изображения, известные под названием
времяимпульсные [68, 69, 70], основаны на измерении длительности
импульсов сигнала на выходе фотоэлектронного устройства или определении
расстояния между данными импульсами в случае наличия рассогласования
между оптической осью системы контроля смещения изображения и линией
визирования на объект [1].
Частотные системы контроля смещения изображения [69, 71] основаны
на существовании зависимости частоты выходного сигнала от изменения
скорости смещения контролируемого изображения.
В фазовых системах контроля смещения изображения [68, 69], [72 – 75]
используется определение сдвига фаз между сигналом изображения, для
которого проводится оценка смещения, и вводимым для начала отсчета
опорным сигналом.
Амплитудные системы контроля смещения изображения [68, 69, 75, 76,
77, 78, 79] вычисляют значения смещения изображения по величине
амплитуды сигнала на выходе приемника.
40
Суть корреляционных систем контроля смещения изображения [68, 69,
80, 81, 82, 83] заключается в определении временного сдвига между
сигналами фотоприёмников, расположенных вдоль направления смещения
изображения.
Также
корреляционные
системы
контроля
смещения
изображения могут быть основаны на анализе формы АКФ выходного
сигнала фотоприемника, относительно которого происходит перемещение
изображения.
Наиболее часто применяются на практике частотные и корреляционные
системы контроля смещения изображения [1]. Для реализации частотных
систем контроля смещения изображения требуется дополнительный элемент,
а именно модулятор, часто представляющий из себя растровую решетку с
полосами
различной
прозрачности.
Наличие
модулятора
создает
дополнительные сложности в технологии изготовления изделия. По этой
причине ограничимся рассмотрением только корреляционных систем
контроля смещения изображения.
Перед непосредственным началом разработки методов повышающих
быстродействие
и
точность
стабилизации
изображения
в
рамках
корреляционных систем контроля смещения изображения, рассмотрим
требования к системам контроля
смещения изображения в рамках
автоматических систем стабилизации изображения, характеризующиеся
основными
параметрами
системы
контроля
смещения
изображения,
описанными ниже[1].
– Статическая или другими словами выходная характеристика. Здесь это
зависимость выходной величины u от скорости движения изображения v ,
т.е. u  f(v) . Архитектура системы контроля смещения изображения и
условия её работы определяют вид характеристики u  f(v) . В связи с этим
она может быть реверсивной и нереверсивной. Выходная характеристика
должна обладать линейностью, так как нелинейность характеристики может
привести
к
необходимости
рассмотрения
автоматической
системы
стабилизации изображения как нелинейной системы, что существенно
41
затрудняет ее расчет и настройку. В зависимости от устройства системы
контроля смещения изображения и автоматической системы стабилизации
изображения параметр
u
может быть аналоговым (постоянные или
переменные напряжения или токи), дискретным, кодовым и др.
– Статический коэффициент преобразования. Данный коэффициент
определяется для системы контроля смещения изображения как отношение
выходной величины u к входному параметру v при работе системы контроля
смещения изображения в статическом режиме k c  u/v . Значение k c
определяется параметрами компонентов системы контроля смещения
изображения и подбирается его конкретное значение для каждой частной
автоматической системы стабилизации изображения.
–
Чувствительность
системы
контроля
смещения
изображения
динамический коэффициент преобразования. В общем случае данных
коэффициент определяется следующим выражением: k
служит
для
определения
динамических
свойств
д
 du/dv . Он
системы,
ее
чувствительности, в основном, при малых изменениях входного параметра.
– Передаточная функция W(p)
определяет динамику изменения
входного и выходного сигналов системы контроля смещения изображения.
– Порог чувствительности системы контроля смещения изображения –
наименьшее значение входной величины, соответствующей минимальному
значению скорости, на которое реагирует система. Значение необходимого
порога
чувствительности
определяется
параметрами
автоматической
системы стабилизации изображения. К примеру, порог чувствительности для
системы
контроля
смещения
изображения,
работающей
в
системе
стабилизации изображения аэрофотоаппарата, должен быть меньше значения
скорости движения изображения, приводящей к допустимому сдвигу
изображения.
– Предел измерения системы контроля смещения изображения –
максимальное
значение
входной
величины
(максимальное
значение
42
скорости), которое без искажений регистрирует система. Требуемый предел
измерения определяется параметрами каждой частной автоматической
системы стабилизации изображения.
Вернемся к рассмотрению корреляционных систем контроля смещения
изображения. В целом, все системы контроля смещения изображения
корреляционного типа можно разделить на две основные группы: взаимно
корреляционные и автокорреляционные. По принципу действия взаимно
корреляционные
системы
контроля
смещения
изображения
можно
подразделить на системы с дискретизацией по времени и непрерывные.
Автокорреляционные системы контроля смещения изображения разделяются
на спектроанализирующие системы и системы с фиксированным временем
запаздывания [1].
Каждая из корреляционных систем контроля смещения изображения
обладает своими достоинствами и недостатками. К примеру, корреляционная
система
контроля
смещения
изображения
непрерывной
группы,
рассмотренная в [84], может определять скорость смещения изображения
лишь при движении в одном направлении. Формула для определения
взаимной корреляционной функции следующая [1]:
1
R ( ) 
Tи
Tu
u
1
(t   )u 1 (t  
т
) dt .
(1.1)
0
Таким образом, происходит определение взаимно корреляционной
функции между исходным сигналом u
на время транспортного запаздывания 
1
т
и тем же сигналом u 1 , сдвинутым
.
Существуют непрерывные системы контроля смещения изображения,
позволяющие определять скорость изображения, как в прямом, так и в
обратном направлении. Работа этих систем контроля смещения изображения
строится либо на применении блока постоянной задержки сигнала от одного
из фотоприемников, либо на анализе сигналов от фотоприемников в двух
43
корреляторах, один из которых работает при движении изображения в одну
сторону, а другой при движении изображения в другую сторону [1].
Кроме того, взаимно корреляционные системы контроля смещения
изображения
непрерывного
дифференциальные
системы.
типа
подразделяют
Поисковые
на
устройства
поисковые
и
основаны
на
нахождении максимума взаимно корреляционной функции с помощью
экстремального
регулятора
посредством
осуществления
поисковых
колебаний в районе максимума взаимно корреляционной функции R ( ) . В
дифференциальных
устройствах
определение
максимума
взаимно
корреляционной функции производится посредством взятия производной и
определения точки, когда эта производная становится равной нулю. Взаимно
корреляционные устройства с дискретизацией по времени основаны на
установлении корреляционной связи между сигналами, характеризующими
контролируемые изображения, когда эти сигналы получены в различные
моменты времени [1]. Данные системы контроля смещения изображения по
способу обработки сигналов можно подразделить на сканирующие, с
коррекцией на фотоэлементе [82], с последовательной фотосъемкой участков
поверхности и последующим сравнением этих снимков [84], на ПЗСструктурах [85] и телевизионные [80].
Главным достоинством взаимно корреляционных систем контроля
смещения изображения является их относительно высокая точность.
Существенным недостатком является то, что можно в основном определять
движение лишь в одном направлении. Для определения движения в обоих
направлениях требуется существенные усложнения архитектуры данных
систем. Это делает затруднительно применение данных систем контроля
смещения изображения в диссертационном исследовании.
Проверим, целесообразно ли применить автокорреляционные системы
контроля смещения изображения в рамках разработки искомых методов. В
основном, принцип работы всех автокорреляционных систем заключается в
следующем [1]. Объектив создает изображение, находящиеся в плоскости
44
xy , которая является плоскостью изображения. Фотоэлемент располагается
также в плоскости xy , и с помощью него осуществляется наблюдение
небольшого участка изображения. В процессе движения изображения со
скоростью v по направлению оси x происходит изменение освещенности
фотоэлемента и на его выходе формируется переменный электрический
сигнал u (t ) . С изменением скорости
v
изображения меняется вид
автокорреляционной функции R ( ) сигнала u ( t ) , что дает возможность
определить скорость v по параметрам автокорреляционной функции [1]:
1
R ( ) 
Tu
Tu

u ( t ) u ( t   ) dt ,
(1.2)
0
где T и – время интеграции,  – время запаздывания сигнала u ( t ) .
В чистом виде автокорреляционные системы контроля смещения
изображения применить достаточно тяжело для решения нашей частной
задачи по описанным ниже причинам. Во-первых, автокорреляционные
системы контроля смещения изображения при малых смещениях показывают
относительно плохую точность, как правило, отклонение в оценке около 5%
величины АКФ [1]. Причем эта точность тем хуже, чем ниже скорость
смещения изображения или, говоря другими словами, чем меньше смещение
изображения от кадра к кадру. Вторым недостатком автокорреляционных
систем
контроля
смещения
изображения
является
невозможность
определения направления движения изображения. А ведь эти два фактора
являются наиважнейшими в решении поставленной в диссертации задаче.
Итак, мы кратко проанализировали все существующие корреляционные
системы контроля смещения изображения или другими словами системы
прямого измерения смещения изображения, на предмет использования при
разработке новых методов для повышения точности и быстродействия
стабилизации изображения. Как мы увидели, все корреляционные системы
контроля
смещения
изображения
обладают
некоторыми
общими
недостатками, а именно высокой сложностью, наличием временной задержки
45
в процессе измерения и др. Безусловно, в данных системах есть полезные
методы, но их можно улучшить.
Д. Н. Еськов в своей, безусловно впечатляющей работе на момент
издания своего труда [1], отдал предпочтение частотным системам контроля
смещения
изображения,
именно
отталкиваясь
от
вышеуказанных
недостатков. На это были свои причины, в частности существующий на
конец 80-х годов мировой уровень развития технологий. В идеале, хотелось
бы
разработать
такую
методику
синтеза
автоматической
системы
стабилизации изображения, которая будет сочетать все лучшее от взаимно
корреляционных
систем
контроля
смещения
изображения
и
автокорреляционных.
Как было отмечено, в рамках диссертации делался акцент на
компенсации скоростного смаза изображения, хотя, безусловно, помимо
сдвига изображения, в общем случае существует еще поворот. Задача оценки
поворота изображения, подробно рассмотрена в работах [86 – 90].
1.4 Выводы и постановка задач исследования
Рассмотренные
системы
и
методы
стабилизации
изображения
представлены множеством разнообразных устройств. Каждый автор внес
существенный вклад в развитие данной проблематики. Одно направление
исследователей сконцентрировалось на работе с конечными изображениями
и на совершенствовании различных методов совмещения изображений. Их
задачей являлось максимально проработать алгоритмическую часть по
оценке смещения изображения. Другая группа рассматривала все системы
стабилизации, основываясь исключительно на выборе исполнительного
устройства, в то время как вопросы измерения смещения были им менее
интересны и зачастую они ограничивались использованием лишь косвенных
методов измерения смещения.
46
Выбор метода стабилизации изображения для компенсации дрожания
визирной оси телевизионной камеры представляет собой нетривиальную
задачу. С одной стороны выбор системы стабилизации основывается на
области использования видеокамеры. Очевидно, что для использования в
бытовых низкочастотных телевизионных устройствах не всегда требуется
компенсация высокочастотных возмущений. Напротив, в применении на
движущихся объектах, зачастую крайне важно получить широкий диапазон
компенсируемых возмущений,
что,
как правило,
вызывает большие
сложности в создании эффективной системы стабилизации на основе
существующих методов. И в том и в другом случае важным является
точность измерения смещения, которая начинает все больше сказываться при
технологическом росте разрешения фотоприемников. Другими словами
размер пикселя с каждым годом становится меньше, и даже незначительный
сдвиг изображения за время кадра может привести к значительному смазу.
При быстрых вибрациях телевизионного устройства, к примеру, 100 раз
за время кадра, особенно при разнонаправленном характере данных
вибраций, очень тяжело бороться с возмущениями на основе существующих
систем стабилизации. Задача усложняется высокими требованиями к
точности системы измерения смещения и жесткими ограничениями на
вычислительную сложность.
Целью данной диссертации, в рамках существующих требований,
является улучшение качества изображения прикладных телевизионных камер
в жестких условиях эксплуатации, путём расширения диапазона
компенсируемых
ускорений
вибрации
и
позиционирования исполнительного устройства.
повышения
точности
47
2 СТРУКТУРНЫЙ СИНТЕЗ ПРЕЦИЗИОННОЙ
БЫСТРОДЕЙСТВУЮЩЕЙ СИСТЕМЫ СТАБИЛИЗАЦИИ
ИЗОБРАЖЕНИЯ
2.1 Структурный синтез фотоприемного блока прецизионного
быстродействующего измерителя смещения изображения
Прежде всего, поговорим о задержке между кадрами – одним из
основных
недостатков
корреляционных
систем
контроля
смещения
изображения. Её можно сократить в несколько сотен раз при той же самой
тактовой частоте задающего синхрогенератора, если уменьшить область
считывания. Как уже было замечено, в известных работах [64 – 67] было
предложено использовать квадратичную интерполяцию вблизи максимума
целевой функции, что, безусловно, значительно повысило точность оценки
смещения по сравнению с линейной аппроксимацией. Тем не менее, точность
автокорреляционных методов измерения смещения можно улучшить, если
более точно определить форму автокорреляционной функции при малых
смещениях. В первую очередь следует проанализировать возможность
определения направления смещения при использовании автокорреляционных
систем
контроля
смещения
изображения.
Реализуемость
данной
возможности будет показана в дальнейших рассуждениях.
Далее перейдем к синтезу структуры телекамеры, реализующей прямой
метод оценки возмущений [20]. Прямой метод измерения смещения может
быть
реализован,
если
наблюдаемый
сюжет
содержит
объекты
с
неравномерной яркостью, как в центральном поле, так и на его периферии.
Очевидно, что для скоростного измерения смещения желательно получать
данные с измерителя смещения изображения гораздо чаще, чем кадры с
основного фотоприемного массива.
Для решения этой задачи предлагается в фотоприемной части
телевизионной камеры выделить область основного фотоприемного массива
48
и измерительные области. Видеоданные с измерительных областей можно
считывать с гораздо большей скоростью за счет меньших областей
считывания данных, так как для оценки параметров смещения изображения
требуется
лишь
часть
фоточувствительных
элементов
основного
фотоприемного массива.
Рассмотрим
несколько
вариантов
синтеза
фотоприемного
блока
прецизионного быстродействующего измерителя смещения изображения. На
рисунке
2.1
телевизионной
представлен
камеры
вариант
с
реализации
двумя
фотоприемного
взаимно
узла
перпендикулярными
измерительными линейными фотоприемниками, расположенными рядом с
основным
фотоприёмным
массивом.
Основной
фотоприемник
и
дополнительные расположены в поле изображения.
Преимущество данной реализации заключается в том, что она позволяет
осуществлять
высокоскоростную
оценку
смещения,
используя
лишь
небольшую часть поля изображения. Причем данные фотоприемники могут
быть реализованы как в виде ВСнК на той же кремневой подложке, что и
основной фотоприемник, так и в виде отдельных компонентов. Недостатком
данной
реализации
является
невозможность
определения
поворота
изображения классическими методами [86 – 90].
Структура
фотоприёмного
блока,
показанная
на
рисунке
2.2,
подразумевает введение в поле изображение четыре измерительных
фотоприемника вместо двух. Основное достоинство данного подхода к
построению фотоприемного блока измерителя смещения изображения –
возможность определять наличие / отсутствие поворота изображения по
разности
сигналов
с
параллельно
расположенных
измерительных
фотоприемников. При наличии поворота, будет иметь место разница в
определении целевой функции (к примеру, ВКФ), превышающая ошибку
определения целевой функции, вызванную случайным характером входных
сигналов.
К недостаткам данной структуры относятся:
49
Рисунок 2.1 – Фотоприемный блок телевизионной камеры с прецизионным
быстродействующим измерителем смещения изображения (вариант 1)
Рисунок 2.2 – Фотоприемный блок телевизионной камеры с прецизионным
быстродействующим измерителем смещения изображения (вариант 2)
50
• уменьшение
фотоприемника
количества
за
счет
активных
увеличения
пикселей
количества
основного
измерительных
фотоприемников;
•
существенное
увеличение
энергопотребления,
при
реализации
дополнительных фотоприемников в виде дискретных элементов.
На рисунке 2.3 показан вариант построения фотоприемного блока, в
котором
вместо
оценки
смещения
по
дополнительным
линейным
измерительным фотоприемникам для оценки смещения используется
двумерный массив пикселей меньшего размера, расположенный рядом с
основным массивом пикселей в поле изображения. При этом измерительный
фотоприемник меньшего размера производит оценку смещения, как по
вертикали, так и по горизонтали, проводя измерения с повышенной кадровой
частотой
относительно
основного
фотоприемника.
Как
показывают
исследования, проведенные в рамках данной диссертации, для качественной
оценки смещения изображения достаточно области считывания размером
100  100 пикселей.
Основное достоинство данной реализации заключается, в том, что она
позволяет определять как наличие поворота изображения, так и его величину
классическими
методами
определения
поворота.
Например,
методом
определения поворота изображения на основе поворота его амплитудного
спектра или методом на основе использования небольших опорных участков
на изображении [86 – 88].
В рассмотренном на рисунке 2.3 варианте создания фотоприемного
блока телевизионной камеры, в качестве недостатка можно отметить, что
большая часть поля остается не использованной. Существуют также
определенные потери в точности определения величины поворота за счет
расположения измерительного фотоприемника по диагонали от основного
фоточувствительного массива. Имеет место и определенные потери в
точности оценки смещения (сдвига) изображения за счет уменьшения
количества измерительных пикселей по вертикали и горизонтали.
51
Рисунок 2.3 – Фотоприемный блок телевизионной камеры с прецизионным
быстродействующим измерителем смещения изображения (вариант 3)
Рисунок 2.4 – Фотоприемный блок телевизионной камеры с прецизионным
быстродействующим измерителем смещения изображения (вариант 4)
52
Необходимо
отметить,
что
структуре
фотоприемного
блока
телевизионной камеры с прецизионным быстродействующим измерителем
смещения изображения, показанной на рисунке 2.3, имеет место некоторое
уменьшение
скорости
перпендикулярными
оценки
смещения
измерительными
по
сравнению
строками,
с
взаимно
рассмотренными
на
рисунках 2.1 и 2.2. Это обусловлено большим общим количеством пикселей
в случае использование прямоугольной области считывания по сравнению с
количеством пикселей в линейных фотоприемниках. Как следствие,
увеличивается время считывания информации с измерительной области.
Рисунок 2.4 иллюстрирует пример построения фотоприемного блока
телевизионной камеры со стабилизацией изображения на основе прямого
метода
оценки
смещения,
который
объединяет
в
себе
все
ранее
рассмотренные варианты. Здесь в поле изображения располагаются как
основной фотоприемник, так и измерительные фотоприемники. При этом в
состав измерительных фотоприемников входят и взаимно перпендикулярные
линейные фотоприемники, и фотоприемник с прямоугольной областью
считывания.
Вышеуказанная реализация обеспечивает максимальное использование
области изображения по сравнению с другими вариантами, определяет
наличие / отсутствие поворота изображения и собственно саму величину
поворота. При этом подходе к структурному синтезу фотоприемного блока
телевизионной
камеры
со
стабилизацией
изображения
фактически
отсутствуют потери в точности оценки смещения изображения по сравнению
с другими вариантами.
Единственным недостатком структуры, показанной на рисунке 2.4,
является
чрезвычайная
сложность
реализации
данной
структуры
(практически невозможность) в виде отдельных дискретных элементов.
Целесообразно реализовывать данную структуру в виде ВСнК, что позволит
обеспечить необходимые энергетические и пространственные параметры
фотоприемного блока.
53
2.2 Система автоматического управления в телевизионной камере с
прецизионной быстродействующей системой стабилизации изображения
Методология синтеза следящих систем, на которой непосредственно
базируется
данный
параграф
диссертации
(систем
автоматического
управления), хорошо освещена во множестве известных работ. Среди них
можно выделить труды А. А. Красовского, В. А. Бесекерского, Е. П. Попова,
В. В. Солодовникова [91 – 94].
С точки зрения телевизионной техники ценной является работа Б. К.
Чемоданова, в которой рассматриваются основные вопросы, связанные с
построением астроследящих систем, предназначенных для автономного
управления астрономическими инструментами [95]. В работе [96] были
подробно
рассмотрены
вопросы,
касающиеся
отдельных
узлов
фотоэлектрических следящих систем и в том числе измерительных
устройств, к которым предъявляются особенно высокие требования к
выявлению малых рассогласований при отслеживании малых световых
объектов. Математический аппарат и статистические
характеристики
дискриминаторов в данном параграфе диссертации были основаны на труде
[97].
Прежде, чем непосредственно перейти к рассмотрению следящей
системы (системы автоматического управления) для работы в составе
телевизионной камеры с быстродействующей стабилизацией изображения,
рассмотрим основные особенности прямого метода субпиксельной оценки
смещения изображения, влияющие на создание следящей системы.
Отметим, что в быстродействующей стабилизации изображения на
основе прямого метода оценки смещения имеют место преимущественно
малые
смещения
изображения,
как правило,
меньше
пикселя.
Это
обусловлено тем, что частота считывания измерительных фотоприемников
гораздо выше частоты считывания основного матричного фотоприемника.
Следовательно, между текущей и предыдущей измерительными строками
54
(областями) смещение на порядки меньше, чем между текущим и
предыдущим изображением основного фотоприемника.
Измеритель смещения изображения представляет собой цифровое
устройство (как будет пояснено в следующей главе), которое выдает данные
не непрерывно, а через фиксированные промежутки времени. Погрешность
оценки смещения носит случайный характер, при этом существует связь
между сюжетом изображения и величиной погрешности оценки смещения.
Наиболее рациональным, исходя из вышеизложенного материала,
является статистический подход, рассмотренный в работах [97, 98]. Общее
выражение для показателя качества системы можно представить в
следующем виде [99]:
 
 
Xˆ
h ( ˆ ;  )  (  )  ( ˆ /  ) d  d ˆ ,
(2.1)
X
где  – параметр смещения изображения, ˆ – оценка  , X – множество
значений  , Xˆ
– множество значений ˆ ,  ( ˆ /  )
– условная
плотность вероятности распределения ˆ при фиксированном значении  ,
 (  ) – априорная плотность вероятности распределения параметра  .
Величина 
характеризуется как средний риск: чем меньше средний
риск, тем выше качество системы. Оптимизация системы соответственно
сводится к минимизации среднего риска [98].
В рассматриваемой задаче целесообразно выбрать квадратичную
функцию потерь, при которой качество системы будет оцениваться
параметром [99]:
 
  h ( ˆ
Xˆ
 
  ) 2  (  )  ( ˆ /  ) d  d ˆ ;
(2.2)
  ) 2  (  ) ( u /  ) d  ,
(2.3)
X
 du  ( ˆ
U
X
55
где u – принимаемый сигнал (отраженный свет), U множество значений u ,
 ( u /  ) – функция правдоподобия.
Оптимальную оценку смещения изображения ˆ опт
можно получить
взятием первой производной от показателя качества  . В качестве прямого
метода получения оценки ˆ опт
следует использовать формирование на
множестве X возможных значений измеряемого параметра 
правдоподобия
 ( u /  ) или
оптимальной функции
связанной с параметром

функции
другой
F (  ) , представляющей собой произвольную
монотонную функцию от  ( u /  ) , а также нахождение точки, в которой
эта функция достигает экстремума [100].
В качестве функции F (  ) в рассматриваемой в рамках диссертации
задачи мы можем использовать ВКФ изображений, либо дисперсию разности
изображений.
Зададим опорное смещение изображения, задаваемое смещением
 0  0 . На основании того, что следящая система должна с высокой
точностью отрабатывать вибрационные искажения (   ˆ ) , положим,
что оценка  – находится в окрестности точки экстремума  э функции
правдоподобия
 (u /  ) .
Отсюда,
полагая,
что
функция
 ( u /  ) имеет нормальное распределение и, представив эту функцию в
окрестности точки
э
в виде параболической кривой, записываем
разложение функции ln  ( u /  ) в следующем виде [98]:
2

1
2 
ln  (u /  )  ln  (u /  0 )  (    0 )
ln  (u /  0 )  (    0 )
ln  (u /  0 );

2
 2
(2.4)
Составляем уравнение правдоподобия и решаем его относительно
 э [98]:


2
ln  ( u /  э ) 
ln  (u /  0 )  (  э   0 )
ln  ( u /  0 )  0 ;


 2
(2.5)
56
э  0 
При практической
2
ln  ( u /  0 ).
 2

ln  ( u /  0 )

(2.6)
реализации системы автоматического управления,
используя функцию F (  ) , по аналогии с (2.5) и (2.6) можем записать [98]:

э  0 
ln F (  0 )

2
ln F (  0 ).
 2
(2.7)
Здесь очевидно, что в качестве системы автоматического управления
следует использовать следящую систему с отрицательной обратной связью.
При этом вторые слагаемые в формулах (2.6) и (2.7) представляют собой
выражения для оптимальных дискриминаторов [97].
На рисунке 2.5 представлена структурная схема следящей системы с
замкнутой отрицательной обратной связью для компенсации вибрационных
возмущений
по
одной
оси
при
реализации
фотоприемного
блока
телевизионной камеры с прецизионным быстродействующим измерителем
смещения изображения согласно рисунку 2.1.
Информация с измерительной строки попадает на измеритель смещения
изображения. Далее, в соответствие с выражением (2.7), дискриминатор
формирует управляющий сигнал, под воздействием которого осуществляется
перемещение пьезоэлектрического привода, который в свою очередь
воздействует на подвижное основание. На подвижном основании закреплен
фотоприемник.
Для двух осей соответственно нужно две цепи обратной связи. Отметим,
что в общем случае при воздействии вибрационных возмущений, число осей
вибрации контролируемых следящей системой, может быть больше двух.
57
Рисунок 2.5 – Структурная схема следящей системы с отрицательной
обратной связью для компенсации вибрационных возмущений по одной оси
58
2.6 Выводы
В
данной
главе
был
осуществлен
структурный
синтез
быстродействующей системы стабилизации изображения, который можно
кратко охарактеризовать в виде следующих выводов:
1.
блока
Предложены различные варианты структуры фотоприемного
телевизионной
камеры
с
прецизионным
быстродействующим
измерителем смещения изображения. Рассмотрены достоинства и недостатки
данных реализации в зависимости от исходных ограничений для конкретного
применения.
2.
Предложено решение задачи синтеза следящей системы для
телевизионной камеры, способной компенсировать большие ускорения
вибрации.
При
решении
этой
задачи
был
использован
известный
математический аппарат [97, 98] в принципиально новом применении.
59
3 РАЗРАБОТКА МЕТОДОВ ПОВЫШЕНИЯ БЫСТРОДЕЙСТВИЯ И
ТОЧНОСТИ ИЗМЕРЕНИЯ СМЕЩЕНИЯ ИЗОБРАЖЕНИЯ
3.1 Разработка прямого метода измерения смещения изображения с
субпиксельной точностью
Требование совмещения изображений в реальном времени ведёт к
необходимости
использования
прямого
метода
измерения
смещения
изображений, например, за счет введения в фокальную плоскость кроме
основного матричного фотоприёмника двух дополнительных линейных
фотоприёмников (рисунок 3.1). При этом дополнительные линейные
массивы могут быть сформированы как топологически, так и виртуально,
программным способом выделения из общего массива фоточувствительных
элементов [101]. С точки зрения компьютерной системотехники этот метод
переводит
твердотельную
телекамеру
в
новый
класс
приборов
с
множественным потоком данных, способствующим извлечению информации
с минимальными вычислительными затратами и задержками. Благодаря
тому,
что
количество
элементов
и
время
считывания
сигнала
с
дополнительных линейных фотоприемников на два порядка меньше
количества элементов и времени считывания всего кадра основного массива,
достигается основной положительный эффект рассматриваемого метода,
состоящий
в
расширении
на
два
порядка
диапазона
скоростей
компенсируемого смаза из-за возмущений визирной оси [А1].
На рисунке 3.1 [A1] показано, что размеры и форма пикселов
вспомогательных линейных фотоприёмников отличается от таковых для
основного массива. Размер пикселя вспомогательного фотоприёмника

m
размера
по стороне, примыкающей к основному массиву, делается меньше
пикселя

основного
фотоприёмника,
размер
пикселя
вспомогательного линейного фотоприёмника в ортогональном направлении
60
b
делается
существенно
больше
размера
пикселя

основного
фотоприёмника. Эти различия обусловлены необходимостью повышения
точности измерения смещения изображения при времени накопления T
во вспомогательных фотоприёмниках, много меньшем времени кадра T
основного
фотоприёмника.
измерительной строки b 
Существенно
m
большая
площадь
c
K
пиксела
по сравнению с площадью пиксела основной
матрицы  2 при равенстве удельной ёмкости с (вычисляемой в электронах
на единицу площади) обеспечивает необходимый для повышения частоты
считывания запас в накопительной способности пикселов:
TкN
где T
K
е
 с
2
 TсN
 cb 
em
– время кадра основного фотоприемника, T
во вспомогательных фотоприемниках, 
фотоприёмника, b
c
m
,
(3.1)
– время накопления
– размер пикселя основного
– размер пикселя в ортогональном направлении, c
удельная ёмкость пикселя,

m
–
– размер пикселя измерительного
фотоприемника, N em – емкость пикселей вспомогательных фотоприемников,
N em – емкость пикселей основного фотоприемника.
Различие в режимах управления чувствительностью и в трактах обработки
видеоинформации основного массива, и во вспомогательных линейных
фотоприёмниках состоит в том, что в основном массиве чрезмерное
увеличение
освещённости
компенсируется
уменьшением
времени
накопления системой автоматического регулирования времени накопления
(АРВН) при постоянной частоте кадров, а во вспомогательных линейных
фотоприёмниках целесообразно повышение строчной частоты при времени
накопления, равном времени строки [A1].
Оптимальная
структура
измерителя
показанного на рисунке 3.1, включает [A4]:
смещения
изображений,
61
• режекторный фильтр (декоррелятор сигнала) для контрастирования
взаимнокорреляционнной функции (ВКФ) [17, кн. 2];
• коррелятор – вычислитель ВКФ для дискретных значений сдвига (на
целое число пикселов) [17, кн. 2];
• интерполятор
–
вычислитель
смещения,
как
целочисленного
относительно пикселов изображения [17, кн. 2], так и дробного (так
называемая субпиксельная точность измерения) [102], [103].
Эти три блока могут проектироваться как самостоятельные специально
формируемые блоки, и система в целом может быть реализована как
видеосистема
на
кристалле.
Сложность
вычислителя,
определяемая
сложностью трёх указанных блоков, зависит от исходных параметров
сигнала и телекамеры, а также выбранными параметрами этих блоков.
Структурный синтез системы стабилизации изображения подчинён цели
такой скоростной компенсации возмущений визирной оси, чтобы ошибки
стабилизации
маскировались
шумом
изображения.
Структурный
и
параметрический синтез входящего в систему стабилизации вычислителя
подчинён цели достижения потенциальной точности оценки смещения
изображения в системе стабилизации с дополнительными линейными
фотоприёмниками при следующей опорной триаде синтеза [A1].
1. Априорная информация о типовых изображениях, формируемых
фотоприёмными массивами телекамеры:
• телекамера
с
кадровым
T
периодом
K
формирует
последовательность сигналов изображения основного массива N
квадратных пикселов
последовательности
массивов по J
T
c
y
площадью
i

и
  
y
i

и
две
K
с ортогональных линейных
пикселов каждый, с размерами b 
>> T
C
;
N
дополнительные
m
; время считывания
этих строк существенно меньше времени кадра T
массива: T

K
основного
62
Рисунок 3.1 – Функциональная схема системы стабилизации изображения c
прямым измерением смещения изображений дополнительными линейными
фотоприёмниками
63
• диаметр импульсной характеристики объектива (функции рассеяния
точки, «кружка рассеяния») согласован с размером Δ
пиксела основного
массива;
• автокорреляционная
функция
(АКФ)
оптических
изображений,
анализируемых линейными фотоприёмниками, при достаточно больших
аргументах
в
силу
свойств
наблюдаемых
сюжетов
моделируется
экспоненциальной функцией [17, кн. 2]
K(x)  K( 0 ) exp (  |x|/ τ ) ,
(3.2)
где  – размер пикселя, x – смещение изображения,
с интервалом корреляции JΔ >> τ >> Δ;
• АКФ
оптических изображений
(до дискретизации линейными
фотоприёмниками) в силу свёртки оптического сигнала с импульсной
характеристикой объектива
h об  exp (  x 2 / 2 r 2 )
(3.3)
с эффективным диаметром 2r, при малых аргументах x ≤ Δ описывается не
линейной функцией (как принято в [17, кн. 2]), а более сложной функцией
(расчёт [102] показывает зависимость формы АКФ от отношения r/Δ и
отношения сигнал/шум);
• в первом приближении, при наличии некоторого среднего фона
можно считать, что все сигналы наблюдаются в присутствии белого
(некоррелированного) гауссовского шума
 i
считывания), т. е. наблюдению доступны сигналы y
2. Критерий
изображения,
качества:
формируемом
минимум
(шума фона и шума
i
искажений
основным

S
i
смаза
фотоприёмным
  i .
в
сигнале
массивом,
достигаемый при:
• максимально возможной частоте считывания со вспомогательных
линейных фотоприёмников;
64
• минимуме
среднеквадратической
ошибки
измерения
смещения
сигналов соседних строк вспомогательными линейными фотоприёмниками.
3. Ограничения: сложность вычислителя смещения изображения,
стабильность вычислений, требуемые для реализации вычислителя в виде
отдельной цифровой СБИС или в виде специально формируемых блоков,
которые могут быть включены в состав видеосистемы на кристалле [A1].
Варьируемыми (искомыми) параметрами являются:
• размеры пикселя измерительной строки;
• разрядность АЦП;
• число членов импульсной характеристики режекторного фильтра;
• алгоритм вычисления корреляции и его сложность;
• алгоритм интерполяции и его сложность.
В процессе нахождения размеров пикселя измерительной строки, введём
отношение
   / m.
(3.4)
Оптимальное значение β трудно найти аналитически, в связи с тем, что
формально ошибка измерения смещения (с учётом интерполяции взаимнокорреляционной функции (ВКФ)) не зависит от β в силу взаимно
компенсирующего влияния ёмкости пикселов
N em
и их числа J в
измерительной строке. Одновременно с этим, достижимая точность
измерения связана с методологической ошибкой интерполяции ВКФ: чем
меньше β, тем устойчивее система к отклонениям АКФ реальных сигналов от
принятой модели. С других позиций, уменьшение β ведёт к возрастанию
сложности вычислителя, его требуемого быстродействия и тепловыделения,
а также к необходимости использования существенно более дорогостоящей
технологии изготовления с лучшими топологическими нормами. Из этих
соображений приходится находить компромиссное значение β, и можно
прогнозировать, что оно должно лежать в интервале 2…5 [A1].
65
С целю выбора оптимальных параметров сначала зафиксируем связь
сложности блоков с разрядностью m АЦП сигналов вспомогательных
линейных фотоприёмников.
Разрядность квантователя
видеосигнала
и результата
измерения
смещения. При параметрическом синтезе измерителя смещения изображений
важен вопрос: какова потеря информации о параметре сдвига χ из-за
равномерного, оптимального с точки зрения информационного риска [104]
квантования.
Для
видеосистемы
на
кристалле,
построенной
по
рассматриваемому принципу, площадь пикселя измерительной строки на два
порядка превосходит площадь пикселя основного фотоприёмного массива,
что соответствует ёмкости пикселя Nеm = 106 электронов и более. Для такой
ёмкости пикселя среднее значение дисперсии флуктуационного шума
составляет Nem/2, а оптимальное при оценке формы сигнала равномерное
квантование [104] требует числа разрядов
mo ≈½log(2NemlogNem) = 12.
(3.5)
Это значение соответствует внесению дополнительного шума с
дисперсией
σ2кв= Nem2–2m/12
(3.6)
и коэффициенту шума
Kш = (σ2кв + σ2фл)/σ2фл,
(3.7)
который соответствует потере информации о параметре смещения 0,007 бит
при m = 12, 0,1 бит при m = 10 и 0,9 бит при m = 8. Данная потеря
информации существенно меньше потери информации о форме сигнала,
которая при m = 12 составляет ¼ бит/пиксел, что для измерительной строки с
103 пикселов составит примерно 250 бит [A1, A3].
Можно показать, что для типового значения интервала корреляции
сигнала 16 пикселов среднеквадратическое значение ошибки измерения
смещения составляет ε ≈ 8×10–3Δm = 2×10–3Δ. Указанное значение ошибки
66
измерения смещения можно рассматривать как среднее по различным
сюжетам: смещение изображения с очень плавными изменениями яркости
будут измеряться с большими ошибками, смещения изображений с многими
перепадами яркости – с меньшими ошибками. Оцененное значение ошибки
совмещения
должно
обеспечить
накопление
в
основном
массиве
фотоприёмных элементов без потери разрешающей способности, т. е.
обеспечить
смаз
не
более
s ≤ Δ/Ne½,
что для
типовых матричных
фотоприёмников составляет 2…7×10–3Δ. Таким образом, рассмотренная
структура и определённые параметры обеспечивают совпадение требуемой и
достижимой точности измерения смещения [A1, A3].
Так как рассматриваемая система имеет целью маскирование шумом
ошибок стабилизации, вызванных смазом, то можно считать, что априорный
интервал возможных сдвигов за время считывания измерительной строки
составляет Δm/2. В связи с этим, оптимальная с точки зрения минимума
информационного риска [104] разрядность кода оценки смещения составляет
*
m   log 2 (a /  ),
где
a
(3.8)
– разрядность квантователя видеосигнала,

– потеря полезной
информации.
что для приведённого примера составляет 7 разрядов (* обозначает
ближайшее большее целое число). Так как потеря полезной информации изза квантования сигнала при m = 12 чрезвычайно мала, а при m = 8 ведёт к
недопустимой потере информации (ошибка измерения смещения возрастает
почти в два раза), то компромиссным значением является m = 10, при
котором потеря информации о параметре сдвига составляет 0,1 бита из 7.
С учётом вариации значения ошибки при вариации статистик изображения
на практике рационально использование вычислителя с разрядностью оценки
смещения mχ = 8.
Итак,
мы
определили
оптимальные
параметры
квантователя
видеосигнала и результата измерения смещения. Данные параметры
67
являются очень важными, особенно при реализации системы измерения
смещения на СБИС в виде видео системы на кристалле. С практической
точки зрения, каждый лишний элемент, каждый лишний разряд может
привести к существенным ухудшениям параметров видео системы на
кристалле. Наиболее критичными параметрами видеосистемы на кристалле
являются площадь кристалла, энергопотребление, а также обеспечение
заданных тепловых режимов. К примеру, повышение температуры на
поверхности кристалла на несколько градусов, в силу использования
большего количества логических вентилей, может привести к уменьшению
средней наработки на отказ устройства в разы. Конечно, это утверждение
справедливо в основном для высоких температур в силу экспоненциальной
зависимости надежности изделия от внутренней температуры. Очень важно,
что подход, описанный выше, ориентированный на информационные
критерии качества, в то же время соответствует всем жестким требованиям к
практической реализуемости.
3.2 Разработка метода для определения интерполирующей функции
ВКФ видеосигналов дополнительных фотоприемников при малых
смещениях
Синтез интерполятора, пожалуй, является самой важной частью синтеза
измерителя смещения. От его вычислительной сложности и точности оценки
смещения
изображения
во
многом
зависят
итоговые
параметры
автоматической системы стабилизации.
В диссертационной работе была выявлена необходимость учета
аппроксимации ВКФ при малых смещениях, полиномом 4 степени. Учет
данной аппроксимации позволит существенно повысить точность оценки
смещения.
В целом, аппроксимирующая кривая ВКФ может быть определена и
полиномом
более
высокой
степени.
Рассмотрим
эффективность
68
аппроксимации ВКФ при малых смещениях в зависимости от степени
полинома. В качестве критерия качества возьмем показатель эффективности
использования вычислительных ресурсов
RI ( 3) , связывающий потерю
полезной информации ΔI (в данном случае – потерю точности измерения
смещения) с вычислительной сложностью W [104]
RI (3)  C0 I  C1W
Рисунок
2.2
показывает,
что
(3.9)
оптимальным
полиномом
для
аппроксимации ВКФ при субпиксельных смещениях является полином 4
степени. Аппроксимация полиномом 2 степени дает недостаточную
точность, в то время как аппроксимация полиномом степени большей 4 при
значительном
увеличении
вычислительной
сложности
приводит
к
незначительному уменьшению ошибки оценки смещения. При построении
данного графика, сложность W, при степени полинома равном и больше двух
вычислялась на основании решения системы линейных уравнений методом
Гаусса,
который
дает
лучшие
результаты
(с
точки
зрения
затрат
вычислительных ресурсов) при решении линейных уравнений с высоким
показателем степени. В случае линейной аппроксимации ВКФ при малых
смещениях использовалась оценка сложности данной системы уравнений на
основании решения данной системы уравнений методом подстановки.
Таким образом, аппроксимация ВКФ полиномом 4 степени является
наиболее эффективной. Экспериментальное подтверждение корректности
данной аппроксимации будет показано в следующей главе.
Вычислитель-интерполятор по полученным значениям дисперсий D–1,
D0, D1 вычисляет значение оценки смещения на основании интерполяции
ВКФ
при
малых
смещениях.
При
использовании
параболической
интерполяции формула для оценки смещения ˆ достаточно проста [A1]:
ˆ   m ( D1  D1 ) /[ 2( D 1  2 D0  D1 )] ,
(3.10)
69
где D–1 – дисперсия разности предыдущей строки и сдвинутой на пиксел
влево текущей, D0 – дисперсия разности предыдущей строки и текущей
строки, D1 – дисперсия разности предыдущей строки и сдвинутой на пиксел
вправо текущей строки.
Вывод данной формулы легко понять, взглянув на рисунок 3.3. Как уже
было сказано, мы перешли от задачи нахождения максимума ВКФ (в случае
вычислений корреляции сигналов через операцию умножения) к нахождению
минимума дисперсий. Конечно, мы могли бы решать эту задачу классически,
написав систему из трех уравнений для трех неизвестных, которые
описывают интересующую нас аппроксимирующую кривую:

y 1  a (    x ) 2  b 


y0  a( x)2  b
.


y 1  a (   x ) 2  b 

(3.11)
Однако это решение приводит нас к результирующему выражению, где
помимо операций возведения в квадрат есть еще операция извлечения
квадратного корня. Гораздо проще применить геометрическое решение,
которое существенно упростит сложность. В частности, для этой цели мы
брали определенные значения дисперсий, выполняя искусственный сдвиг
взятия отсчетов на пиксель вправо и влево.
Точка пересечения прямой, проведенной через координаты {-Δm /2; D–1D0} и {Δm /2; D0- D1}, с осью абсцисс фактически и будет являться
экстремумом параболической функции (в силу симметрии параболы), что
соответствует размеру смещения изображения по одной оси. Таким образом,
мы свели относительно сложное решение к простому выражению.
Сложность такого интерполятора превышает сложность коррелятора в
силу большей разрядности входных сигналов [A1]:
Wи ≈ 3((m + logLJ)2 + m + logJ) + 4(2m + logJ).
(3.12)
70
Разрядность результата mχ усекается с сохранением 8 двоичных
разрядов, обеспечивающих минимум информационного риска, состоящего из
потери полезной информации о смещении изображения и шумовой
информации.
Параболическая (степени 2 или 4) интерполяция значений дисперсий D–
1,
D0, D1 обеспечивает потенциальную точность измерения смещения, и, в
конечном счёте, стабилизацию изображений с маскированием шумом смаза
изображения, не смотря на возмущения визирной оси телекамеры [A1].
На рисунке 3.4 показан пример параболического интерполятора. Можно
заметить, что данный функциональный узел имеет очень простую структуру.
Это
позволяет
получить
существенный
выигрыш
не
только
в
вычислительной сложности, но и в скорости вычислений. Как мы видим из
рисунка 3.4, на вход параболического интерполятора поступают значения
дисперсий сигнала.
Данный рисунок иллюстрирует реализацию интерполятора посредством
синхронной логики. Однако это приводит к появлению дополнительных
буферов для хранения промежуточных данных, что приводит к некоторому
усложнению структуры интерполятора и уменьшению скорости вычислений.
Альтернативным вариантом является реализация интерполятора в виде
отдельного функционального блока посредством комбинаторной логики.
Данный подход приведет к избавлению от промежуточных буферов, оставляя
буферные области лишь на входах и выходах интерполятора. Тем не менее,
основную часть измерителя смещения следует реализовывать на синхронной
логике. Благодаря этому подходу, с точки зрения практической реализации,
повысится скорость обработки результатов смещения и соответственно
возрастет диапазон компенсируемых ускорений вибрации в автоматической
системе стабилизации изображения.
Рассмотрим
алгоритм
нахождения
оценки
интерполяции ВКФ полиномом 4 степени (подход 1):
смещения
в
случае
71
Рисунок 3.2 – Зависимость потери полезной информации (ошибки оценки
смещения) ΔI (синяя линия), сложности W (при m=10, красная линия) и
показателя эффективности использования вычислительных ресурсов
RI ( 3) (зеленая линия) от степени аппроксимирующего полинома ВКФ (N) при
субпиксельных смещениях
72
1.
Положение
минимума
функций,
построенной
по
значениям
дисперсий, будет определять искомую оценку смещения. Для нахождения
данного минимума, прежде всего, следует решить систему линейных
уравнений:
4
3
2
y 1  ax 1  bx 1  cx 1  dx 1  e
4
3
2
4
3
4
3
2
4
3
2
y 2  ax 2  bx 2  cx 2  dx 2  e
2
y 3  ax 3  bx 3  cx 3  dx 3  e
y 4  ax 4  bx 4  cx 4  dx 4  e
y 5  ax 5  bx 5  cx 5  dx 5  e




.




(3.13)
В данном случае неизвестными являются коэффициенты a, b, c, d, e. Для
нахождения данных неизвестных требуется знать 5 точек, описывающих
полином 4 степени: {x1; y1}, {x2; y2}, {x3; y3}, {x4; y4} и {x5; y5}. В нашем случае
{x1; y1} = {-Δm; D–1}, {x2; y2} = {Δm; D1}, {x3; y3} = {0; D0}, {x4; y4} = {-2Δm; D-2},
{x5; y5} = {2Δm; D2}. Здесь D–2 – дисперсия разности предыдущей строки и
сдвинутой на два пикселя влево текущей, D–1 – дисперсия разности
предыдущей строки и сдвинутой на пиксел влево текущей, D0 – дисперсия
разности предыдущей строки и текущей строки, D1 – дисперсия разности
предыдущей строки и сдвинутой на пиксел вправо текущей строки, D2 –
дисперсия разности предыдущей строки и сдвинутой на два пикселя вправо
текущей строки.
Таким образом, мы получили систему из 5 уравнений с 5 неизвестными.
Можно решить данную систему различными методами, однако с точки
зрения уменьшения количества математических операции в данном случае
хороший результат даст метод Гаусса. Данное решение тривиально и его нет
смысла приводить в тексте диссертации, отмечу лишь, что для решения
данной системы по методу Гаусса требуется 56 сложений, 64 умножения и 19
делений, что совсем немного по сравнению с другими методами.
73
Рисунок 3.3 – Геометрическая иллюстрация к интерполяционному алгоритму
вычисления смещения
Рисунок 3.4 – Функциональная схема параболического интерполятора
74
2. После нахождения коэффициентов a, b, c, d, e, можем записать
уравнение описывающее полином 4 степени:
4
y  ax  bx 3  cx 2  dx  e .
(3.14)
Для нахождения точек экстремума нужно взять производную от этого
выражения:
3
y |  4ax  3bx 2  2cx  d
(3.15)
4ax 3  3bx 2  2cx  d  0 .
(3.16)
и приравнять ее к 0:
Решение данного уравнения также тривиальная задача. Отмечу лишь, что
решение данного уравнения имеет три корня, два из которых будут
соответствовать точкам перегиба, а один будет определять минимум искомой
функции. Значения точек перегиба можно легко отбросить, так как в данных
точках вторая производная будет равна 0:
(12ax 2  6bx  2c )  0
(3.17)
В вычислителе смещения это может быть реализовано при помощи простого
компаратора.
Рассмотрим альтернативный двух итерационный алгоритм (рисунок 3.5)
построения интерполятора, в случае интерполяции ВКФ полиномом 4
степени, основанный на предварительной калибровке оптической системы
(подход 2):
А) Выполнение предварительной калибровки, для этого аналогично
подходу 1, решаем систему из 5 уравнений с 5 неизвестными, и находим
положение точек перегиба по оси абсцисс. При этом измерения проводятся в
точках максимального контраста (для этого целесообразно использовать
алгоритмы
автоматического
смещении равном 0.
фокуса).
Калибровка
производится
при
75
Б) Проводим N определений положений точек (по оси абсцисс) перегиба
для повышения точности оценки их положений. Находим математическое
ожидание.
В) На основании формулы описывающей полином 4 степени, вычисляем
значения дисперсии разности в точках перегиба.
Г) Оценка малых смещений в процессе эксплуатации видеосистемы
происходит в 2 итерации:
1. Нахождение точек перегиба по оси абсцисс, используя значение
дисперсий разности: {x1; y1} = {-Δm; D–1}, {x2; y2} = {Δm; D1}, {x3; y3} = {0;
D0}, {x4; y4} = {-2Δm; D-2}, {x5; y5} = {2Δm; D2}. Предварительная оценка
положения точки минимума (по аналогии с подходом 1).
2. Подставляем найденные в процессе калибровки значения точек
перегиба по оси ординат, вместо значений, найденных в итерации №1.
Повторяем процедуру интерполяции на основе полинома 4 степени,
используя 5 точек: 2 точки перегиба, {x1; y1} = {-Δm; D–1}, {x2; y2} = {Δm; D1},
{x3; y3} = {0; D0}
Точки, соответствующие значениям D–2 и D2, отбрасываются и в
дальнейших
вычислениях
не
используются.
В
результате
получаем
уточненное положение минимума или искомое смещение.
Достоинство данного подхода заключается в существенном уменьшении
сложности коррелятора с повышенной точностью оценки смещения.
Недостаток: необходимость определения точек перегиба индивидуально для
каждой оптической системы, которая может быть как ручной, так и
полностью автоматической (предварительная калибровка).
Алгоритм нахождения оценки смещения в случае интерполяции ВКФ
полиномом 6 степени очень похож на рассмотренный случай 4 степени.
Отличия заключаются в том, что для данного случая количество уравнений и
неизвестных коэффициентов возрастает:
76
6
5
4
3
2
y 1  ax 1  bx 1  cx 1  dx 1  ex 1  fx 1  g
6
5
4
3
2
6
5
4
6
5
4
3
6
5
4
3
2
6
5
4
3
2
6
5
4
3
2
y 2  ax 2  bx 2  cx 2  dx 2  ex 2  fx 2  g
3
2
y 3  ax 3  bx 3  cx 3  dx 3  ex 3  fx 3  g
2
y 4  ax 4  bx 4  cx 4  dx 4  ex 4  fx 4  g
y 5  ax 5  bx 5  cx 5  dx 5  ex 5  fx 5  g
y 6  ax 6  bx 6  cx 6  dx 6  ex 6  fx 6  g
y 7  ax 7  bx 7  cx 7  dx 7  ex 7  fx 7  g












(3.18)
и требуется семь точек соответствующих значений дисперсии. Другими
словами к пяти точкам соответствующим полиному 4 степени, добавляются
еще две координаты {x6; y6} = {3Δm; D3}, {x7; y7} = {-3Δm; D-3}, где D–3 –
дисперсия разности предыдущей строки и сдвинутой на три пикселя влево
текущей строки, D3 – дисперсия разности предыдущей строки и сдвинутой на
три пикселя вправо текущей строки. Данную систему семи уравнений с
семью неизвестными также целесообразно решать методом Гаусса. Для
решения данной системы требуется порядка 162 сложений, 174 умножений и
34 деления. Далее по аналогии со случаем для полинома 4 степени находится
искомое смещение.
Итак,
в
данном
параграфе
была
описана
методика
синтеза
быстродействующего прецизионного интерполятора, являющимся одним из
главных функциональных блоков синтезируемой автоматической системы
стабилизации.
3.3 Разработка алгоритма определения оптимальных параметров
режекторного фильтра
Применение
режекторных
составляющей
разрабатываемых
иллюстрирует,
экспериментально
фильтров
методов.
является
График
выявленную
измерения смещения от разрядности вычислителя.
очень
на
важной
рисунке
зависимость
3.6
ошибки
77
Рисунок 3.5 – ВКФ изображений при субпиксельной оценке смещения
изображения с использованием интерполяции полиномом 4 степени
78
Предварительная фильтрация с помощью режекторных фильтров
обеспечивает не только известное [17, кн. 2] обострение ВКФ, но и
обеспечивает
уменьшение
сложности
накапливающего
сумматора
вычислителя ВКФ пропорционально log2τ/Δm [A1].
Основными требованиями к режекторному фильтру, обеспечивающему
обострение ВКФ при отсутствии смещения оценки, является симметрия
импульсной характеристики {hk} и равенство нулю суммы всех её членов:
k l
h
k
 0; h0  0; hl  0 при k  l .
(3.19)
k l
Синтез импульсной характеристики режекторного фильтра опирается на
критерий минимума функционала, включающего взвешенную сумму потери
полезной информации ΔI об измеряемом параметре сдвига и сложности
фильтра W [105]. Потеря полезной информации связана с коэффициентом
изменения отношения сигнал/шум KΨ = Kш/Ks из-за возрастания мощности
шума на выходе фильтра пропорционально коэффициенту шума [106]
k 
Kш 
2
k
h
(3.20)
k  
и возможного уменьшения энергии сигнала одноэлементных фрагментов и
перепадов яркости, в первом приближении определяемого отношением
полуширины импульсной характеристики фильтра к длительности фронта
видеоимпульса
Ks = [min{l/β;1}]2.
(3.21)
Это означает, что в рассматриваемой системе полуширина l импульсной
характеристики режекторного фильтра должна быть не менее отношения β
размеров пикселя основного и вспомогательных фотоприемников.
При оценке сложности блоков вычислителя смещения изображений
будем считать, что
 сложность характеризуется числом вентилей;
79
 , пиксел
2
4
 2ф
 4ф
 W  0,001
m, разрядов
Рисунок 3.6 – График зависимости ошибки измерения смещения от
разрядности вычислителя (  2 – ошибка оценки смещения при интерполяции
ВКФ полиномом 2 степени без режекторного фильтра,  4 – ошибка оценки
смещения при интерполяции ВКФ полиномом 4 степени без режекторного
фильтра,  2 ф – ошибка оценки смещения при интерполяции ВКФ полиномом 2
степени с использованием режекторного фильтра,  4 ф – ошибка оценки
смещения при интерполяции ВКФ полиномом 4 степени с использованием
режекторного фильтра)
80
 минимальная сложность ячейки памяти – два вентиля;
 минимальная
сложность
полного
одноразрядного
сумматора
5 вентилей.
При оценке сложности режекторного фильтра можно считать, что она
определяется только требуемыми элементами задержки со сложностью 4lm и
2l сумматорами со сложностью 4(m + l), так как применяется только
умножение на целочисленные степени числа 2 (½, ¼, ⅛…), осуществляемое
простым сдвигом кода, ведущим к увеличению разрядности кода на l. При
количественной оценке параметров ниже будем полагать β = 4.
При выборе оптимальных параметров режекторного фильтра следует
принимать
во
внимание
показатель
эффективности
использования
вычислительных ресурсов RI ( 3) , связывающий потерю полезной информации
ΔI (в данном случае – потерю точности измерения смещения) с
вычислительной сложностью W [104] (смотри формулу 3.9).
Простейшим фильтром, отвечающим поставленным условиям, является
фильтр с импульсной характеристикой {h–1=–½; h0=1, h1=–½} (рисунок 3.7а).
Этот фильтр, известный в радиолокации как череспериодный компенсатор
второго порядка, рекомендуется к применению в задаче обострения ВКФ [17,
кн. 2]. Так как применение этого фильтра при β > 1 ведёт к заметной потере
информации, то необходимо обратиться к фильтрам с большим числом
членов импульсной
характеристики,
примеры которых показаны на
рисунках 3.7б – 3.7г, а параметры сведены в таблицу 1. Эти фильтры имеют
следующие импульсные характеристики [А1, А4]:
Рисунок 3.7б: {h–2 = h–1 = h1 = h2 = –¼; h0 = 1};
Рисунок 3.7в: {h–1 = h1 = – 0,3125; h–2 = h2 = – 0,1875; h0 = 1};
Рисунок 3.7г: {h–4 = h–3 = h–2 = h–1 = h1 = h2 = h3 = h4 = –⅛; h0 = 1}.
Фильтр, обозначенный на рисунке 3.6в, является оптимальным для
обнаружения одноэлементных сигналов на фоне с экспоненциальной АКФ,
хотя и требует несколько больших вычислительных затрат.
81
Таблица 1. Параметры режекторных фильтров
Фильтр
l
Kш
Ks
KΨ
ΔI
W
Рисунок 3.7а
1
1,5
0,0625
24
2,3
8(m+1)
Рисунок 3.7б
2
1,25
0,25
5
1,16
16(m+1)
Рисунок 3.7в
2
1,266
0,25
5,06
1,17
16(m+2)
Рисунок 3.7г
4
1,125
1
1,125
0,08
32(m+1,5)
-
8
1,0625
1
1
0,04
64(m+1,5)
Таким образом, наблюдается уменьшение потери информации о
смещении изображения ценой увеличения сложности фильтра (смотри
рисунок 3.8). Весовые коэффициенты при этих величинах следует определять
с учётом сложности остальной части вычислителя, для широкого диапазона
значений которых при выбранном значении β = 4 наилучший компромисс
между точностью и сложностью обеспечивает фильтр с импульсной
характеристикой, показанной на рисунке 3.7г [А1, A3].
Необходимо отметить (таблица 1), что коэффициент шума Kш обратно
пропорционален количеству членов импульсной характеристики фильтра,
что следует учесть при создании систем стабилизации, основанных на
предложенных методах. Значительное увеличение числа членов импульсной
характеристики приводит не только к росту сложности, но и к уменьшению
точности, другими словами к потере информации из-за сокращения
анализируемого интервала. Это связанно с тем, что для корректного
вычисления сигнала следует начинать не с первого элемента строки, а с того
пикселя, которому соответствует главный положительный отклик фильтра.
Другими
словами
с
каждого
края
измерительной
строки
теряется
информация с элементов разложения (данная информация не используется в
82
Kш=1,5
W=8(m+1)
Kш=1,125
W=32(m+1,5)
г
а
Kш=1,266
W=16(m+2)
Kш=1,25
W=16(m+1)
б
в
Рисунок 3.7 – Импульсные характеристики режекторных фильтров
и их параметры
83
Рисунок 3.8 – Зависимость потери полезной информации ΔI (синяя линия),
сложности W (при m=10, красная линия) и показателя эффективности
использования вычислительных ресурсов RI ( 3) (зеленая линия) от порядка
режекторного фильтра N (числа членов импульсной характеристики)
84
вычислениях),
соответствующих
половине
ширины
импульсной
характеристики фильтра.
В данном параграфе была разработана методика выбора оптимальных
параметров режекторного фильтра. Как будет видно из дальнейшего
изложения (глава 4), на практике режекторный фильтр дает значительный
выигрыш в построении кривой аппроксимации АКФ и, следовательно,
приводит к более точным результатам при оценке смещения посредством
разработанных методов.
3.4 Разработка алгоритма сокращения вычислительной сложности
вычислителя ВКФ
Разработку метода сокращения сложности вычислителя ВКФ следует, в
целом, вести на основе совершенствования структуры коррелятора. Опишем
суть разрабатываемого метода.
Коррелятор является самой сложной частью синтезируемой системы
измерения смещения сигнала. Будем полагать, что априорное значение
смещения изображения от измерения к измерению составляет аΔm, т. е.
а пикселов. При этом количество значений вычисляемых коэффициентов
корреляции составляет n = 2а* + 1. В прецизионной следящей системе
стабилизации
изображения
частота
измерения
должна
выбираться
достаточно большой для того, чтобы смаз изображения не проявлялся. Для
этого необходимо, чтобы выполнялось условие а < 1. Вычисления заметно
упрощаются, если обеспечивается условие а < 0,5. Отметим, что значение
смещения изображения на полпикселя за время кадра было зафиксировано
как эмпирическая оценка [12] без учёта обработки изображений и
стабилизации растра. Малое значение сдвига сигнала за время считывания
измерительной строки ведёт к необходимости и достаточности вычисления
взаимной корреляции в трёх точках: с нулевым сдвигом и со сдвигом на
пиксел влево и вправо [A1].
85
Сложность вычисления взаимной корреляции соседних строк во многом
связана с операцией умножения. Для облегчения аппаратной реализации
коррелятора целесообразно перейти от прямого вычисления произведений
разных сигналов к несколько более просто организуемой операции
возведения
в квадрат.
Возможность
такой реализации определяется
известной формулой [107]:
M
 y ( x ) 
y ( x   )
2
 2 K ( 0 ) 1 

K ( )
K ( 0 )  .
(3.22)
При любом из этих способов вычисления корреляции в схему
коррелятора входит устройство задержки на строку и три устройства
задержки на элемент (рисунок 3.9) с совокупной сложностью (J+3)m.
Сложность коррелятора при прямом методе вычислений определяется
сложностью входящих в него умножителя и накапливающего сумматора
Wк ≈ (J + 3)m + 3(m2 + m) + 4(2m + logJτ/Δ).
(3.23)
Анализ в пакете Quartus II фирмы Altera для семейства микросхем
программируемой
логики
Cyclone IV GX
показывает,
что
непрямое
вычисление корреляции по формуле (3.1) для принятых выше параметров
изображения требует примерно в 2,7 раза меньше вычислительных ресурсов,
чем прямое вычисление. Это обусловлено тем, что возведение в квадрат
проще, чем умножение, и тем, что благодаря вычитанию коррелированных
сигналов уменьшается разрядность накапливающих сумматоров. При этом
общая сложность меньше, чем требуемая для вычисления ВКФ за счёт отказа
от нормировки накопленных статистик. Такая возможность связана с целью
измерения – поиском не функции корреляции изображения, а лишь
аргумента её максимума. Формула (3.1) изменяет структуру вычислителя
(рисунок 3.10), который изменяет смысл формируемых трех статистик:
теперь это значения дисперсий разностных сигналов, D–1, D0, D1, разрядность
которых 2m + logJτ/Δ:
86
Рисунок 3.9 – Функциональная схема коррелятора
Рисунок 3.10 – Функциональная схема коррелятора с вычислением
дисперсий приращения сигналов
87
 предыдущей строки и сдвинутой на пиксел влево текущей строки
D–1,
 предыдущей строки и текущей строки D0,
 предыдущей строки и сдвинутой на пиксел вправо текущей строки
D 1.
При практической разработке коррелятора можно применить тот же
подход, что был продемонстрирован в параграфе 3.3. Другими словами
функциональный
комбинаторной
блок
коррелятора
логики,
работающей
следует
без
реализовывать
использования
в
виде
тактовых
синхроимпульсов, а буферными области на входах/выходах коррелятора,
управлять посредством сигналов тактирования. В случае коррелятора это
даст еще больший выигрыш в быстродействий и вычислительной сложности
системы измерения смещения (системы контроля смещения изображения) по
сравнению с интерполятором.
3.5 Разработка метода повышения частоты измерения смещения
изображения
Подход к разработке метода повышения частоты измерения смещения
изображения строится на программно - аппаратных и технологических
возможностях современных производств. Правильность применения данного
метода подтверждена патентом [A3].
В
современных
видеосистемах
и
устройствах
все
более
просматриваются тенденции к увеличению количества функциональных
узлов и блоков на едином кристалле. В первую очередь это обусловлено
стремлением к микроминиатюризации аппаратуры и увеличению надежности
изделий. Ведь количество отказов, как правило, больше в тех устройствах,
где более высокое количество паяных соединений. Данные проблемы
вынудили
производителей
современных
микросхем,
в
частности,
твердотельных фотоприемников, пойти по пути объединения максимально
88
возможного функционала в единый чип, в так называемую видео систему на
кристалле. На Рис. 3.11 представлена структурная схема виброустойчивой
системы формирования изображений с использованием СБИС ВСнК для
стабилизации изображения, отражающая суть разрабатываемого метода.
ВСнК для стабилизации изображения 10 содержит основной матричный
фотоприемник
11,
вплотную
к
которому
вдоль
двух
его
взаимно
перпендикулярных граней располагаются два линейных фотоприемника 12 и
13. На том же кристалле расположены два операционных запоминающих
устройства 14 и 15, два процессора вычисления корреляции 16 и 17, а также
блок управления 18. На фото-приёмную часть ВСнК 11,12 и 13 проецируется
изображение с помощью объектива 20. Выход подвижного элемента 30
соединен с ВСнК 10 или с элементом (элементами) объектива 20, вход
подвижного элемента 30 соединен с выходом блока управления 18 ВСнК 10,
входы которого подключены к выходам процессоров измерения корреляции
16 и 17. Входы процессора вычисления корреляции 16 соединены
непосредственно с выходами операционного запоминающего устройства 14 и
выходами линейного фотоприемника 12. Входы процессора вычисления
корреляции 17 соединены непосредственно с выходами операционного
запоминающего устройства 15 и выходами линейного фотоприемника 13.
Предполагается следующий алгоритм работы ВСнК, по разработанному
способу: Сигналы с линейных фотоприемников 12 и 13,работающих с
существенно большей кадровой частотой по сравнению с основной фото
приёмной матрицей 11, передаются через множество параллельных каналов
связи на, вычисляющие смещения изображения процессоры вычисления
корреляции взаимной корреляции сигналов соседних строк 16 и 17, а также
блок
управления
18,
вырабатывающий
управляющие
сигналы
для
подвижного элемента 20.
В процессорах вычисления корреляции 16 и 17 происходит вычисление
взаимной корреляции сигналов различающихся на время строки в нечетном
89
Рисунок 3.11 – Структурная схема виброустойчивой системы формирования
изображений с использованием СБИС ВСнК для стабилизации изображения
с распараллеливанием считывания видеоинформации из вспомогательных
фрагментов формирования оценок смещения изображений
90
количестве вычисляемых точек с интерполяцией ВКФ и вычислением
аргумента максимума ВКФ [A3].
Отмечу, что в составе ВСнК, рамках разработанного метода, помимо
фото
приёмной
части
системы
стабилизации,
представлена
вся
вычислительная, запоминающая и управляющая часть, а именно: процессоры
вычисления корреляции, операционные запоминающие устройства, блок
управления. Отличительной особенностью разработанного метода является
распараллеливание считывания сигналов с линейных фотоприемников.
Рассмотрим несколько моментов, почему реализация данного метода в
виде ВСнК стала возможной, хотя еще лет 10-15 назад данная концепция
была
практически
не
реализуема.
Основная
проблема,
с
которой
сталкиваются разработчики микросхем, связанна с выделением тепла в
высокопроизводительном
кристалле
и
проблемами
теплоотвода.
Для
некоторых может показаться странным, тот факт, что тактовая частота
микросхем увеличивается, а потребление падает. Всем известно, что на
частотах выше 20 МГц потребление микросхемы в основном определяется не
статической, а динамической рассеиваемой мощностью. Динамическая
рассеиваемая мощность пропорциональна частоте и пропорциональна
квадрату разности между логическими уровнями. За счет постоянного
уменьшения рабочих напряжений внутри кристалла (0.9 В. и меньше) и
удалось существенно снизить выделяемую мощность [A3].
Кроме того, последние достижения в полупроводниковой электронике,
позволяю создавать микросхемы со встроенной аналоговой частью, помимо
больших возможностей в
области
цифровой
обработки.
Реализация
процессоров, программируемой логической матрицы, различных фильтров,
высоковольтных ключей, операционных усилителей на одной микросхеме
сделало возможным создавать системы измерения смещения изображения,
практически не увеличивая размеры самой видеокамеры. Целесообразно
реализовать как схемы управления, так и системы измерения смещения
изображения на одном кристалле. Значительное количество производителей
91
систем класса видеосистем на кристалле доказывают реализуемость
разработанного метода.
Особенностями представленного метода являются [A3]:
– Возможность реализации системы измерения смещения изображения в
составе системы стабилизации изображения как СБИС класса «видеосистема
на
кристалле»,
с
реализацией
фото
приёмной,
запоминающей,
вычислительной и управляющей части системы на одном кристалле.
– Возможность повышения частоты измерения смещения за счет
распараллеливания считывания сигналов с линейных фотоприемников.
– Возможность реализации данной системы измерения смещения в
составе
видеосистемы
на
кристалле
позволяет
избавиться
от
дополнительного шума и наводок за счет уменьшения паразитного влияния
проводников. Это выражается в уменьшении сопротивления и индуктивности
самих проводников.
–
Возможность
реализации
вычислителя
внутри
кристалла
и
множественное считывание с линейных фотоприемников помимо увеличения
скорости измерения смещения позволяет добиться увеличения точности
измерения за счет применения специальных алгоритмов ЦОС, различных
методов интерполяции результатов измерений.
–Целесообразность сокращения вычислительной сложности за счет
вычисления
взаимной
интерполяцией
корреляции
взаимной
в
нечетном
корреляционной
количестве
функции
и
точек
с
вычислением
аргумента максимума ВКФ.
3.6 Выводы
В ходе разработки методов повышения быстродействия и точности
стабилизации изображения, был получен ряд важных научных результатов,
которые можно кратко изложить в следующих основных выводах:
92
1.
прямом
Предложен способ стабилизации изображений, основанный на
методе
измерения
смещения
с
субпиксельной
точностью,
отличающийся тем, что позволяет существенно расширить диапазон
скоростей
смещения
визирной оси,
при
которых искажения
смаза
маскируются шумом.
2.
Предложено
использование
интерполирующих
полиномов
четвертой степени в структуре интерполятора.
3.
Предложена алгоритм определения оптимальных параметров
режекторного фильтра отличающаяся тем, что обеспечивает компромисс
между потерей точности и вычислительной сложностью фильтра.
4.
Предложен алгоритм сокращения вычислительной сложности
вычислителя ВКФ, основанный на переходе от прямого вычисления
произведений разных сигналов к вычислению их квадрата разности.
5.
Обоснована целесообразность реализации системы измерения
смещения изображения в виде ВСнК с распараллеливанием считывания
видеосигналов с линейных фотоприемников.
6.
Высокоточное совмещение изображений в реальном времени –
условие стабилизации для неискажённого накопления в прикладном
телевидении (а не просто для удобства зрителя) – достигается прямым
измерением (а не косвенным с датчиками ускорения) с использованием
дополнительных фотоприёмников, переводящих такую видеосистему на
кристалле в класс приборов с множественным потоком данных.
93
4 АПРОБАЦИЯ И ВНЕДРЕНИЕ РАЗРАБОТАННЫХ МЕТОДОВ
4.1 Модельное исследование формы аппроксимирующей кривой
АКФ изображений
В предыдущей главе были освещены разработанные методы повышения
быстродействия и точности стабилизации изображения в прикладных
телевизионных камерах.
Дальнейшие
рассуждения
будут
связаны
с
экспериментальными проверками разрабатываемых методов [A6].
Известно ([17, кн. 2]), что АКФ K (x) изображений, анализируемых
линейными фотоприёмниками, при достаточно больших аргументах в силу
свойств наблюдаемых сюжетов моделируется экспоненциальной функцией с
интервалом корреляции  >>  , как показано в формуле (3.2).
Как было рассмотрено в главе 2 данной диссертации [A1] АКФ
изображений, при малых смещениях изображения в доли пикселя должно
аппроксимироваться полиномом четвертой степени.
Возникла
необходимость
экспериментально
при
проверить
помощи
данное
положение
компьютерно-математического
моделирования. Изложим ниже суть проведенного эксперимента.
Была взята выборка из большого количества реальных изображений. Для
каждого изображения из этой выборки выделялись строки в различных
частях изображения. Пример выбора строки продемонстрирован на рисунке
4.1. Следующим действием, для каждого изображения, было формирование
новой строки, полученной путем алгебраической суммы пикселов 1 × 5.
После этого происходил сдвиг сформированных новых строк на 1 исходный
пиксел вправо, другими словами на 1/5 нового пикселя основного
изображения.
Процедура
сложения
исходных
элементов
разложения
повторялась для сдвинутого изображения. Рисунок 4.2 и рисунок 4.3 хорошо
иллюстрируют суть данных действий.
94
Рисунок 4.1 – Пример выбора строки на изображении.
95
Далее происходило вычисление АКФ между сдвинутой и исходной
строкой по формуле (1.2).
В рамках той же одной строки, данные вычисления повторялись для
различных смещений на 2/5, 3/5 нового пикселя вправо, и влево на 1/5, 2/5,
3/5 пикселя. Таким образом, работая по определенной строке, мы получали 6
точек для построения по ним графиков АКФ.
Вышеуказанные вычисления повторялись, для различных строк, с целью
проверки различий формы АКФ при малых смещениях от рабочей области
изображения. Перечисленные процедуры повторялись для различных
изображений. Сигналы для разных строк одного изображения показаны на
рисунках в приложении А. Как мы видим, сигналы от каждой из
рассмотренных строк обладают совершенно разной формой. В некоторых
случаях (рисунок 4.4) сигнал достаточно однороден. Очевидно, что многие
сигналы, рассмотренные в приложении А, обладают сложной формой, что
должно сказаться на результатах проведения кривых аппроксимации. И если
судить по построенным аппроксимациям АКФ для выбранных строк, это
действительно так.
График 4.5 показывает пример аппроксимаций АКФ для приведенной
строки изображения, используя оригинальный сигнал, а график 4.6
демонстрирует
влияние
предварительной
фильтрации
на
форму
аппроксимирующей кривой (приложение А).
На всех проведенных экспериментальных исследованиях, по данному
алгоритму, замечено, что АКФ изображений при малых смещениях имеет
вид близкий к полиному четвертой степени. Было также отмечено в ходе
исследования,
что
моделирование
сигналов
сложной
формы
(подразумеваются строки с сигналами сложной формы) давало набор точек
АКФ более близкий к аппроксимирующей кривой. Объяснение причин
данного наблюдения будет рассмотрено в следующих параграфах.
96
Рисунок 4.2 – Смещения строк влево
Рисунок 4.3 – Смещения строк вправо
97
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Рисунок 4.4 – Выбранный сигнал строки 870
Approximations of correlation function of an original discrete signal
R
1.001
1
0.999
0.998
0.997
0.996
0.995
0.994
0.993
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Рисунок 4.5 – Аппроксимации АКФ оригинального сигнала для строки 870
98
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Рисунок 4.6 – Аппроксимации АКФ оригинального сигнала после
прохождения фильтрации для строки 870
99
Для оценки правильности выбранной модели аппроксимации ВКФ в
виде полинома 4 степени проведем регрессионный анализ и статистический
анализ уравнений регрессии на основе полученных в ходе математического
моделирования точках ВКФ при малых смещениях (в приложении В показан
код программы в среде проектирования Matlab).
В качестве принципа приближенности, который бы использовал
существенные
статистические
целесообразно
использовать
свойства
метод
самого
уравнения
наименьших
регрессии,
квадратов
(МНК),
основанный на двух предположениях [108]:

Сумма остатков i = 0.

Сумма квадратов остатков i2 = min.
В матричной форме для МНК коэффициенты регрессии находятся как:
b  [X Т X] 1 X Т y,
(4.1)
где X – матрица плана эксперимента, y – матрица откликов.
В нашем случае, при выборе в качестве модели аппроксимирующей
кривой ВКФ полином 2 порядка матрицы X и у будут выглядеть следующим
образом:
 x12
 2
x
X  2
 ...
 2
 xN
x1
x2
...
xN
 y1 
1
y 

1
, y   2 .
 . 

1



y
1
 N 
(4.2)
При выборе в качестве модели аппроксимирующей кривой ВКФ
полином 4 порядка:
 x14
 4
x
X  2

 4
 xN
x13
x 23
x12
x 22
...
x N3
x1
x2
...
x N2
xN
 y1 
1
y 

1
, y   2 .
 . 
1



y
1
 N 
(4.3)
В обоих случаях {xi;yi} – координаты точек плана эксперимента. Как
видно на графике 4.5 количество точек плана эксперимента N = 7.
100
Точность модели можно охарактеризовать величиной дисперсии
адекватности D A , показывающей степень разброса значений отклика относительно найденного уравнения регрессии [108]:
DA 
1
A
N
( y
^
i
 y)2 ,
(4.4)
i 1
^
где yi – результат i-го измерения; y – значение отклика, предсказанного
найденным уравнением регрессии, А = N – (r + 1) – число степеней свободы,
равное числу слагаемых в сумме, уменьшенному на число линейных связей
между ними.
Дисперсия воспроизводимости DB для случая, когда дисперсия 2
измеренных значений y во всех точках плана одинакова [108]:
DB 
1
B
n
 (y
ij
 y iсс )2 ,
(4.5)
j 1
где yij – значение отклика в точке xi при j-м измерении, число степеней
свободы B = n – 1.
Число связей r + 1 равно числу коэффициентов в уравнении регрессии.
Число степеней B свободы равно разности между числом опытов и
параметров (коэффициентов) модели, которые определяют на основании этих
опытов. Для случая полинома 2 степени А = 7 – 3 = 4 и B = 6, для полинома
4 степени А = 7 – 5 = 2 и B = 6.
Если F < F(1-)(А, В), можно утверждать, что экспериментальные
данные не противоречат проверяемой гипотезе; если же F > F(1-)(А, В),
гипотеза адекватности должна быть отвергнута. Здесь F(1-)(А, В) –
квантиль F-распределения, соответствующий заданному уровню доверия, F–
значение F-критерия для проведенного моделирования,  – уровень
значимости. В нашем анализе будем использовать F-критерий проверки
гипотезы об адекватности модели с 1– равным 0,99.
101
Введем определенный уровень шума в математическую модель
эксперимента,
который
можно
выразить
через
среднеквадратичное
отклонение (СКО), и проведем моделирование как показано в приложении Б.
Результаты моделирований при различных уровнях шума, выраженных
в виде различных значений СКО, сведем в таблицу 2. Как можно заметить
при СКО 0,008 и ниже адекватной является модель ВКФ в виде полинома 4
степени, для СКО 0,009 и выше адекватной является модель аппроксимации
ВКФ полиномом 2 степени.
Итак,
было
проведено
подробное
исследование
доказывающее
правильность разработанных методов. На практике доказано положение о
том, что скоростное прецизионное измерение смещения изображений должно
учитывать форму аппроксимации АКФ, при малых смещениях наиболее
близкую к полиному четвертой степени; при практическом применении, в
зависимости от соотношения размеров светочувствительного элемента и
кружка рассеяния объектива оптимальными являются интерполирующие
полиномы второй или четвёртой степени.
4.2
Экспериментальная
проверка
формы
аппроксимирующей
кривой АКФ изображений
Модельный эксперимент полностью подтвердил наше предположение о
форме АКФ при субпиксельных смещениях изображения представляющей
собой полином четвертой степени. Однако модельный эксперимент все-таки
имеет свои очевидные недостатки. С целью подтвердить проведенные
модельные исследования и окончательно убедиться в реальных условиях, на
видеокамере, что автокорреляционная функция, имеющая квадратичный вид
при
малых
смещениях
объектива
может
быть
определена
интерполирующими полиномами второй или четвёртой степени [A1], был
проведен натурный эксперимент [A6].
102
Таблица 2. Результаты регрессионного анализа
№
модель
СКО
F
F(0.99)(
А,
1
2 степень
В)
Адекватность
F/ F(0.99)
модели
69,64
9,15
не адекватна
7,61
6,54
10,92
адекватна
0,6
46,39
9,15
не адекватна
5,07
4 степень
5,95
10,92
адекватна
0,54
2 степень
27,62
9,15
не адекватна
3,01
4 степень
1,62
10,92
адекватна
0,17
2степень
16,2
9,15
не адекватна
1,77
4 степень
1,21
10,92
адекватна
0,11
2степень
12,57
9,15
не адекватна
1,37
4 степень
0,70
10,92
адекватна
0,06
2степень
9,47
9,15
не адекватна
1,04
4 степень
0,49
10,92
адекватна
0,04
2степень
8,29
9,15
адекватна
0,91
0,003
4 степень
2 степень
2
3
0,004
0,005
4
0,006
5
0,007
6
0,008
7
0,009
4 степень
103
Внешний вид экспериментального стенда показан на рисунке 4.7. Стенд
состоял из видеокамеры, настроечной таблицы и микрометра. Видеокамера
была жестко закреплена и находилась на значительном расстоянии от
микрометра и настроечной таблицы (12 метров). Производилось смещение
настроечной таблицы при помощи микрометра по горизонтали. Так как
фокусное расстояние объектива камеры было большим,
то, зная расстояние до настроечной таблицы, мы могли точно осуществлять
перемещения настроечной таблицы по горизонтали на необходимые нам
доли пикселя (смотри рисунок 4.8 и рисунок 4.9).
Следующим действием происходил выбор одних и тех же областей
пикселов (этим способом мы фактически эмитировали работу линейных
фотоприемников) для исходного изображения и смещенного изображения
(смотри рисунок 4.10 и рисунок 4.11).
Далее между исходным изображением и смещенным изображением
вычислялась АКФ, используя ту же формулу, которую мы применяли при
проведении модельного эксперимента.
Таким образом, по двум изображениям мы получали одно значение
АКФ сравниваемых сигналов. Далее повторяли ту же процедуру для
нахождения
различных
смещений
между
другими
изображениями.
Целесообразно заметить, что хоть все смещения были разными, все они были
значительно меньше пикселя. Далее по полученным значениям АКФ в
известном количестве точек строились графики, отражающие зависимость
значения АКФ от смещения [А1, A6] (рисунок 4.12 и рисунок 4.13).
Как видно из графиков, проведенный натурный эксперимент полностью
подтвердил корректность заключений о форме АКФ изображений. Это
позволяет с уверенностью заявить, что аппроксимирующая кривая АКФ
описывается квадратичными функциями второй и четвертой степени.
Аппроксимация АКФ полиномом 4 степени даст более точную оценку
смещения, хотя и потребует несколько больших вычислительных затрат
(смотри главу 3). Важно было провести данное исследование именно перед
началом оценки качественных показателей предложенного в диссертации
метода прямого измерения смещения.
104
Рисунок 4.7 – Экспериментальный стенд
Рисунок 4.8 – Исходное изображение
105
Рисунок 4.9 – Смещенное изображение
Рисунок 4.10 – Выбор строки по центру изображения 1
106
Рисунок 4.11 – Выбор строки по центру изображения 2
Рисунок 4.12 – Пример АКФ изображения по результатам эксперимента при
r/Δ <1 до контрастирования режекторным фильтром при аппроксимации
дискретных замеров (показаны точками на рисунке) кривой 2-го (пунктир) и
4-го порядков (сплошные кривые)
107
Рисунок 4.13 – Пример АКФ изображения по результатам эксперимента при
r/Δ <1 после контрастирования режекторным фильтром при аппроксимации
дискретных замеров (показаны точками на рисунке) кривой 2-го (пунктир) и
4-го порядков (сплошные кривые)
108
4.3
Экспериментальная
проверка
точности
прецизионного
измерения смещения в зависимости от сюжетов изображения
Основной задачей данного практического исследования является
произвести оценку ошибки измерения смещения при различных сюжетах, а
также качественную оценку достоверности используемого математического
аппарата [A8].
В предыдущих параграфах мы убедились на практике в достоверности
выбранной аппроксимации АКФ для малых смещений, однако с целью
упростить
вычисления
мы
перешли
к
дисперсиям
изображений.
Соответственно, теперь, как уже говорилось, мы ищем не максимум АКФ, а
минимум
значения
дисперсий.
За
счет
существенного
упрощения
вычислений (смотри параграф 3.2) мы получили некоторое отклонение в
определении
искомого
минимума.
Погрешность
вычислений
будет
увеличиваться вместе с увеличением ошибки определения конкретных
значений
дисперсий
для
каждого
заданного
изображения.
Причем
погрешность будет вызвана именно ошибкой самого используемого
математического аппарата, самой формулой (3.2). Совершенно очевидно, что
на абсолютно однородном фоне с равномерной яркостью отклонения в
определении дисперсий будут максимальными. Требовалось понять, как себя
поведут разработанные методы на реальных изображениях[A2].
Рассмотрим проведенный эксперимент. Была взята выборка из 30
реальных
изображений
512×512
пикселей
(некоторые
характерные
изображения показаны на рисунке 4.14) различного содержания, начиная от
простых однородных изображений и заканчивая изображениями земли из
космоса с наличием большого количества неоднородностей и мелких
деталей. Для каждого изображения из этой выборки выделялись зоны
соответствующие основному массиву пикселов и двум боковым массивам
(линейным фотоприемникам), как показано на рисунке 4.15 и рисунке 4.16.
Следующим действием было формирование новой строки и столбца для
109
Изображение 1
Изображение 2
Изображение 3
Изображение 4
Изображение 5
Изображение 6
Изображение 7
Изображение 8
Изображение 9
Рисунок 4.14 – Примеры изображений
110
основного фотоприемника (рисунок 4.17), полученных путем алгебраической
суммы
пикселов
фотоприемников
4
×
4
(рисунок
и
новых
4.18),
строки/столбца
суммированием
для
областей
линейных
пикселов
размером 2 × 100. Различия формируемых размеров пикселей основного и
вспомогательных фотоприемников обусловлены различиями в задачах
решаемыми ими. Размер основного и вспомогательного фотоприемника
сопряжен с кружком рассеивания объектива, но в поперечном направлении
измерительной строки линейного фотоприемника размер существенно
больше для компенсации потери чувствительности при высокой скорости
считывания, так как частота этих строк на порядок 2…3 порядка выше
кадровой частоты основной матрицы [А1].
После этого происходил сдвиг сформированных новых строк и столбцов
на 1 исходный пиксел вправо и вверх, другими словами на ¼ нового пикселя
основного
фотоприемника
и
на
½
нового
пикселя
линейных
фотоприемников. Процедура сложения исходных элементов разложения
повторялась для сдвинутого изображения [A2].
По формуле для дисперсий разности (3.17) вычислялись значения
дисперсий , D–1, D0, D1, где D–1 – дисперсия предыдущей строки и сдвинутой
на пиксел влево текущей строки, D0 – предыдущей строки и текущей строки,
D1 – предыдущей строки и сдвинутой на пиксел вправо текущей строки.
Численная оценка смещения производилась при помощи формулы
(3.10).
Вычисления производились в математическом пакете Matlab с высокой
точностью предоставления промежуточных результатов. Максимальная
точность
и
стабильность
работы
алгоритма
была
достигнута
на
изображениях Земли из космоса, максимальная погрешность наблюдалась на
изображениях прозрачных предметов занимающих всю область изображения.
Для основного фотоприемника ошибка измерения составила порядка 0.03…
0.09 пикселя для каждой оси, для линейных фотоприемников 0.006… 0.07
пикселя. Средняя ошибка измерения смещения составила для основного
111
фотоприёмника 0,06 пикселя по оси Х и 0,07 по оси Y, для линейных
фотоприёмников средняя ошибка составила 0,02 пикселя по оси Х и 0,01
пикселя по оси Y [A2].
Разница точности определения координат между основным и двумя
линейными
фотоприёмниками,
обуславливается
различиями
в
моделировании основного и вспомогательного фотоприемников, в связи с
тем, что площадь сформированного пикселя линейного фотоприемника в
несколько раз больше площади пикселя основной матрицы.
Наибольшая точность измерения смещения изображения получилась в
сюжетах с большим количеством мелких деталей и высокой степенью
неоднородности, в связи с тем, что потенциальная точность определяется
отношением сигнал/шум и среднеквадратичной полосой частот, которая
может быть определена энергией производной сигнала [109].
Аналогичные вычисления производились для случая интерполяции ВКФ
полиномом 4 степени по точкам {x1; y1} = {-Δm; D–1}, {x2; y2} = {Δm; D1}, {x3;
y3} = {0; D0}, {x4; y4} = {-2Δm; D-2}, {x5; y5} = {2Δm; D2}. Алгоритм проведения
данных вычислений рассмотрен в параграфе 3. 2. Было замечено наличие
существенного различия в точности оценки смещения при интерполяции
ВКФ полиномом 4 степени по сравнению с полиномом 2 степени. Речь идет
именно об интерполяции, являющейся частным случаем аппроксимации, так
как у нас имеется минимальный набор точек необходимый для проведения
кривых аппроксимации ВКФ.
Для корректной оценки различия интерполяции ВКФ полиномами 2 и 4
степени проведем еще одно исследование на определенных изображениях.
Сохранив подход исследования, описанный ранее в данном параграфе,
ограничимся оценкой смещения изображения по оси y для случая линейного
фотоприемника.
Для оценки полосы частот нестационарного сигнала изображений будем
использовать
формулу,
широко
используемую
в
радиотехнике в качестве меры широкополосности W [109]:
статистической
112
Рисунок 4.15 – Обозначены вертикальная и горизонтальная области
основного фотоприемника
Рисунок 4.16 – Обозначены ортогональные области линейных
фотоприёмников
113
Рисунок 4.17 – Строки основного фотоприемника: предыдущая строка
А, строка с нулевым сдвигом В, со сдвигом начала отчетов на пиксел влево
В-1 и вправо В1
Рисунок 4.18 – Строки линейного фотоприёмника: предыдущая строка
А, строка с нулевым сдвигом В, со сдвигом начала отчетов на пиксел влево
В-1 и вправо В1
114
N /2
 k 2 X (k )
W
k 1
N /2
2
,
 X (k )
(4.6)
2
k 1
где
X (k )
– значение спектральной составляющей, полученное путем
усреднения спектральных составляющих по всем строкам изображения.
Выберем изображения, имеющие разрешение 256 × 256 пикселей, с
различными значениями W, как показано на рисунке 4.19, и проведем оценки
смещения для интерполяции ВКФ полиномом 4 и 2 степени. Причем, для
чистоты исследования, оценку смещения для случая интерполяции ВКФ 2
степени будем производить, не по формуле (3.10), а путем решения системы
уравнений, состоящей из 3 алгебраических уравнений с 3 неизвестными:
y 1  ax 12  bx 1  c
y 2  ax 22  bx 2  c
y 3  ax
2
3
 bx 3  c





(4.7)
с последующим нахождением смещения, как рассмотрено в параграфе 3.2.
Аналогичный подход с учетом системы уравнений (3.13) применим для
интерполяции ВКФ полиномом 4 степени. Результаты проведенного
моделирования в пакете Matlab сведем в таблицу 3 и проиллюстрируем в
виде графика на рисунке 4.20.
Таблица 3. Результаты оценки смещения
№
W
ˆ 2 ,пикселя
ˆ 4 ,пикселя
E ( 2 ) ,%
E ( 4 ) ,%
1
6
0,5346
0,5272
6,92
5,44
1,27
2,07
2
8
0,4199
0,4346
19,08
15,05
1,27
2,07
3
13
0,5524
0,5419
10,48
8,38
1,25
1,9
4
16
0,5102
0,5090
2,04
1,8
1,13
1,06
5
19
0,5591
0,5548
11,82
10,96
1,08
0,67
E ( 2 ) / E ( 4 E ( 2 ) / E ( 4 ) , дБ
115
Рисунок 4.19 – Компактная представительная выборка сюжетов
116
E(2) /E(4)
W
Рисунок 4.20 – Зависимость E ( 2 ) / E ( 4 ) от широкополосности изображений W
Рисунок 4.21 – Область изображения, используемая для оценки
смещения по оси y для широкополосности W=19.
117
В представленной таблице ˆ 2 – оценка смещения при интерполяции
полиномом 2 степени, ˆ 4 – оценка смещения при интерполяции полиномом 4
степени, E ( 2 ) – погрешность оценки смещения при интерполяции полиномом
2 степени,
– погрешность оценки смещения при интерполяции
E (4)
полиномом 4 степени. Как видно из таблицы аппроксимация ВКФ
полиномом 4 степени позволяет увеличить точность оценки смещения до
2,07 дБ по сравнению с аппроксимацией ВКФ полиномом 2 степени. Оценки
смещения для данного эксперимента получились несколько менее точными
для тех же изображений по сравнению с предыдущим экспериментом, так
как использовались изображения с разрешением 256 × 256 элементов
разложения. Для этого случая максимальная выявленная ошибка оценки
смещения составила 0,06 пикселя. Очевидно, что при сюжете изображения,
близком к однородному, субпиксельная точность оценки смещения будет
невозможна. Одна из худших оценок (ошибка 0.06 пикселя для случая
интерполяции ВКФ полиномом 4 степени) была получена на изображении
при W = 19 (рисунок 4.21), как раз из-за слишком однородной области, по
которой работает алгоритм оценки.
Для учета влияния шума измерения коэффициентов ВКФ, в процесс
моделирования к измеренным коэффициентам добавим аддитивную помеху
U. По аналогии с подходом, описанным в параграфе 4.1, добавим случайную
погрешность в математическую модель. Результат моделирования для
широкополосности W = 19 показал что, при изменении отношения сигнал /
шум от 20 до 4, несмотря на небольшое уменьшение точности оценки
смещения, отношение E ( 2 ) / E ( 4 ) возрастает от 1,08 до 1,61 раза.
Исследованный метод измерения смещения обладает относительно
небольшой вычислительной сложностью, в основном, за счет вычисления
взаимной корреляции по упрощенным алгоритмам, основанным не на
произведениях,
а
на
разностях
сравниваемых
сигналов.
Как
уже
рассматривалось ранее, целесообразно реализовывать систему измерения
118
смещения изображения в составе системы стабилизации изображения как
СБИС класса видеосистема на кристалле, с реализацией фотоприемной,
запоминающей, вычислительной и управляющей части системы на одном
кристалле [A3].
Проведённое экспериментальное исследование убедительно доказало,
что данный прямой метод оценки смещения позволяет определять
координаты сдвинутого изображения с субпиксельной точностью и может
служить основой для создания перспективных систем стабилизации
изображения, а также телевизионных камер широкого спектра применения на
их основе.
Ряд полезных рекомендаций относительно практической реализации
разработанных методов рассмотрен в работe [A7].
4.4 Макет видеокамеры с субпиксельным измерителем смещения.
Важной частью диссертационной работы с точки зрения практической
значимости было создание исследовательского макета для проведения
различных экспериментальных исследований разработанных методов, а
также для совершенствования предложенных методик.
Функциональная схема разработанного макета представлена на рисунке
4.22. Предложенные методы измерения смещения изображения реализованы
на отладочной плате Altera в виде аппаратного описания. Кроме того на
данной плате Altera на языке Verilog реализованы контроллеры линейных
фотоприемников и контроллеры АЦП (смотри приложение А). Отладочная
плата Demo 2 служит для визуальной оценки качества видеосигнала с
основного фотоприёмника. Для ясности иллюстрации на схеме опущены
разработанные схемы источников питания, конверторы логических уровней
между платами, цепи тактирования и ряд других блоков.
Рисунки 4.23 и 4.24 представляют собой осциллограммы с выхода
линейных фотоприемников, рисунок 4.25 демонстрирует осциллограммы
119
управляющих сигналов для линейных фотоприемников, передаваемых по
печатной плате и формируемых ПЛИС Altera. На рисунке 4.26 и 4.27
показаны фотографии внешнего вида разработанного макета.
Размер пикселя линейных фотоприемников выбран существенно меньше
размера
пикселя
основного фотоприемника
исходя
из
соображений
указанных в главе 3. Для тактирования основного фотоприемника
использовался генератор с тактовой частотой 27 МГц, тактирование
линейных фотоприемников осуществлялось за счет использования внешнего
синхросигнала от ПЛИС. Стандартная частота
кадров с линейных
фотоприемников составляет около 1кГц (чуть ниже как видно из рисунка
4.25) при частоте схемы фазовой автоподстройки частоты 1 МГц. Тем не
менее, путем изменения параметра схемы фазовой автоподстройки частоты в
рамках разработки легко добиться увеличения кадровой частоты линейных
фотоприёмников до 30кГц.
Данный
макет
был
использован
для
различных
исследований,
предложенных в диссертации методов повышения быстродействия и
точности стабилизации изображения, а также для апробации различных
вариантов
синтеза
быстродействующего
измерителя
смещения
с
субпиксельной точностью.
4.5 Выводы
Основной
целью
данной
главы
являлось
экспериментальное
подтверждение корректности разработанных методов. Были проведены
подробные исследования. В частности, были проведены модельные и
экспериментальные исследование формы аппроксимирующей кривой АКФ
видеосигналов
проведенной
на
различных
экспериментальной
изображениях.
проверки
Большое
точности
значение
у
прецизионного
измерения смещения в зависимости от сюжетов изображения. Данный
эксперимент на практике доказал, что данный прямой метод оценки
смещения позволяет определять координаты сдвинутого изображения с
120
Рисунок 4.22 – Функциональная схема макета видеокамеры с
субпиксельным измерением смещения
Рисунок 4.23 – Осциллограмма с выхода линейного фотоприемника
121
Рисунок 4.24 – Осциллограмма с выхода линейного фотоприемника
(измененная развертка)
Рисунок 4.25 – Сформированные ПЛИС управляющие сигналы для
линейных фотоприемников
122
Рисунок 4.26 – Вид макета сверху без объектива
Рисунок 4.27 – Вид макета сверху с объективом
123
субпиксельной точностью и может служить основой для создания
перспективных систем стабилизации изображения, а также видеокамер
широкого спектра применения на их основе.
В целом, по данной главе можно сделать следующие основные выводы:
1. Разработанные методы повышения быстродействия и точности
стабилизации изображения прошли апробацию на множестве экспериментов
и доказали свою эффективность для применения в различных задачах по
стабилизации телевизионного растра
2. Максимальная точность и стабильность работы алгоритма была
достигнута на изображениях Земли из космоса, максимальная погрешность
наблюдалась на изображениях прозрачных предметов занимающих всю
область изображения.
3. Разница точности определения координат между основным и двумя
линейными
фотоприёмниками,
обуславливается
различиями
в
моделировании основного и вспомогательного фотоприемников, в связи с
тем, что площадь сформированного пикселя линейного фотоприемника в
несколько раз больше площади пикселя основной матрицы. Максимальная
точность измерения смещения изображения получилась в сюжетах с
большим количеством мелких деталей и высокой степенью неоднородности,
в связи с тем, что потенциальная точность определяется отношением
сигнал/шум и среднеквадратичной полосой частот, которая может быть
определена энергией производной сигнала [109].
4. Экспериментально выявлена зависимость точности оценки смещения
изображения, при интерполяции ВКФ полиномом 4 степени по сравнению с
интерполяцией ВКФ полиномом 2 степени, в зависимости от класса
изображений (их широкополосности). Также был рассмотрен учет влияния
шума измерения коэффициентов ВКФ на точность оценки смещения
5. Экспериментально доказано, что скоростное прецизионное измерение
смещения
изображений
должно
учитывать
аппроксимацию
автокорреляционной функции при малых смещениях полиномом четвертой
степени.
124
ЗАКЛЮЧЕНИЕ
Данная
диссертация
быстродействия
и
посвящена
точности
разработке
систем
методов
автоматической
повышения
стабилизации
изображения, применяемых в различных классах телевизионных камер для
компенсации вибрационных возмущений, в частности для применения
стабилизации изображения в транспортных средствах в первую очередь
оборонного назначения при движении по бездорожью.
Современное
развитие
систем
стабилизации
изображения,
с
практической точки зрения, было ограничено возможностями измерителей
смещения
изображения,
которые
не
обеспечивали
необходимые
быстродействие и точность измерения.
Исторически
разнообразные
эксперименты
по
совмещению
изображений принимали структуру телевизионной системы заданной и не
выходили из концепции раздельной работы телекамеры и вычислителя
измерения смещения изображений. Пересмотр этого ранее незыблемого
принципа стал возможен в результате твердотельной революции в
телевидении. Телекамеры становятся источником с несколькими выходами,
реализуя
принцип
«множественного
потока
данных»,
и
фактически
одновременно могут формировать и сигналы оценки смещения, и обычный
сигнал изображения. Методология видеосистем на кристалле, приводящая к
глубинному срастанию фотоприемника с вычислителем заставляет в
системах реального времени пересмотреть взгляд на свойства, функции и
параметры и фотоприемника и вычислителя [104].
Задачей диссертации являлось не только решение частной задачи в
рамках стабилизации изображения, но и извлечение всей доступной
информации. Для этой цели было предложено реализовывать систему
измерения изображения в виде единой ВСнК с распараллеливанием
считывания сигналов с линейных фотоприемников [A3]. Распараллеливание
считывания
видеосигналов
чрезвычайно
сложно
реализовывать
в
125
стандартных телевизионных устройствах, но в рамках ВСнК это достаточно
тривиальная задача.
На этом пути автором был разработан метод прямого измерения
смещения
изображения
с
субпиксельной
точностью
(совместно
с
А. К. Цыцулиным), осуществлён структурный и параметрический синтез
быстродействующего прецизионного измерителя смещения изображений
(совместно
с
А. К. Цыцулиным,
И. А. Зубакиным).
Автором
Ш. С. Фахми,
самостоятельно
А. А. Манцветовым,
было
проведено
метаматематическое и физическое моделирование методов измерения
смещения, в частности получены экспериментальные подтверждения формы
ВКФ, получены оценки определения смещения для различных изображений
на основе разработанных методов, получены оценки сокращения сложности
вычислителя методом имитационного моделирования при переходе к
вычислению разности квадратов сравниваемых сигналов. Предпосылкой к
самостоятельному решению задачи нахождения оптимальных параметров
режекторного фильтра для «обострения» ВКФ явилось использования
критерия информационного оптимума, введенного А. К. Цыцулиным и
развивающимся В. В. Березиным, которые автор творчески использовал,
применительно к своей частной задаче.
Структурный
и
параметрический
синтез
входящего
в
систему
стабилизации вычислителя был подчинён цели достижения потенциальной
точности оценки смещения изображения в системе стабилизации с
дополнительными линейными фотоприёмниками при опорной триаде
синтеза, включающей:
– априорную информацию о типовых изображениях, формируемых
фотоприёмными массивами телекамеры;
– критерий качества, определяемый маскированием шумом смаза;
– ограничения на сложность вычислителя смещения изображения и
стабильность вычислений.
126
Широкий круг проведенных экспериментальных исследований показал,
что
предложенные
методы
позволяют
вплотную
приблизиться
к
теоретическому пределу эффективности систем стабилизации изображения –
маскированию шумом скоростного смаза. Это достигается в основном за счет
использования интерполяции полиномом 4 степени значений дисперсии
сигналов при малых смещениях.
Значимость
диссертации
в
теоретическом
плане
заключается
в
изменении методики синтеза телевизионных камер с автоматической
стабилизацией
изображения
посредством
включения
инструментария
известного ранее в вычислительной технике, но не применявшегося до этого
при создании телевизионных камер. В практическом плане значимость
диссертации
заключается
в
расширении
диапазона
компенсируемых
возмущений вибрации визирной оси телевизионной камеры с учетом
требований
к
высокой
точности
позиционирования
исполнительных
устройств.
Итак, по диссертации можно сделать следующие выводы:
1. Разработан метод прямого измерения смещения изображения,
позволяющий
вплотную
приблизится
к
теоретическому
пределу
эффективности систем стабилизации изображения.
2. Введена
необходимость
учета
аппроксимации
взаимно
корреляционной функции изображений полиномом четвертой степени при
субпиксельных смещениях изображения, что позволяет добиться точности
измерения смещения изображения 0,006 …0,07 пикселя и повысить точность
оценки смещения до 2 дБ по сравнению с аппроксимацией ВКФ полиномом
второй степени.
3. Разработан
алгоритм
определения
оптимальных
параметров
режекторного фильтра, основанный на нахождении компромисса между
потерей точности и вычислительной сложностью фильтра.
4. Расширен диапазон частот компенсируемых возмущений на 2
порядка за счет реализации системы измерения смещения изображения в
127
виде ВСнК и распараллеливания считывания видеосигналов с линейных
фотоприемников.
5. Получено
экспериментальное
подтверждение
реализуемости
и
эффективности предложенных методов повышения быстродействия и
точности измерительной подсистемы стабилизации изображения.
Результаты работы использованы в разработках ООО «Пекод», в НИР
ОАО «НИИТ» и учебном процессе СПбГЭТУ «ЛЭТИ», о чём имеются акты
внедрения.
Разработанные методы повышения быстродействия и точности систем
автоматической стабилизации изображения позволяют решить задачи,
намеченные в федеральной целевой программе” Исследования и разработки
по приоритетным направлениям развития научно-технического комплекса
России” на 2014–2020 года.
Совокупность сделанных выводов и научных положений позволяет
утверждать, что поставленная в диссертации задача разработки методов
повышения быстродействия и точности систем автоматической стабилизации
изображения решена.
128
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1.
Автоматическая стабилизация оптического изображения / Под
ред. Еськова Д.Н., Новикова В.А. – М.: Машиностроение,1988. – 236с.
2. Bibhuti Bikramaditya, Ohyun Kwon, Sateesh Kumar Talapuri Venkata
Sai1, Benjamin Ryu, Joonki Paik. Reconfigurable VLSI architecture design for real
time image stabilization // Electronic Journal «Technical Acoustics». – 2006, №1
3. J. K. Paik, Y. C. Park, D. W. Kim. An adaptive motion decision system for
digital image stabilizer based on edge pattern matching // IEEE Trans. Consumer
Electronics. – 1992. Vol. 38. – P. 607–615.
4. K. Uomori, A. Morimura, H. Ishii, Y. Kitamura. Automatic image
stabilization system by full-digital signal processing // IEEE Trans. Consumer
Electronics. – 1990. Vol. 36. – P. 510–519.
5. S. Erturk. Digital image stabilization with Sub-image Phase correlation
based global Motion Estimation // IEEE Trans. Consumer Electronics. –2003. Vol.
49. – P. 1320–1325.
6. S. Erturk, T. J. Dennis. Image sequence stabilization based on DFT filtering
// IEEE Proc. on Image Vision and Signal Processing. Vol. 127. – 2000. – P. 95–
102.
7. H. Foroosh, J. B. Zerubia, M. Berthod. Extension of phase correlation to
subpixel registration // IEEE Trans. Image Processing. – 2002. Vol. 11. –P. 188–
200.
8. Pat. US2007/0236578 A1. Electronic video image stabilization /
Raghavendra C. N., Narendranath M. Publ. 11.10.2007.
9. Pat. US2006/0018643 A1. Magnet Configuration for image stabilization /
Stavely D.J., Baker P.B. Publ. 26.01.2006.
10. Pat. US2009/0141352 A1. Liquid optics image stabilization / Jannard J.
H., Neil I. Publ. 04.06.2009.
11. Pat. US005786936A. Image stabilizing device / Baumann H., Craczyh W.
Publ. 28.06.1998.
129
12.
Брацлавец П. Ф., Росселевич И. А., Хромов Л. И. Космическое
телевидение. – М.: Связь, 1973. – 248 с.
13.
Хромов Л. И., Цыцулин А. К., Куликов А. Н. Видеоинформатика.
– М.: Радио и связь, 1991. – 192 с.
14.
Рыфтин Я. А. Телевизионная система. Теория. – М.: Советское
радио, 1967. – 271 с.
15.
Бузников А. А., Купянский А. В. Динамическое совмещение
полутоновых аэрокосмических и графических изображений.// Изв. Вузов,
сер. «Геодезия и аэрофотосъемка», 1993, №3, с. 102–107.
16.
Ушольд А. Системы стабилизации изображения.// Foto & Video,
№ 7, 2007, с. 76 – 81.
17.
Прэтт У. Цифровая обработка изображений. – М.: Мир, 1982, кн.
1 – 312 с., кн. 2 – 480 с.
18.
Березин В. В., Манцветов А. А. Система цифровой стабилизации
телевизионного изображения //. Приборы и техника эксперимента. 1995, вып.
6, с. 74–78.
19.
Воронцов М. А., Корябин А. В., Шмальгаузен В. И. Управляемые
оптические системы. – М.: Наука, 1988.
20.
Фахми Ш. С., Цыцулин А. К., Переспелов А. В. Патент РФ №
2384967. Способ стабилизации изображений // Опубл. 20.03. 2010 Б.И. № 8.
21. Pat. US2009/0003812 A1. Image stabilizer / Kawai S. Publ. 01.01.2009.
22. Pat. US2008/0273092 A1. Micro-optical image stabilizer / Chiou J., Lin
Y., Chen T., Tseng C., Tsai C. Publ. 06.11.2008.
23. Pat. US2013/0107064 A1. Sensor aided image stabilization /
Venkatraman S., Puig C.M. Publ. 02.05.2013.
24. Быков Р. Е., Фрайер Р., Манцветов А. А. и др. Цифровое
преобразование изображений / Под ред. Профессора Р. Е. Быкова. – М.:
Горячая линия – Телеком, 2003. – 228с.
25. Петраков А.В. Совмещение разноспектрозональных и прецизионных
телевизионных растров.– М., Радиософт, 2009. – 208 с.
130
26. Parker – Smith N. N. Automatic Colour Television Camera // Sound and
Vision Broadcasting. – 1970. Vol. 11, №2. P. 3–11.
27. Петраков А. В. Специальный телевизионный автомат съема
информации с искровых камер // Информ. бюллетень СНИИП. 1969. №3. С.
45–49.
28. А. с. 283333 (СССР). Способ измерения стабильности растра
передающей телевизионной трубки / А. В. Петраков, В. П. Горохов, В. А.
Клевалин // Опубл. в Б. И., 1970, №31.
29. Петраков А. В., Горохов В. П., Клевалин В. А. Измерение
нестабильности растра передающих телевизионных трубок // Техника кино и
телевидения. 1971. №6. С. 52-53.
30. Петраков А. В. , Харитонов В. М., Горохов В. П. и др. Исследование
основных характеристик телевизионного съема информации с искровых
камер // Препринт Ереванского физического ин-та АН Арм. ССР. ЕФИ-ВИТ1 (68). – Ереван: ЕФИ, 1968. – 28 с.
31. Петраков А. В. Исследование телевизионного метода регистрации
ядерных частиц в искровых камерах. Дисс… канд. техн. наук. – M.: МИФИ,
1969. – 205 с.
32. Петраков А. В. О быстродействии телевизионных комплексов
бесфильмового съема информации с искровых камер // Изв. АН АрмССР.
Сер. «Физика». 1974. Т. 9. С. 510-515.
33. Петраков А. В., Торбаев В. И. Об оптимизации совмещения растров
камер цветного телевидения // Техника кино и телевидения. 1978. №1. С. 6567.
34. А. с. 260978 (СССР). Преобразователь координат треков искровой
камеры в цифровой код / А. В. Петраков, В. П. Горохов, В. А. Клевалин, В.
М. Харитонов // Опубл. в Б. И., 1970, №4.
35. А. с. 374649 (СССР). Преобразователь координат объектов в
цифровой код / А. В. Петраков, В. А. Клевалин, В. И. Горелова // Опубл. в Б.
И., 1973, №15. С. 116.
131
36. А. с. 384110 (СССР). Устройство для преобразования координат
треков искровой камеры / В. А. Клевалин, Б. А. Лебедев, А. В. Петраков //
Опубл. в Б. И., 1973, №24.
37. А. с. 424006 (СССР). Способ бесконтактного измерения размеров / А.
В. Петраков, В. П. Горохов, В. А. Клевалин // Опубл. в Б. И., 1974, №14. С.
121.
38. А. с. 433651 (СССР). Формирователь отклоняющего напряжения для
телевизионной развертки / В. П. Горохов, А. П. Петраков, В. И. Горелова //
Опубл. в Б. И., 1974, №23. С. 169.
39. А. с. 457186 (СССР). Устройство для измерения неравномерности
перемещения электронного луча передающих телевизионных трубок / А. В.
Петраков, В. А. Клевалин // Опубл. в Б. И., 1975, №2.
40. А. с. 498759 (СССР). Устройство автоматического контроля
параметров растра телевизионной трубки / А. В. Петраков // Опубл. в Б. И.,
1976, №1. С. 182.
41. А. с. 634485 (СССР). Устройство для формирования сигнала момента
смены телекиносюжетов / А. В. Петраков, В. И. Торбаев // Опубл. в Б. И.,
1978, №43.
42. А. с. 653768 (СССР). Устройство контроля и стабилизации размеров
и положения растра передающей телевизионной трубки / А. В. Петраков, В.
И. Торбаев, З. К. Белявская, В. Н. Петракова // Опубл. в Б. И., 1979, №11.
43. А. с. 896792 (СССР). Устройство для автоматического контроля
совмещенности растров в многотрубочных телекамерах / А. В. Петраков, В.
И. Торбаев // Опубл. в Б. И., 1982, №1.
44. А. с. 936455 (СССР). Способ регистрации излучения от объектов с
регулируемой яркостью / А. В. Петраков // Опубл. в Б. И., 1982, №22.
45. А. с. 1154739 (СССР). Способ ориентации растра передающей
телевизионной трубки относительно измеряемого объекта / // Опубл. в Б. И.,
1985, №17. С. 191.
132
46. Системы технического зрения: Справочник / Сырямкин В. И., Титов
В. С., Якушенков Ю. Г. и др. // Под общей редакцией Сырямкина В. И.,
Титова В. С. – Томск: МГП ”РАСКО”, 1992. – 367 с.
47. Макс Ж. Методы и техника обработки сигналов при физических
измерениях. В 2 т.: Пер. с франц. А. Ф. Горюнова, А. В. Крянева под ред. Н.
Г. Волкова. – М.: Мир, 1983. Том 1. – 311 с.
48. Бендат Дж., Пирол А. Применение корреляционного и спектрального
анализа: Пер. с англ. А. И. Кочубинского, В. Е. Привальского под ред. И. Н.
Коваленко. – М.: Мир, 1983. – 310 с.
49. Ван Трис Г. Теория обнаружения, оценок и модуляции: В 3 томах /
пер. с англ. под ред. В. И. Тихонова, В. Т. Горяинова. – М.: Сов. Радио, 1972
– 1977. – Том 1. – 744 с.
50. Цифровое кодирование телевизионных изображений / И. И.
Цуккерман, Б. М. Кац, Д. С. Лебедев и др. // Под ред. И. И. Цуккермана. – М.:
Радио и связь, 1981. – 239 с.
51. Быков Р. Е. , Гуревич С. Б. Анализ и обработка цветных и объемных
изображений. – М.: Радио и связь, 1984. – 248 с.
52. Красильников Н. Н. Теория передачи и восприятия изображений.
Теория передачи изображений и ее приложения. – М.: Радио и связь, 1986. –
248 с.
53. Дуда Р., Харт П. Распознавание образов и анализ сцен: пер. с англ. Г.
Г. Вайнштейна и А. М. Васьковского / под ред. В. Л. Стефанюка. – М.: Мир,
1976. – 510 с.
54. Эндрюс Г. Применение вычислительных машин для обработки
изображений / Пер. с англ. М.: Энергия, 1977. – 161 с.
55. Лебедев Д. С., Цуккерман И. И. Телевидение и теория информации. –
М.: Энергия, 1965. – 219 с.
56. Jain J. R., Jain A. K. Displacement measurement and its application in
interframe image coding. // IEEE Trans. Commun. –1981. Vol. 29. – P. 1799–
1806.
133
57. Методы вычислений на ЭВМ: Справочное пособие / Иванов В. В. –
Киев: Наук. Думка, 1986. –584 с.
58. Королев Н. И. Достоверность корреляционного метода совмещения
точечных изображений / Автометрия, 1993. № 5. – С. 103–110.
59. Ninomiya Y., Ohtsuka Y. A motion-compensatedinterframe coding
scheme for television pictures. // IEEE Tran. Commun. – 1982. Vol. 30. – P. 201–
211.
60. Srinivasan R., Rao R. K. Predictive coding based on efficient motion
estimation. // In ICC 1984. Proc. – 1984. – P. 521–526.
61. Paik J. K., Park Y. C., Park S. W. An edgeedge detector approach to
digital stabilizer based on tri-state adaptive liner neurons. // IEEE Trans. Consumer
Elec. – 1991. Vol. 37.
62. Березин В. В. Исследование методов и разработка устройств
электронной стабилизации телевизионных динамических изображений.
Дисс… канд. техн. наук. – СПб: ЛЭТИ, 1995. – 200 с.
63.
Потапов
аэрокосмических
А.С.,
Малышев
изображений
с
И.А.,
Луцив
субпиксельной
В.Р.
Совмещение
точностью
методом
локальной корреляции // Оптический журнал, 2004, вып. №5, С. 31-37.
64. V. N. Dvorchenko. Bounds on (deterministic) correlation functions with
applications to registration // IEEE Trans. Pattern Anal. Mach. Intell. PAMI-5. –
1983. No. 2. – P. 206–213.
65. Q. Tian, M. N. Huhns. Algorithms for Subpixel Registration // Computer
vision, graphics and image processing. – 1986. Vol. 35. – P. 220–233.
66. Тимофеев Б. С. Автоматическая настройка телевизионных систем с
помощью микро-ЭВМ. – М.: Радио и связь, 1988. – 160 с.
67. Обухова Н. А. Субпиксельная оценка векторов движения // Известия
высших учебных заведений России. Сер. Радиоэлектроника, 2007, вып. №3,
С. 53-63.
68. Катыс Г. П. Оптико-электронная обработка информации. – М.:
Машиностроение, 1973. – 447 с.
134
69. Козлов Ю. А. Устройства стабилизации и измерения линейных и
угловых
смещений
изображений
//
Изв.
ЛЭТИ.
Автоматизация
производственных процессов и установок, 1978, вып. 239, С. 69-76.
70. Роуз А. Зрение человека и электронное зрение. – М.: Мир, 1977. –
216 с.
71. Ator J. T. Image velocity Sensing with parallel-split reticles // Journal of
the Optical Society of America. – 1963. Vol. 53. №12 – P. 1416–1422.
72. Кравцов Н. В., Чирков Л. Е., Поляченко В. Л. Элементы
оптоэлектронных информационных систем. – М.: Наука, 1970. – 223 с.
73. Мирошников М. М. Теоретические основы оптико-электронных
приборов. – Л.: Машиностроение, 1983. – 420 с.
74. Павлов А. В. Оптико-электронные приборы. Основы теории и
расчета. – М.: Энергия, 1974. – 359 с.
75.
Якушенков
Ю.
Г.
Оптические
системы
фотоэлектрических
устройств. – М.: Машиностроение, 1966. – 160 с.
76. Конюхов Н. Е. , Плют А. А., Шаповалов В. М. Оптоэлектронные
измерительные преобразователи. – Л.: Энергия, 1977. – 160 с.
77. Кравцов Н. В., Стрельников Ю. В. Позиционно-чувствительные
датчики оптических следящих систем. – М.: Наука, 1969. – 117 с.
78. Николаев П. В., Сабинин Ю. А. Фотоэлектрические следящие
системы. – Л.: Энергия, 1969. – 136 с.
79. Якушенков Ю. Г. Основы оптико-электронного приборостроения. –
М.: Советское радио, 1977. – 270 с.
80. Белоглазов И. Н., Тарасенко В. П. Корреляционно-экстремальные
системы. – М.: Советское радио, 1974. – 392 с.
81. Жовинский В. Н., Арховский В. Ф. Корреляционные устройства. –
М.: Энергия, 1974. –248 с.
82. Катыс Г. П. Оптические информационные системы роботов и
манипуляторов. – М.: Машиностроение, 1977. – 272 с.
135
83. Козубовский С. Ф. Корреляционные экстремальные системы:
Справочник. – Киев: Наукова думка, 1973. – 223 с.
84. Vander Ingt A. Optical Processing // Proceedings Development in
Holography.SPIE. Seminar Proceedings. – 1974. № 9 – P. 740–733.
85. Fourner-Siere A., Cicourt C. Le FOC in instrument European pour le
telescope spatial // L. Aeronautique et l’Astronautique. – 1980. № 4 – P. 59–70.
86. Алпатов Б. А., Бабаян П. В., Стротов В. В. Исследование двух
методов
слежения
за
фоновым
видеоинформационной системы //
изображением
4-ая
для
Международная
бортовой
конференция
"Телевидение: передача и обработка изображений": сборник докладов, СПб,
2005, c. 93–94.
87. Brown L. G. A survey of image registration techniques // ACM
Computing Surveys. – 1992. Vol. 24. № 4 – P. 325–376.
88. Бачило С. А., Дзягун Д. Ю., Интенберг И. И. и др. Средства
электронной стабилизации телевизионных изображений для подвижных
систем наблюдения // Тез. докл. 4-й конф.DSPA. М.: МЦНТИ, 2002, с. 252–
254.
89. Rao M. Target recognition using cepstrum and inverse filtering // Proc. of
SPIE. – 1995. Vol. 2484: Signal Processing, Sensor Fusion and Target Recognition
IV. – P. 224–235.
90. Reddy B. S., Chatterji B. N. An FFT-based technique for translation,
rotation and scale-invariant image registration // IEEE Trans. on Image Processing.
. – 1996. Vol. IP-5. № 8 – P. 1266–1271.
91. Справочник по теории автоматического управления Цифровое
кодирование телевизионных изображений / А. Г. Александров, В. М.
Артемьев, В. Н. Афанасьев и др. // Под ред. А. А. Красовского. – М.: Наука,
1987. – 712 с.
92. Бесекерский В. А., Попов Е. П. Теория систем автоматического
управления. – СПб.: Профессия. – 2003. – 752 с.
136
93. Солодовников В. В., Дмитриев А. Н., Егупов Н. Д. Спектральные
методы
расчета
и
проектирования
систем
управления.
–
М.:
Машиностроение. – 1986. – 440 с.
94. Солодовников В. В., Тумаркин В. И., Егупов Н. Д. Теория сложности
и проектирование систем управления. – М.: Наука. – 1990. – 168 с.
95. Астроследящие системы / Б. К. Чемоданов, В. Л. Данилов, В. Д.
Нефидов // Под ред. Б. К. Чемоданова. – М.: Машиностроение, 1977. – 304 с.
96. Николаев П. В., Сабинин Ю. А. Фотоэлектрические следящие
системы. М.: Книга по требованию, 2013. – 138 с.
97. Первачев С. В., Валуев А. А., Чиликин В. М. Статистическая
динамика радиотехнических следящих систем. – М.: Сов. радио. – 1973. – 488
с.
98. Иванова Л. А., Мелешко А. В., Пятков В. В., Ресовский В. А. Метод
автоматической компенсации вибраций в теневом приборе с использованием
оптимального дискриминатора // Изв. Вузов, сер. «Приборостроение», 2012,
№7, с. 52–54.
99. Фалькович С. Е. Оценка параметров сигнала. М.: Сов. радио, 1970. –
336 с.
100. Бачевский С. В., Иванова Л. А., Пятков В. В., Ресовский В. А.
Методика анализа динамических ошибок в комбинированных телевизионных
следящих
системах
//
Вопросы
радиоэлектроники,
сер.
«Техника
телевидения», 2010, №1, с. 84–89.
101. Yamamoto K., Maeda Yu., Masaki Ya. A CMOS image sensor with
high-speed readout of multiple regions-of-interest for an opto-navigation system //
Proc. SPIE. – 2005. Vol. 5677. – P. 90–97.
102. Голушко М. Н. Интерполяция дискретного видеосигнала в
автоматических телевизионных системах. // Техника средств связи, сер.
Техника телевидения, 1983, вып. №5, С. 63–71.
137
103. Huertas A, Medioni G. Detection of intensity changes with subpixel
accuracy using Laplacian-Gaussian masks // IEEE Transactions on Pattern
Analysis and Machine Intelligence. Vol. 8(5). – P. 651−664.
104. Березин В. В., Умбиталиев А. А., Фахми Ш. С., Цыцулин А. К.,
Шипилов Н. Н. Твердотельная революция в телевидении. – М.: Радио и связь.
– 2006. – 312 с.
105. Цыцулин А. К. Телевидение и космос. – СПб: СПбГЭТУ «ЛЭТИ». –
2003. – 225 c.
106. Лабинер Р., Гоулд Б. Теория и применение цифровой обработки
сигналов. / Пер. с англ. Зайцева А. Л., Назаренко Э. Г., Тетекина Н. Н. – М.:
Мир, 1978. – 848 с.
107. Фрэнкс Л. Теория сигналов. М.: Мир. – 1974. – 344 с.
108. Тимофеев Б. С., Астратов О. С. Автоматическая настройка
телевизионных систем. – СПб.: – ГААП, 1994. – 57 с.
109. Ванштейн Л. А., Зубаков В. Д. Выделение сигналов на фоне
случайных помех. – М.: Советское радио. – 1960. – 448 с.
Авторский список литературы
Публикации в изданиях, рекомендованных ВАК России:
А1. Малашин Д. О. Автономная стабилизация изображений в процессе
накопления видеоинформации [Текст] / А. К. Цыцулин, Ш. С. Фахми, А. А.
Манцветов, Д.О. Малашин, И. А. Зубакин // Оптический журнал, 2012, вып.
11, с.67 – 75.
А2. Малашин Д. О. Экспериментальное исследование прямого метода
измерения смещения изображения с субпиксельной точностью [Текст] / Д.О.
Малашин
//
Известия
высших
учебных
заведений
России,
сер.
Радиоэлектроника, 2013, вып. 3, с.55 – 58.
Патенты
A3. Малашин Д. О. Видео система на кристалле для стабилизации
изображения // Цыцулин А.К., Фахми Ш.С., Малашин Д.О. Патент России №
2486688. 2013. Бюл. № 18.
138
A4. Малашин Д. О. Устройство стабилизации изображения // Цыцулин
А.К., Малашин Д.О., Зубакин И. А., Манцветов А. А. Заявка № 2012153097.
Решение о выдаче патента от 15. 01. 2014.
Другие статьи и материалы конференций:
A5. Малашин Д.О. Скоростное измерение смещения изображения
[Текст] / Д.О. Малашин // 67 научно-техническая конференция СПбНТОРЭС
: труды конференции, СПб, 2012, с. 204–205.
A6. Малашин Д.О. Моделирование автокорреляционной функции
реальных изображений при субпиксельных смещениях [Текст] / И. А.
Зубакин, Д. О. Малашин // 9-ая Международная конференция "Телевидение:
передача и обработка изображений": сборник докладов, СПб, 2012, c. 64–66.
A7. Малашин Д.О. Создание прикладных телевизионных камер с
автоматической стабилизацией изображения на основе субпиксельного
измерения смещения изображения [Текст] / Д. О. Малашин // 68 научнотехническая конференция СПбНТОРЭС: труды конференции, СПб, 2013, c.
248–249.
A8. Малашин Д. О. Исследование прямого метода измерения смещения
изображения с субпиксельной точностью [Текст] / Д. О. Малашин // 10-ая
Международная
конференция
"Телевидение:
передача
изображений": сборник докладов, СПб, 2013, c. 81–84.
и
обработка
139
ПРИЛОЖЕНИЕ A
Иллюстрации к результатам модельного эксперимента:
Sampled signal
0.75
S
0.7
0.65
0.6
0.55
0.5
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 70
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
200
400
600
800
1000
1200
Выбранный сигнал строки 170
Z,1400
пиксел1600
140
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 270
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 370
141
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 470
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 570
142
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 670
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 770
143
Sampled signal
1
S
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 870
Sampled signal
0.5
S
0.45
0.4
0.35
0.3
0.25
0.2
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 970
144
Sampled signal
0.65
S
0.6
0.55
0.5
0.45
0.4
0.35
0.3
0.25
0.2
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 1070
Sampled signal
0.5
S
0.45
0.4
0.35
0.3
0.25
0.2
200
400
600
800
1000
1200
1400
1600
Z, пиксел
Выбранный сигнал строки 1170
145
Approximations of correlation function of an original discrete signal
R
1
0.9999
0.9999
0.9998
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 70
Approximations of correlation function of an original discrete signal
R
1
0.9999
0.9998
0.9997
0.9996
0.9995
0.9994
0.9993
0.9992
0.9991
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 170
146
Approximations of correlation function of an original discrete signal
R
1
0.9995
0.999
0.9985
0.998
0.9975
0.997
0.9965
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 270
Approximations of correlation function of an original discrete signal
1.0005
R
1
0.9995
0.999
0.9985
0.998
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 370
147
Approximations of correlation function of an original discrete signal
1
R
0.995
0.99
0.985
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 470
Approximations of correlation function of an original discrete signal
1.005
R
1
0.995
0.99
0.985
0.98
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 570
148
Approximations of correlation function of an original discrete signal
1.002
R
1
0.998
0.996
0.994
0.992
0.99
0.988
0.986
0.984
0.982
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 670
Approximations of correlation function of an original discrete signal
1.002
R
1
0.998
0.996
0.994
0.992
0.99
0.988
0.986
0.984
0.982
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 770
149
Approximations of correlation function of an original discrete signal
1.001
R
1
0.999
0.998
0.997
0.996
0.995
0.994
0.993
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 870
Approximations of correlation function of an original discrete signal
1
R
0.9998
0.9996
0.9994
0.9992
0.999
0.9988
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 970
150
Approximations of correlation function of an original discrete signal
1.0005
R
1
0.9995
0.999
0.9985
0.998
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 1070
Approximations of correlation function of an original discrete signal after filter
1
R
0.95
0.9
0.85
0.8
0.75
0.7
0.65
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала для строки 1170
151
Approximations of correlation function of an original discrete signal after filter
1
R
0.99
0.98
0.97
0.96
0.95
0.94
0.93
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 70
Approximations of correlation function of an original discrete signal after filter
1
R
0.95
0.9
0.85
0.8
0.75
0.7
0.65
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 170
152
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 270
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 370
153
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 470
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 570
154
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 670
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 770
155
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 870
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 970
156
Approximations of correlation function of an original discrete signal after filter
1
R
0.9
0.8
0.7
0.6
0.5
0.4
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 1070
Approximations of correlation function of an original discrete signal after filter
1
R
0.95
0.9
0.85
0.8
0.75
0.7
0.65
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
X, пиксел
Аппроксимации АКФ оригинального сигнала после прохождения
фильтрации для строки 1170
157
ПРИЛОЖЕНИЕ Б
Код на языке Verilog, реализующий функцию контроллера линейных
фотоприемников:
module lin_controller (clk,rst,sht,data);
parameter INTERVAL = 5000;
parameter DELAY = 0, STATE1 = 1, STATE2 = 2, STATE2A =3, STATE3
= 4, STATE4 = 5, STATE5 = 6;
input clk;
output rst;
output sht;
output data;
reg rst;
reg sht;
reg data;
reg [2:0] read_state;
integer i;
integer a;
initial
begin
i = 0;
a = 0;
end
always @(read_state)
begin
case (read_state)
DELAY:begin
rst = 1'b0;
sht = 1'b0;
data = 1'b0;
158
end
STATE1:begin
rst = 1'b1;
sht = 1'b1;
data = 1'b0;
end
STATE2:begin
rst = 1'b0;
sht = 1'b1;
data = 1'b0;
end
STATE2A:begin
rst = 1'b0;
sht = 1'b0;
data = 1'b0;
end
STATE3:begin
rst = 1'b0;
sht = 1'b0;
data = 1'b1;
end
STATE4:begin
rst = 1'b0;
sht = 1'b0;
data = 1'b0;
end
endcase
end
159
always @ (negedge clk)
begin
if ( i < INTERVAL )
begin
read_state <= DELAY;
i <= i +1;
end
else
a <= a+1;
case (read_state)
DELAY: if (i== INTERVAL)
begin
read_state <= STATE1;
end
STATE1:
if ( a >= 32'b0)
read_state <= STATE2;
STATE2:
if ( a == 32'b1111101110)
read_state <= STATE2A;
STATE2A:
if ( a == 32'b1111101111
)
160
read_state <= STATE3;
STATE3:
if ( a >= 32'b1111110000)
read_state <= STATE4;
STATE4:
if ( a >= 32'b10000001000)
begin
read_state <= STATE1;
a <= 0;
end
endcase
end
endmodule
161
ПРИЛОЖЕНИЕ В
Пример кода в среде Matlab для осуществления регрессионного анализа:
noise_std=0.003;
%СКО, менялся в диапазоне 0.003…0.009
Response=[y1; y2; y3; y4; y5; y6; y7];
Response= Response + noise_std * randn(numel(Response),1);%отклик со
случайным шумом
Plan2=[x1^2 x1 1; x2^2 x2 1; x3^2 x3 1; x4^2 x4 1; x5^2 x5 1; x6^2 x6 1;
x7^2 x7 1]; % матрица плана эксперимента для полинома 2 степени
Plan4=[x1^4 x1^3 x1^2 x1 1; x2^4 x2^3 x2^2 x2 1; x3^4 x3^3 x3^2 x3 1;
x4^4 x4^3 x4^2 x4 1; x5^4 x5^3 x5^2 x5 1; x6^4 x6^3 x6^2 x6 1; x7^4 x7^3 x7^2
x7 1]; % матрица плана эксперимента для полинома 4 степени
Cf2=Plan2' * Plan2 \ Plan2' * Response; % определение коэффициентов
регрессии для полинома 2 степени
Model2=Plan2 * Cf2; % расчет значения функции в точках плана
эксперимента по полученной модели для полинома 2 степени
DA2=
mean((Model2-Response).^2);
%
дисперсия
адекватности
рассчитывается как средний квадрат отклонения экспериментальных данных
от откликов, полученных по модели
DB2= noise_std^2; % дисперсия шума
FVAL2=DA2 / DB2; % значение F-критерия для проведенного
моделирования для случая полинома 2 степени
Cf4=Plan4' * Plan4 \ Plan4' * Response; % определение коэффициентов
регрессии для полинома 4 степени
Model4=Plan4 * Cf4; % расчет значения функции в точках плана
эксперимента по полученной модели для полинома 4 степени
DA4=mean((Model4-Response).^2);
%
дисперсия
адекватности
рассчитывается как средний квадрат отклонения экспериментальных данных
от откликов, полученных по модели
162
DB4= noise_std^2; % дисперсия шума
FVAL4=DA4 / DB4; % значение F-критерия для проведенного
моделирования для случая полинома 4 степени
fi_a2
=
size
(Plan2,1)-size(Plan2,2);
%
определение
дисперсии
адекватности для полинома 2 степени
fi_b2 = size(Plan2,1)- 1; % определение дисперсии адекватности для
полинома 2 степени
qF2 = icdf ( 'f',0.99, fi_a2, fi_b2); % расчет квантиля F-распределения для
полинома 2 степени, соответствующая заданному уровню доверия
fi_a4
=
size
(Plan4,1)-size(Plan4,2);
%
определение
дисперсии
адекватности для полинома 4 степени
fi_b4 = size(Plan4,1)- 1; % определение дисперсии воспроизводимости
для полинома 4 степени
qF4 = icdf ( 'f',0.99, fi_a4, fi_b4); расчет квантиля F-распределения для
полинома 4 степени, соответствующая заданному уровню доверия
otn2=FVAL2/qF2; % F/ F(0.99) для полинома 2 степени
otn4=FVAL4/qF4; % F/ F(0.99) для полинома 4 степени
1/--страниц
Пожаловаться на содержимое документа