проблемы комплексирования оптико

3657
УДК 62-505.15
ПРОБЛЕМЫ КОМПЛЕКСИРОВАНИЯ
ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ
НАБЛЮДЕНИЯ С НАВИГАЦИОННЫМИ
СИСТЕМАМИ БПЛА
Б.М. Миллер
Институт проблем передачи информации им. А.А. Харкевича РАН
Россия, 127994, г. Москва, Б. Каретный пер., 19
E-mail: [email protected] [email protected]
Е.Я. Рубинович
Институт проблем управления им. В.А. Трапезникова РАН
Россия, 117997, Москва, Профсоюзная ул., 65
E-mail: [email protected]
Ключевые слова: БПЛА, автономные миссии, задачи управления при неполной
информации, комплексирование каналов наблюдения
Аннотация: В работе рассматриваются задачи управления, возникающие при планировании автономных (выполняемых без вмешательства человека-оператора) миссий (полетных заданий). Современный этап развития БПЛА характеризуется использованием, наряду со стандартными элементами навигационной системы, новых элементов (оптико-электронных камер, радиолокаторов), которые собственно
и позволяют определять ориентацию аппарата и осуществлять принятие решений
его системой управления при отсутствии связи с наземной станцией управления в
условиях неопределенности и противодействия. Необходимость комплексирования
разнородных каналов наблюдения приводит к задачам управления наблюдениями,
однако использование визуальных каналов наблюдения порождает новые задачи,
такие как оценка состояния по пеленгационным измерениям, сопряжение систем
распознавания и обнаружения объектов с работой системы управления, использованием видеопоследовательностей, формируемых оптико-электронными камерами и
др. Работа представляет собой краткий обзор современных подходов к решению этих
задач и предлагает некоторые новые подходы к задачам управления наблюдениями, возникающим при реализации автономных миссий БПЛА в условиях внешних
возмущений и ошибок измерений.
1.
Введение
Последние годы характеризуются бурным развитием и применением беспилотных летательных аппаратов (БПЛА) самолетного и вертолетного типов. Области использования данных авиационных средств включают: военные применения, системы
безопасности и охраны объектов, контроль береговой и пограничных линий, мониторинг окружающей среды, аэрофотосъемку и многие другие. Следует отметить, что
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3658
до настоящего времени наиболее успешные применения самолетных и вертолетных
БПЛА были связаны с использованием телеуправления, что требует постоянного
контакта с наземным центром управления (наличие экипажа в составе нескольких
хорошо подготовленных специалистов), либо с использованием систем программного движения. Подобные системы имеют ограниченную дальность выполнения операций и плохо применимы для выполнениия автономных миссий (полетных заданий),
включающих полет и посадку в незнакомой местности, разведку и целеуказание.
Таким образом, успешное внедрение и продвижение БПЛА на рынки сдерживается отсутствием гибкой системы планирования и управления, позволяющей пользователю приспосабливать имеющиеся в наличии БПЛА к выполнению конкретных
автономных миссий. Подчеркнем, что в настоящее время именно исследования связанные с обеспечением автономности миссий начинают играть центральную роль
в опытно-конструкторских разработках ведущих зарубежных компаний, таких как
A160 Hummingbird, (Boeing) и Sharc, (EADS). Аналогичные задачи стоят и перед
отечественными разработчиками БПЛА, которые в настоящее время работают над
конструкциями аппаратов приспособленных к выполнению различных специальных
миссий, включая легкие разведывательные БПЛА для мониторинга окружающей
среды при выполнении задач в интересах МЧС и МВД, а также специализированные
высотные самолеты-разведчики с относительно большой полезной нагрузкой и длительным возможным временем выполнения полетных заданий [33]. В данной работе
рассматриваются особенности построения навигационных систем БПЛА и классические подходы к комплексированию разнородных измерительных систем (Раздел 2),
примеры решения навигационных задач при ограниченных возможностях измерения,
например, только на основе пеленгационных измерений (Раздел 3), использование
особенностей систем формирования последовательностей изображений (оптического
потока) и их применения в задачах навигации БПЛА (Раздел 4), в завершение приводятся направления работ в области теории стохастического управления, которые
представляются перспективными с точки зрения дальнейшего развития и применения БПЛА.
2. Проблемы комплексирования различных
измерительных систем навигации и управления
БПЛА
2.1.
Классическая тория управления наблюдениями
Современные системы управления БПЛА используют основные измерительные
и навигационные системы, присущие пилотируемым аппаратам. Обычно они включают полный набор датчиков системы инерциальной навигации в составе 3-х осевых
гироскопических датчиков угловой скорости и линейных ускорений, датчики системы глобального позиционирования (GPS), магнитный компас и высотомер. Однако
выполнение специальных "интеллектуальных"миссий требует расширения этого набора и включения таких электронных и оптико-электронных средств как телевизионные и тепловизионные камеры, лазерные дальномеры, радиолокаторы с синтезированной апертурой. Проблемы комплексирования различных каналов наблюдения
в задачах стохастического управления или data fusion согласно западной терминоXII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3659
логии уже многие годы находятся в центре внимания исследователей [3, 14]. В этих
основополагающих работах рассматривались вопросы выбора канала наблюдения с
учетом временных
´ и энергетических ограничений, одновременное управление процессом и наблюдениями. Как правило, динамика управляемого процесса и наблюдений, предполагалась непрерывной или дискретной. Однако управление реальными
системами, в которых обработка информации и выработка сигналов управления выполняется дискретными вычислительными системами, а динамика процесса непрерывна потребовало использования подходов теории дискретно-непрерывных систем
с импульсным управлением [4]. Более того, в системах с активными измерениями,
которые локализуются на очень малых интервалах времени с большой амплитудой
сигнала (импульсное лазерное зондирование) появилась концепция наблюдения как
импульсного управления. Кроме того и сама динамика управляемой системы часто
допускает быстрые изменения, которые можно описывать как результат воздействия
импульсных управлений. Синтез этих понятий привел к концепции управляемой системы, описываемой дифференциальными уравнениями с мерой, которые естественным образом включают дискретно-непрерывные системы, составляющие основу современных систем управления. Не вдаваясь в детали, уместно упомянуть о некоторых принципиальных результатах в этой области, которые могут служить основой
комплексирования каналов наблюдения в системах управления современных БПЛА:
• уравнения фильтрации и управления дискретно-непрерывными системами с использованием обобщенного фильтра Калмана при регулярных и вырожденных
шумах [17], [19], а также шумах, зависящих от сигнала и оценки [7];
• обобщенное решение линейно-квадратичной задачи стохастического управления для дискретно-непрерывных процессов [13];
• теория оптимального управления для систем, описываемых дифференциальными уравнениями с мерой, включая теоремы существования оптимального
управления наблюдениями и условия оптимальности в форме обобщенного
принципа максимума [16], [10].
Данные теоретические результаты позволяют оптимальным образом осуществлять
комплексирование различных каналов наблюдения, имеющих различные временные,
шумовые и энергетические характеристики, что характерно и необходимо именно
для систем навигации летальных аппаратов (ЛА), где зачастую прямое измерение
некоторых важных элементов движения невозможно. Например, вместо прямого измерения положения и скорости движения вынужденно осуществляется интегрирование выходов акселерометров, а корректировка положения производится по данным
системы глобального позиционирования. Существующая теория представляет математический аппарат, позволяющий оценивать точности измерений и управлений как
функций параметров системы и алгоритмов обработки сигналов, и на этой основе оптимизировать управление ЛА в условиях действия случайных возмущений движения
и помех в измерениях. Следует подчеркнуть, что использование теории управления
наблюдениями сводит задачи оптимизации процессов наблюдения в стохастических
системах к численным процедурам реализуемым заранее и позволяющим получать
решения оптимизационных задач без большого статистического моделирования.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3660
2.2. Особенности комплексирования и управления
наблюдениями при использовании оптико-электронных
систем
Известный опыт применения оптико-электронных средств наблюдения, разведки
и целеуказания говорит о необходимости “интеллектуальной” составляющей системы управления, роль которой в существующих системах, как правило, выполняет
человек: пилот, штурман, стрелок-наводчик, оператор наземной станции управления
БПЛА. Именно на него ложатся основные задачи, связанные с обнаружением, распознаванием, интерпретацией данных и сопряжением разнородной информации data
fusion, получаемой из различных источников. Соответственно для выполнения “интеллектуальных” автономных миссий необходимо “научить” систему управления БПЛА использовать данную информацию и интегрировать ее при работе системы управления. Первым шагом к “интллектуализации” систем управления БПЛА является исследование измерительных возможностей наблюдательных оптико-электронных приборов, установленных на подвижных носителях.
Сложность поставленной задачи обусловлена тем, что большинство существующих оптико-электронных средств наблюдения не предназначены для автономного
использования в системах управления реального времени. Поэтому достаточно простое механическое объединение различных средств наблюдения на одном носителе и
обеспечение их работоспособности является лишь начальным, хотя и необходимым
этапом. На выходе телевизионной или тепловизионной камеры формируется лишь
последовательность изображений (видеопоследовательность), качество которой, как
правило, согласовано с характеристиками глаза человека. Потенциально, видеопоследовательность несет огромный поток информации, из которой можно выделить
данные о положении носителя, скорости его движения, наличии препятствий и т.п.
Однако эта информация присутствует лишь в скрытой (неявной) форме и для ее выделения необходимо решить целый комплекс теоретических и прикладных проблем.
Эти проблемы имеют мало общего с традиционными задачи искусственного интеллекта, так как не имеют своей главной целью распознавание и интерпретацию
данных.
Для интегрирования видеоданных с работой системы управления гораздо более
важным является возможность расширения измерительных способностей, как то:
• Создание карты высот и окружающего рельефа в реальном времени для выполнения посадки-взлета в неизвестной местности, полета в городских условиях и
горной местности [23], [24];
• Определение координат объектов при целеуказании;
• Определение скоростей движения наблюдаемых объектов, включая выделение
движущихся объектов и слежение за ними;
• Стабилизация изображения при аэрофотосъемке в движении на небольших высотах.
В западной литературе этот круг задач объединяется общим названием SLAM
(Simultaneous Localization and Mapping - одновременная локализация и привязка к
карте местности) [21,22]. Необходимо отметить, что ни одна их перечисленных выше
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3661
задач не может быть решена только с помощью оптико-электронных средств наблюдения, без привлечения данных, полученных либо от системы инерциальной навигации, либо от дополнительных измерительных средств, типа лазерного дальномера
или радиолокатора с синтезированной апертурой.
Причина этого в изначальной некорректности задач восстановления подобной
информации только по изображению.
Любая оптико-электронная система, даже наделенная функциями определения
координат интересующих объектов в поле зрения камеры, может определять лишь
их угловые положения в системе координат ЛА. Поэтому задача определения координат объектов по угломерным (пеленгационным) измерениям (bearing-only – по
западной терминологии) остается весьма актуальной до настоящего времени. В следующих разделах рассматриваются два подхода к комплексированию видеоинформации и навигационных систем БПЛА: управление и определение координат наземных
объектов по пеленгационным измерениям, управление на основе оптического потока.
3.
Пеленгационные измерения при управлении
автономными БПЛА
Задача комплексирования пеленгационных измерений с традиционными достаточно подробно исследована в отечественной и зарубежной литературе, применительно к различным системам воздушного и морского базирования. Известен целый
ряд алгоритмов, используемых для локализации целей по пеленгу. Наиболее распространенный использует расширенный фильтр Калмана (extended Kalman filter)
или даже набор таких фильтров, соответствующих различным диапазонам дальности [35], возможно использование Байесовского подхода [28], метода Монте-Карло
(particle filter) и наиболее простого в реализации калмановского фильтра использующего метод псевдоизмерений (pseudomeasurements) [26].
В работе [26] проведено сравнение этих алгоритмов и отмечается, что по качеству оценивания они дают практически одинаковые результаты, однако последний
обладает наибольшей степенью устойчивости и является наиболее простым в реализации. Идея метода псевдоизмерений основана на другом представлении получаемых
данных, при котором связь между измеренным сигналом и оцениваемыми параметрами является линейной. Этот фильтр обладает наименьшей сложностью реализации
среди выше перечисленных, но вносит нежелательные искажения, которые характеризуются смещением оценки [27]. Однако при реализации условно-оптимальной (субоптимальной) фильтрации [9], [11] можно добиться устранения смещения, сохранив
приемлемый уровень ошибок оценивания.
3.1.
Планирование траектории БПЛА по пеленгационным
измерениям
Для восстановления абсолютных значений расстояний необходима либо априорная информация о дальности до объекта наблюдения или о его точном расположении
на местности, либо о точном положении носителя камеры при использовании методов триангуляции. Создание необходимой стереобазы можно осуществить используя,
как минимум, пару камер на борту одного БПЛА, с помощью нескольких БПЛА с
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3662
точным знанием расстояния между ними и синхронизованными наблюдениями одного объекта, либо путем облета объекта и наблюдением его с помощью монокулярной
камеры.
Решение задачи фильтрации, если оно доступно, дает текущее значение ошибок
оценивания координат неизвестных целей, которые зависят от траектории БПЛА.
Однако алгоритмы основанные на линеариазации уравнений наблюдения (линеаризованный фильтр Калмана, или расширенный фильтр Калмана) дают лишь приближенное значение матрицы ковариаций, причем точность приближения заранее
неизвестна. При приближенных методах планирования траекторий, качество наблюдений оценивается с помощью информационной матрицы Фишера [25], [34]. При этом
в работе [25] решается даже более общая задача оценивания-сближения, однако все
подобные подходы дают смещенные оценки [27], кроме Байесовского подхода [28],
который, однако, весьма трудно реализуем на бортовых компьютерах. Комплексирование измерений на основе теории управления наблюдениями возможно при соблюдении двух основных условий:
• оценка координат, получаемая с помощью дополнительных каналов, должна
быть несмещенной,
• необходимо наличие информации о качестве этой оценки, например, знание
матрицы среднеквадратических ошибок оценивания.
С точки зрения комплексирования предпочтительным является модифицированный алгоритм псевдоизмерений, который наряду с несмещенной оценкой координат,
дает и оценку ошибок измерения. Точность оценивания таким фильтром, оказывается сравнимой с точностью алгоритмов расширенного фильтра Калмана и Unscented
фильтра Калмана [36], что убедительно подтверждается результатами моделирования [8].
3.2.
Управление на основе пеленгационных измерений
В данном разделе описывается модернизированный метод псевдоизмерений и
управление на его основе [1], свободный от смещения. Предположим, объект управления (БПЛА), двигаясь по заданной траектории, в момент времени t = 0 входит
в область, где его система распознавания изображений может идентифицировать
некоторый объект (скажем, “вышка” с номером i = 1, 2, ..) с известными координатами, определить его координаты на матрице приемника излучения и, тем самым,
определить пеленг.
Замечание 1. Именно наличие системы распознавания является ключевым
моментом, так как требует сопряжения оптико-электронной камеры с “интеллектуальным” программным обеcпечением бортового компьютера, которое анализируя сигнал изображения, определяет на матрице приемника положение объекта с заранее известными координатами. Подобные задачи вполне по силам современным компьютерам с системами распознавания, использующими корреляционноэкстремальные алгоритмы [2]. Отметим, что эффективность корреляционно-экстремального слежения значительно повышается, если корреляционная функция
вычисляется в близкой окрестности отыскиваемого объекта, а не по всему полю
зрения, что возможно лишь при комплексировании системы наведения камеры с
навигационной системой БПЛА.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3663
Другой возможный подход состоит в использовании радиомаяков, дающих пеленг на заранее заданную точку. Кроме того, использование пеленгационной информации полезно и при решении обратной задачи, а именно: определения координат
объектов, проявляющих активность в радиодиапазоне и пеленгуемых пассивным радиолокатором БПЛА, или просто перемещающихся в пространстве, что может
фиксировать оптико-электронная камера.
Далее, в моменты времени tk = k∆t, k = 1, 2, ..... осуществляются акты измерения пеленга объекта с известными координатами по его наблюдению на матрице
приемника оптико-электронной системы БПЛА. Сложность использования пеленгационных измерений состоит в том, что они не дают информации о дальности до
объекта наблюдения, которая может быть восстановлена только в результате многократных измерений с учетом дополнительной информации о смещении наблюдаемого
объекта. В рассматриваемой далее модели предполагается, что собственное смещение БПЛА оценивается им самим по измерениям, производимым его навигационной
системой с определенным уровнем ошибок. Движение БПЛА описывается в дискретном времени с использованием обозначений:
• (X(tk ), Y (tk ), Z(tk )) − координаты БПЛА в моменты времени tk , удовлетворяющие системе уравнений
(1)
X(tk+1 ) = X(tk ) + V cos θ(tk )∆t + Wkx ,
Y (tk+1 ) = Y (tk ) + V sin θ(tk )∆t + Wky ,
Z(tk+1 ) = Z(tk ) + Wkz ,
где (Wkx , Wky , Wkz ) − некоррелированные случайные возмущения по осям
(OX, OY, OZ), имеющие нулевые средние и дисперсии (σx2 , σy2 , σz2 ), соответственно.
• (Xi , Yi , 0) − координаты i-ой “вышки”
• θ − угол между вектором скорости V осью OX (заданный угол, определяющий
номинальное движение БПЛА)
Замечание 2. Для упрощения изложения полагаем, что относительная высота установки “вышки” равна нулю. Однако, если предположить возможность определения двух углов (пеленга и возвышения), то знание высоты
“вышки” можно использовать и для оценки текущей высоты полета БПЛА.
• φi (tk ) − угол между осью OX и направлением на i-ю “вышку”, регистрируемый
системой управления БПЛА.
Измеряемый угол φi (tk ) удовлетворяет соотношению
(2)
sin φi (tk )
Yi − Y (tk )
Ii (tk ) = tan φi (tk ) + εk =
+ εk
Xi − X(tk )
cos φi (tk )
где можно предположить, что εk ∼ N (0, σ 2 ) − гауссовская случайная величина с
нулевым средним и дисперсией σ 2 , характеризующая ошибки измерения угла φ.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3664
Замечание 3. Индикаторная функция Ii (tk ) равна 1 если в момент времени
tk осуществляется наблюдение i-ой “вышки” и нулю в противном случае. Эти обозначения имеют смысл если происходит переключение наблюдения с одной “вышки”
на другую и тогда эта индикаторная функция может служить дополнительным
управлением.
Таким образом в момент времени tk осуществляется измерение угла φi (tk ), связанного с неизвестными координатами БПЛА (X(tk ), Y (tk )) соотношением
(Yi − Y (tk )) cos φi (tk ) − (Xi − X(tk )) sin φi (tk ) = εk (Xi − X(tk )) cos φi (tk ) = ε˜k ,
(3)
Идея метода псевдоизмерений состоит в том, чтобы разделить в уравнении (3)
наблюдаемые и ненаблюдаемые величины, что дает следующее уравнение наблюдений (в дальнейшем мы опускаем индекс i, считая, что данная модель действует до
момента прерывания контакта с i-ой “вышкой”)
zk = Yi cos φi (tk ) − Xi sin φi (tk ) =
(4)
= Y (tk ) cos φi (tk ) − X(tk ) sin φi (tk ) + εk (Xi − X(tk )) cos φi (tk );
Таким образом модель 3, 4 является основой для вывода уравнений субоптимального (оптимального в классе линейных) фильтра на основе известной процедуры прогноз-коррекция [9]. В непрерывном времени уравнения оптимальной линейной
фильтрации и управления на их основе получены в работе [7].
ˆ k ), Yˆ (tk )) используются для вычисления локально-оптиОценки координат (X(t
мального управления θc (tk ), задающего направление движения
Ynom (tk ) − Yˆ (tk ) + V ∆t sin θ(tk )
.
(5)
θc (tk ) = arctan
ˆ k ) + V ∆t cos θ(tk )
Xnom (tk ) − X(t
Результаты моделирования демонстрируют высокую точность оценивания и управления [1].
4.
Методы управления БПЛА, основанные на
использовании оптического потока
Использование оптических приборов при дистанционном управлении летательными аппаратами явилось естественным следствием развития оптико-электронной
техники и систем передачи данных, при этом требования к системам формирования и обработки изображения обычно согласованы с характеристиками зрительной
системы человека-оператора. Однако особенности автономного полета, при котором оптическая система должна быть сопряжена с вычислительными устройствами распознавания и определения координат интересующих объектов, предъявляют несколько другие требования. Условно можно говорить о том, что назначение
оптико-электронной системы плюс вычислитель состоит в определении параметров движения самой камеры и наблюдаемых объектов [37], путем анализа их изображений. В настоящее время можно говорить о двух подходах при использовании
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3665
оптико-электронных систем. Первый – распознавание и определение движений некоторых характерных объектов по аналогии с работой системы глаз+мозг человека.
При этом метрические характеристики результатов измерений интегрируются с работой системы навигации естественным образом, так же как и выходы систем глобального позиционирования и активных измерений. Второй – неметрический анализ,
по аналогии с органами ориентации насекомых и птиц [39]. В последние годы, особенно в связи с использованием малых или даже микроскопических БПЛА, широкое
распространение получили методы навигации, при которых информация о собственном движении и расположении препятствий может быть получена путем анализа так
называемого оптического потока или поля скоростей сдвига изображения [38].
Стоит напомнить, что проблема сдвига изображения активно изучалась с точки зрения его компенсации при аэрокосмической съемке с использованием пленочных аэрофотокамер. При кадровой съемке с большим полем зрения или при панорамировании сдвиг изображения является одним из наиболее значимых факторов,
ограничивающих разрешающую способность системы и для его компенсации необходимы специальные оптические элементы, осуществляющие компенсирующее движение [5], [6]. При этом поле нескомпенсированных скоростей сдвига изображения
является неоднородным, что приводит к неоднородности разрешающей способности
по полю кадра [5]. Использование приборов с зарядовой связью (ПЗС) в качестве
приемников излучения позволяет скомпенсировать влияние сдвига изображения при
использовании режима задержки интегрирования [20], для точной реализации которого требуется знание скоростей сдвига изображения в произвольной точке кадра.
Для этого и была разработана методика расчета поля скоростей сдвига изображения
как функции от углов ориентации, положения в пространстве, линейных и угловых
скоростей камеры [6], [15].
4.1.
Методы расчета поля скоростей
В общем случае простейшее описание (не учитывающее аберрации и винъетирование) оптической системы (возможно сканирующей или панорамирующей) задается
функциональными соотношениями между координатами точки в фокальной плоскости (ξ, η) и оптически сопряженной точки (X, Y ) в плоскости наблюдения. Эти
соотношения могут зависеть от целого набора параметров Λ = (λ1 , ..., λ(N )), определяющих положение камеры с компенсирующими элементами и зависящих от времени
(6)
X = X(ξ, η, Λ(t), t),
Y = Y (ξ, η, Λ(t), t).
Соотношения между (ξ, η) и (X, Y ) являются взаимно-однозначными для любого
фиксированного набора параметров (Λ, t), то есть можно определить обратные функции
(7)
ξ = ξ(X, Y, Λ(t), t),
η = η(X, Y, Λ(t), t).
Скорость сдвига изображения (Vξ , Vη ) (скорость смещения элемента изображения регистрируемого в точке с координатами (ξ, η)) или оптический поток, согласно современной терминологии [42] ориентированной на системы машинного зрения, опреде-
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3666
ляется уравнениями [15]
∂ξ Vξ =
∂t ,
X(ξ,η,Λ(t),t), Y (ξ,η,Λ(t),t)
(8)
∂η Vη =
.
∂t X(ξ,η,Λ(t),t), Y (ξ,η,Λ(t),t)
Общие соотношения для расчета основаны на задании последовательности преобразований главного луча, учитывающей движение носителя и преобразования систем
координат [5]. Использование взаимной однозначности отображения (ξ, η) в (X, Y )
дает следующую формулу для поля скоростей [15]




∂X ∂X −1  ∂X 
Vξ
 ∂ξ ∂η   ∂t 




(9)
.
=

 
∂Y
∂Y
∂Y
Vη
∂ξ
∂η
∂t
X(ξ,η,Λ(t),t), Y (ξ,η,Λ(t),t)
Вычисление частных производных также производится рекуррентно [6] и легко
реализуется вычислительно. Например, для системы наблюдения, снабженной камерой с головным зеркалом в карданном подвесе, скорости сдвига изображения определяются соотношениями




 
Vξ
Wx
θ˙

 = D1 (ξ, η, Λ(t), t) 
 + D2 (ξ, η, Λ(t), t)   ,
(10)
Vη
Wy
φ˙
˙ φ)
˙ угловые скорости рамок кардангде (Wx , Wy ) скорость движения носителя, а (θ,
ного подвеса [15]. Аналогично можно вывести зависимости скоростей сдвига изображения от углов ориентации летательного аппарата и их угловых скоростей [6] для
любой точки поля зрения.
4.2.
Методы расчета оптического потока
Таким образом, оптический поток является носителем информации об относительных скоростях движения камеры и наблюдаемой поверхности, что позволяет интегрировать датчик оптического потока с системой навигации и управления БПЛА.
Оптический поток проявляется как смещение определенных деталей изображения.
Однако это смещение определяет временные изменения регистрируемого сигнала.
Вычисление оптического потока основано на следующих предположениях [38]:
• постоянство распределения яркостей: изменение освещенности вызвано только
относительным смещением камеры и объекта;
• гладкость поля скоростей;
• малые смещения: частота временной дискретизации достаточно велика, чтобы
обеспечить гладкое изменение освещенности.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3667
При малых смещениях
dξ(t) = Vξ (t)dt,
dη(t) = Vη (t)dt
изменение регистрируемого поля освещенностей удовлетворяет соотношению
I(ξ, η, t) = I(ξ + dξ, η + dη, t + dt),
что приводит к следующей формуле оптического потока
∂I ∂I
∂I
+
Vξ (t) +
Vη (t) = 0.
∂t
∂ξ
∂η
(11)
Одного уравнения (11), конечно, не достаточно чтобы восстановить поле скоростей, однако в предположениях гладкости изображения и самого поля скоростей
это уравнение является основой эффективного метода вычисления компонент скорости (Vξ , Vη ), известного как алгоритм Люкаса-Канаде [43], в котором частные производные оцениваются в нескольких близких точках (близких настолько, что поле
скоростей можно считать постоянным) поля зрения, а скорости находятся затем из
системы линейных уравнений (11) методом наименьших квадратов. Между тем, для
решения задач навигации БПЛА гораздо важнее знать относительные линейные и
угловые скорости самого ЛА, как, например, в соотношении (10), которые действительно являются общими для всех точек поля зрения и которые также можно определять методом наименьших квадратов, используя измерения оптического потока в
нескольких точках поля зрения. Частные случаи использования этой методологии
рассмотрены в работе [38].
4.3.
Управление БПЛА на основе оптического потока
В последние годы интерес к управлению ЛА с использованием оптического потока растет лавинообразно тем более, что прогресс в миниатюризации оптических
камер и вычислительных устройств позволяет использовать эту методологию даже
на малых и миниатюрных БПЛА. Поэтому приведем лишь ряд последних работ в
этой области, демонстрирующих области применения методологии оптического потока:
• выделение характерных областей изображение [40], сегментация движущихся объектов на неподвижном фоне [41], цифровая фотограмметрия при съемке с небольших высот, позволяющая достичь точности порядка одного пикселя/кадр [46];
• облет препятствий [44], [45] и автоматическая посадка на неизвестной площадке
[47], [51], [48];
• слежение за подвижными объектами и прослеживание протяженных объектов
типа: линий электропередач, трубопроводов, дорог [50], [49].
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3668
5.
Заключение
В данном обзоре рассматриваются некоторые новые задачи стохастического управления, характерные для поколения “интеллектуальных” БПЛА, снабженных оптикоэлектронными системами наблюдения, интегрированными с традиционной системой
навигации и управления. Решение этих задач основано на использовании новых методов фильтрации, которые требуют развития и новых методов управления наблюдения, таких как управление движением при оценке координат по пеленгационным
измерениям или слежение за подвижными маневрирующими объектами. Особенностью этих задач является необходимость объединения точных методов фильтрации
и управления с алгоритмами статистического моделирования и, вследствие этого,
получение результатов управления на основе доверительных оценок. Интересный
класс задач управления связан с организацией взаимодействия различных БПЛА,
выполняющих кооперативные миссии в условиях ограничений по каналам связи и
возможного противодействия [52], что требует, однако, использования игровых методов управления и выходит за рамки настоящего обзора.
Работа выполнена при поддержке Российского фонда фундаментальных исследований (13-01-00406, 13-08-01096).
Список литературы
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
Амелин К.С., Миллер А.Б. Алгоритм уточнения местонахождения легкого БПЛА на основе
калмановской фильтрации измерений пеленгационного типа // Информационные процессы.
2013. Т. 13, № 4. C. 338-352.
Баклицкий В.К., Юрьев А.Н. Корреляционно-эктремальные навигационные системы. М:
Радио и cвязь, 1982.
Григорьев Ф.Н., Кузнецов Н.А., Серебровский А.П. Управление наблюдениями в автоматических системах. 1986. М.: Наука.
Миллер Б. М. Обобщенная оптимизация в задачах управления наблюдениями // Автоматика и телемеханика. 1991. № 10. C. 83-92.
Миллер Б.М., Федченко Г.И., Морскова М.Н. Расчет сдвига изображения при панораммном
фотографировании // Известия ВУЗов. Геодезия и Аэрофотосъемка. 1984. № 4. C. 81-89.
Миллер Б.М., Федченко Г.И. Влияние ошибок ориентации носителя на сдвиг изображения
при фотографировании с движущегося объекта // Известия ВУЗов. Геодезия и аэрофотосъемка. 1984. № 5. C. 75-80.
Миллер Б.M., Степанян К.В. Оптимальная линейная фильтрация в системах с шумами в
наблюдениях, зависящими от сигнала и оценки // Автоматика и телемеханика. 1998. № 11,
C. 129-144.
Миллер Б.М., Степанян К.В., Миллер А.Б., Андреев К.В., Хорошеньких С.Н. Выбор
оптимального фильтра в задаче управления траекторией БЛА // Сборник трудов 37-й
конференции-школы молодых ученых и специалистов ИППИ РАН «Информационные технологии и системы-2013?». Калининград, Россия, 1-6 сентября 2013.
Миллер Б.М., Панков А.Р. Теория случайных процессов. М.: Физматлит, 2002, 2007.
Миллер Б.М., Рубинович Е.Я. Оптимизация динамических систем с импульсными управлениями. М.: Наука, 2005.
Пугачев В.С. Теория вероятностей и математическая статистика. М.: Наука, 1979.
Рубинович Е.Я. Траекторное управление наблюдениями в дискретных стохастических задачах оптимизации // Автоматика и телемеханика. 1980. № 3. C. 93-102.
Рубинович Е.Я. Обобщенная линейно-квадратичная стохастическая задача управления по
неполным данным // Автоматика и телемеханика. 1997. № 7. C. 216-239.
Черноусько Ф.Л., Колмановский В.Б. Оптимальное управление при случайных возмущениях. М.: Наука, 1978.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3669
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
Kistlerov V.L., Kitsul P.I., Miller B.M. Computer-aided design of the optical devices control
systems based on the language of algebraic computation FLAC // Mathematics and Computers
in Simulation. 1991. Vol. 33. P. 303-307.
Miller B.M. Observation control for discrete-continuous stochastic systems // IEEE Transactions
on Automatic Control. 2000. Vol. 45, No. 5. P. 993-998.
Miller B.M., Rubinovich E.Ya. Regularization of a generalized Kalman filter // Math. Comput.
Simulation. 1995. Vol. 39. P. 87-108.
Miller B.M., Rubinovich E.Ya. Impusive Control in Continuous and Discrete-Continuous Systems.
New York: Kluwer Academic/Plenum Publishres, 2003.
Miller B.M., Rubinovich E.Ya. Kalman filter for controlled hybrid systems // Systems and Control
Letters. 2003. Vol. 50. P. 39-50.
Miller B., Rubinovich E. Image Motion Compensation at Charge-coupled Device Photographing
in Delay-Integration Mode // Automation and Remote Control. 2007. Vol. 68, No. 3. P. 564-571.
Bryson M., Sukkarieh S. Building a Robust Implementation of Bearing-Only Inertial SLAM for
a UAV // Journal of Field Robotics, Special issue on SLAM in the field. 2007. Vol. 24, No. 1-2,
P. 113-143.
Bryson M., Reid A., Ramos F., Sukkarieh S. Airborne Vision-based Mapping and Classification
of Large Farmland Environments // Journal of Field Robotics, Special Issue on Visual Mapping
and Navigation Outdoors. 2010. Vol. 27, No. 5, P. 632-655.
Merz T., Duranti S., and Conte G. Autonomous Landing of an Unmanned Helicopter based on
Vision and Inertial Sensing // Experimental Robotics IX, STAR 21. / Ed. by: M.H. Ang and O.
Khatib. Berlin-Heidelberg: Springer, 2006. P. 343-352.
Carnie R., Walker R., and Corke P. Image Processing Algorithms for UAV “Sense and Avoid”
//Proceedings of the 2006 IEEE International Conference on Robotics and Automation. Orlando,
Florida, May 2006. P. 2848-2853.
Rubinovich E.Ya. Trajectory control over bearings-only observations in one R-encounter problem
// Proceedings of IFAC NOLCOS ’2001. St.-Petersburg, Russia, 2001.
Lin X., Kirubarajan T., Bar-Shalom Y., Maskell S. Comparison of EKF, Pseudomeasurement
and Particle Filters for a Bearing-only Target Tracking Problem. www-sigproc.eng.cam.ac.uk
Aidala V.J., Nardone S.C. Biased Estimation Properties of the Pseudolinear Tracking Filter //
IEEE Transactions on Aerospace Electronic Systems. 1982. Vol. 18, No. 4. P. 432-441.
Bishop A.N., Fidan B., Anderson B.D.O., Dogancay K., and Pathirana P. N. Optimality analysis
of sensor-target localization geometries // Automatica. 2010. Vol. 46. P. 479-492.
Jauffret C., Pillon D., Pignoll A.-C. Leg-by-leg Bearings-Only Target Motion Analysis Without
Observer Maneuver // J. of Advances in Infromation Fusion. June 2011. Vol. 6, No. 1. P. 24-38.
Quintero S.A.P., Papi F., Klein D.J., Chisci L., Hespanha J.P. Optimal UAV Coordination
for Target Tracking using Dynamic Programming // Proceedings of 49th IEEE Conference on
Decision and Control. Atlanta, GA, USA, December 15-17, 2010. P. 4541-4546.
Bolotin Yu.V., Morgunova S.N. Observability with Bearing-only Observations and Smoothness
of Attainable set // Journal of Mathematical Sciences. 2007. Vol. 147, No. 2 (перевод статьи из
журнала «Фундаментальная и прикладная математика». 2005. Т. 11, № 8. C. 119-130).
Nemra A., Aouf N. Robust Cooperative UAV Visual SLAM // Proceedings of 2010 IEEE 9th
International Conference on Cybernetic Intelligent Systems, 2010.
UAV Dozor-600. http://www.uav-dozor.ru/index.php
Musicki D. Bearings only single-sensor target tracking using Gaussian mixtures // Automatica.
2009. Vol. 45. P. 2088-2092.
Peach N. Bearings-only tracking using a set of range-parameterised extended Kalman filters //
IEE Proceedings on Control Theory Appl. Janunry 1995. Vol. 142, No. 1. P. 73-80.
Julier S.J., Uhlman J.K. Unscented filtering and nonlinear estimation // Proceedings of the IEEE.
2004. Vol. 92, No. 3. P. 401-422.
Aggarwal J. K. and Nandakumar N. On the Computation of Motion from Sequences of Images-A
Review // Proceedings of the IEEE. August 1988. Vol. 76, No. 8.
Chao H., Yu Gu, Gross J., Guo G., Fravolini M., Napolitano M.R. A Comparative Study of
Optical Flow and Traditional Sensors in UAV Navigation // 2013 American Control Conference.
Washington, DC, USA, June 17-19, 2013. P. 3858-3863.
Sebesta K. & Baillieul J. Animal-Inspired Agile Flight Using Optical Flow Sensing // 51st IEEE
Conference on Decision and Control. December 10-13, 2012. Maui, Hawaii, USA. P. 3727-3734.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г
3670
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
Angelopoulou M., Bouganis C.-S. Feature Selection with Geometric Constraints for Vision-based
Unmanned Aerial Vehicle Navigation // Proceedings of 18th IEEE International Conference on
Image Processing. 2011. P. 2357-2360.
Kelson Rˆ
omulo Teixeira Aires, Adelardo Adelino Dantas de Medeiros. A Plane Segmentation
System Based on Affine Homography and Optical Flow // Proceedings of 2010 23rd SIBGRAPI
– Conference on Graphics, Patterns and Images. 2010. P. 346-352.
Horn B., Schunck B. Determining optical flow // Artificial Intelligence. 1981. Vol. 17. P. 185-203.
Lucas B. and Kanade T. An iterative image registration technique with an application to stereo
vision // Proceedings of the Seventh International Joint Conference on Artificial Intelligence.
Vancouver, 1981. P. 674-679.
Green W. Optic-Flow-Based Collision Avoidance (Applications Using a Hybrid MAV) // IEEE
Robotics & Automation Magazin. 2008. P. 96-103.
Minh-Duc Hua, Hala Rifa¨ı. Obstacle avoidance for teleoperated underactuated aerial vehicles
using telemetric measurements // Proceedings of 49th IEEE Conference on Decision and Control.
December 15-17, 2010 Atlanta, GA, USA. P. 262-267.
Juan Deng, Xinweng Cheng, and Ming Liao. Experimental research of aerial triangulation of
UAV remote sensing image based on DPGrid // Proceedings of 2010 International Conference
on Electrical and Control Engineering. 2010. P. 4680-4682.
Serra P., Le Bras F., Hamel T., Silvestre C., and Cunha R. Nonlinear IBVS Controller for the Flare
Maneuver of Fixed-Wing Aircraft using Optical Flow // Proceedings of 49th IEEE Conference
on Decision and Control. December 15-17, 2010 Atlanta, GA, USA. P. 1656-1661.
McCarthy C., Barnes N. A Unified Strategy for Landing and Docking Using Spherical Flow
Divergence // IEEE Transaction of Pattern Analysis and Machine Intelligence. 2012. Vol. 34,
No. 5. P. 1024-1031.
Serra P., Cunha R., Silvestre C., Hamel T. Visual Servo Aircraft Control for Tracking Parallel
Curves // 51st IEEE Conference on Decision and Control. Maui, Hawaii, USA, December 10-13,
2012. P. 1148-1153.
Yung Siang Liau, Qun Zhang, Yanan Li and Shuzhi Sam Ge. Non-Metric Navigation for Mobile
Robot Using Optical Flow // 2012 IEEE/RSJ International Conference on Intelligent Robots
and Systems. Vilamoura, Algarve, Portugal, October 7-12, 2012. P. 4953-4958.
Cesetti A., Frontoni E., Mancini A., Zingaretti P., Longhi S. A single-camera feature-based vision
system for helicopter autonomous landing // Dipartimento di Ingegneria Informatica Gestionale
e dell’Automazione of Universitа Politecnica delle Marche, Ancona, Italy.
Senqiang Zhu, Danwei Wang, Chang Boon Low. Cooperative Control of Multiple UAVs for Moving
Source Seeking // Proceedings of 2013 International Conference on Unmanned Aircraft Systems.
May 28-31, 2013, Grand Hyatt Atlanta, Atlanta, GA. P. 193-202.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г