Методы видеонаблюдения, сегментации и сопровождения движущихся объектов (стр. 1 )

На правах рукописи

МЕТОДЫ ВИДЕОНАБЛЮДЕНИЯ,

СЕГМЕНТАЦИИ И СОПРОВОЖДЕНИЯ

ДВИЖУЩИХСЯ ОБЪЕКТОВ

Специальность: 05.12.04 – радиотехника, в том числе системы и

устройства телевидения

АФТОРЕФЕРАТ

диссертации на соискание ученой степени

доктора технических наук

Санкт – Петербург -2007

Научным проблемам синтеза прикладных телевизионных систем, их адаптации к внешним условиям, повышению качественных показателей, помехоустойчивости и точности измерения параметров объектов посвящены работы многих отечественных и зарубежных ученых:

Катаева С. И., Зубарева Ю. Б., Селиванова А. С., Гуревича С. Б., Рыфтина Я. А., , Быкова Р. Е., В, Тимофеева Б. С., Пустынского И. Н., ,  И., Ярославского Л. П., Василенко Г. И., Розенфельда А. А,. , , T., П, Хорна Б. К. П., Претта У. К., Хао Тау и др.

Разработкой современных прикладных ТВ систем занимаются научно – производственные коллективы: » под руководством , » под руководством и , компания «ЭВС» (Санкт – Петербург) под руководством , филиал » под руководством и др.

Главными особенностями современного этапа развития прикладных ТВ систем являются:

1. Стремительное развитие аппаратной базы и вычислительной техники. Это обусловило появление видеокомпьютерных систем и, как следствие, существенно ослабило ограничения на сложность и емкость методов обработки видеоданных в них.

2. Все большее распространение прикладных ТВ систем сопровождается значительным усложнением решаемых ими задач.

Указанные особенности ужесточают требования к эффективности методов анализа и представления видеоданных прикладными ТВ системами.

Для видеонаблюдения это предполагает построение систем, обеспечивающих максимальный уровень эргономичности. Для получения наиболее полной информации об объекте интереса и окружающей обстановке необходимо увеличение угла зрения видеокамеры. Обычно эту проблему решают путем применения широкоугольных и сверхширокоугольных объективов. Их использование приводит к существенным пространственным искажениям и снижению разрешения на краях формируемого изображении. Компенсация пространственных искажений цифровыми методами сопровождается дополнительными потерями разрешающей способности. Необходимо разработать методы синтеза изображений объектов интереса, исключающие указанные проблемы.

Существующие сегодня системы видеонаблюдения при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры. Например, при контроле железнодорожного состава его скорость определяет скорость просмотра видеоматериала. Если эта скорость достаточно высока, то нет возможности рассмотреть целостность вагонов, пломб и сверить с натурным листом бортовые номера. В этом случае оператор вынужден работать с видеоматериалом, помещенным в архив. В результате контроль состава выполняют после его прохождения, что снижает оперативность наблюдения. При наблюдении быстродвижущихся объектов должна быть обеспечена возможность регулирования скорости предъявления видеоданных непосредственно в режиме контроля, а не работы с архивом.

Одновременно с наблюдением необходимо предоставить оператору дополнительную информацию об объекте интереса, полученную на основе анализа видеоданных. Это могут быть данные о скорости движения объекта (поезда, автомобиля), информация о типе транспортного средства, его номерном знаке и др. Должен быть сформирован информационный кадр, включающий в себя изображение объекта, оперативные данные и информацию из баз данных.

Для систем видеонаблюдения актуальным является разрешение противоречия между качеством формируемых изображений и аппаратными возможностями существующих каналов связи, а также устройств хранения данных. Несмотря на высокую емкость современных жестких дисков ее недостаточно для хранения больших объемов информации длительное время, как это необходимо согласно техническим условиям. Традиционно это противоречие решают путем сжатия видеоданных с заметным понижением их качества и потерей информации. Для повышения эффективности систем видеонаблюдения необходимо разработать методы сжатия видеоданных без потери информации об объекте интереса для обеспечения длительного хранения и передачи в реальном времени высококачественных изображений по каналам связи с ограниченной пропускной способностью.

Помехоустойчивость пассивных телевизионных и тепловизионных систем сегментации и сопровождения обуславливает их высокую востребованность и широкое распространение: при управлении воздушным и водным транспортом, при проведении антитеррористических мероприятий, анализе транспортных потоков и др. Практика применения систем этого класса позволяет выделить следующие основные проблемы.

При высокой динамике и большом числе объектов интереса затруднено их первоначальное выделение оператором. Актуальным является обеспечение автоматической сегментации одновременно нескольких объектов интереса с присвоением им уникальных меток, которые не должны изменяться далее в процессе сопровождения даже при временном исчезновении объекта интереса.

При работе одновременно с несколькими объектами интереса возникает проблема разрешения их взаимодействия друг с другом и фоном. Необходимо корректно отрабатывать ситуации появления и исчезновения объектов в зоне наблюдения, слияние и разделение объектов интереса, перекрытия объектов друг другом или фоном (окклюзию). Наиболее часто используемое решение при возникновении ситуации окклюзии – это переход на сопровождение обоих объектов «по памяти». Это увеличивает вероятность потери объектов интереса и требует идентификации объектов после их вторичной сегментации. Необходимо определить какой из объектов находится на переднем плане, и использовать сопровождение «по памяти» только для полностью закрытого объекта интереса. В этом случае вероятность срыва сопровождения возрастает только для одного (закрытого объекта), при этом выделение и сопровождение его до полного закрытия позволяет увеличить объем информации об объекте до перехода в режим предсказания, а также минимизировать длительность ведения по памяти.

В процессе сопровождения объекты меняют свои свойства ракурс, размеры, скорость движения вплоть до остановки; возможны существенные изменения фона и освещенности. Например, при старте ракеты после запусков двигателя возникает яркая вспышка и облако пыли, резко меняющие свойства изображения объекта интереса. Необходимо разработать многопризнаковую систему, позволяющую исключить срыв сопровождения при существенной динамике свойств объекта и окружающей обстановки.

Сформулированные требования предполагают качественно новый анализ видеоинформации. Необходимо выработать правильные решения для плохо формализованных задач, требующих оригинальных методов и алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью исходных данных.

Система должна извлекать знания из накопленного опыта и применять их для решения задач, а также иметь способность к развитию в соответствии с объективными изменениями условий функционирования.

Перечисленные особенности являются признаками информационно–интеллектуальных систем.

Указанные выше положения делают актуальной проблему повышения эффективности прикладных ТВ систем путем придания им интеллектуальных свойств. Ее решению посвящена данная диссертационная работа.

Цель диссертационной работы: разработка методов представления и анализа видеоданных, позволяющих реализовать функциональные особенности интеллектуальных прикладных ТВ систем для существенного повышения их эффективности.

Основные задачи диссертационной работы

1.  Определить функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения; сформулировать основные принципы представления и обработки видеоданных в них.

2.  Оценить возможности и эффективность использования существующих методов определения векторов движения в прикладных ТВ системах.

3.  Разработать новые методы оценивания векторов движения, учитывающие специфику видеоданных, получаемых в сложных условиях видеонаблюдения.

4.  Разработать методы субпиксельной оценки векторов движения, позволяющие анализировать изображения объектов интереса с медленным движением.

5.  Оценить эффективность применения методов цифровой коррекции пространственных искажений изображений, создаваемых сверхширокоугольными объективами.

6.  Разработать метод синтеза изображения протяженного объекта интереса, обеспечивающий: высокую эргономичность видеонаблюдения; сжатие данных без потери информации, позволяющее разрешить противоречие между объемом записанных данных и их качеством; передачу высококачественных видеоизображений по каналам связи с низкой пропускной способностью.

7.  Построить обобщенную модель формы объекта интереса при отсутствии априорной информации о нем.

8.  Разработать способ оценки текстурного признака, адаптированный к сложным условиям наблюдения и специфике объектов интереса.

9.  Разработать принципы и методы обработки видеоданных на основе совокупности признаков сегментации с использованием математического аппарата нечеткой логики, позволяющие автоматически сегментировать и сопровождать одновременно несколько объектов интереса на сложном фоне при отсутствии априорной информации.

Методы исследования

В работе использованы методы теории распознавания образов, теории вероятности и математической статистики, теории нечетких множеств и нечеткой логики, теории оптимизации, теории функционального анализа и высшей алгебры, теории регрессионного анализа и планирования эксперимента, методы цифровой обработки изображений, методы моделирования на ЭВМ и программирования, экспериментальные исследования.

Основные научные положения, выносимые на защиту:

1.  Анализ и обработка видеоданных на основе признака движения реализуют функциональные особенности интеллектуальных прикладных ТВ систем, позволяющие повысить их эффективность: для класса систем видеонаблюдения за протяженными объектами – замену исходных видеоданных синтезированным изображением, получение оперативной информации об объекте интереса и сжатие без потери полезной информации; для класса систем сегментации и сопровождения неточечных объектов – выделение изображений объектов на сложном фоне и разрешение ситуаций перекрытия изображений объектов фоном и друг другом.

2.  Трехкомпонентные вектора движения, найденные с учетом их априорных оценок достоверности и значимости, обеспечивают взвешенную оценку признака движения, позволяют задать уровень достоверности поля векторов движения и снизить вычислительную емкость в 10 ¸ 20 раз.

3.  Использование межкадровой разности, найденной по пакету кадров, позволяет получить субпиксельную оценку векторов движения и повышает уровень достоверности поля векторов движения на 20% по отношению к полю, найденному методом полного перебора.

4.  Для систем видеонаблюдения за протяженными объектами, синтез изображения объекта интереса на основе признака движения обеспечивает угол обзора до 180 градусов, минимизацию апертурных и пространственных искажений, а также сжатие видеоданных без потери информации об объекте интереса.

5.  Сегментацию изображений нескольких объектов интереса на сложном фоне и при отсутствии априорной информации о них обеспечивает применение совокупности признаков, и построение решающего правила на основе математического аппарата нечеткой логики

6.  Описание гауссовой моделью формы объекта и учет признака движения позволяют сопровождать объекты при динамике их свойств и окружающей обстановки, а также разрешать ситуации перекрытия изображений объектов друг другом и фоном.

Научная новизна

1.  Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения.

2.  Разработаны основные принципы представления и обработки видеоданных в системах видеонаблюдения за протяженными объектами.

3.  Разработаны принципы сегментации и сопровождения неточечных объектов с жестким движением при отсутствии априорной информации о них и при существенной динамике их свойств в процессе наблюдения.

4.  На основе анализа особенностей определения и применения векторов движения для видеоданных, полученных в сложных условиях наблюдения, введен критерий эффективности методов нахождения векторов в виде уровня достоверности.

5.  На основе экспериментальных данных аналитически описана функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от уровня детальности изображения в блоке.

6.  На основе экспериментальных данных аналитически описана функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от уровня абсолютной межкадровой разности в блоке.

7.  Предложен метод определения трехкомпонентных векторов движения с учетом априорных оценок их достоверности и значимости, позволяющий реализовать взвешенную оценку признака движения, а также существенно уменьшить число аномальных векторов движения и вычислительную емкость задачи.

8.  Предложен метод субпиксельной оценки векторов движения на основе многомасштабной межкадровой разности, обеспечивающий точность до 0.07 пикселя и повышение числа корректно найденных векторов по отношению к полному перебору на 20%.

9.  Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра более 70%, в центре до 40%.

10. Предложен метод синтеза панорамного изображения протяженного объекта интереса, позволяющий компенсировать пространственные искажения, вносимые сверхширокоугольным объективом, обеспечить максимальную четкость изображения по площади кадра, реализовать комфортные условия видеонаблюдения, а также семантическое сжатие.

11. Разработан алгоритм оценки видимой скорости протяженного объекта на основе анализа видеоданных.

12. Введена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса.

13. Предложен метод автоматической сегментации объектов в видеоданных на основе совокупности признаков и с использованием аппарата нечеткой логики, позволяющий одновременно сегментировать несколько объектов на сложном фоне при отсутствии априорной информации о них.

14. Предложен метод автоматического сопровождения объектов при существенной динамике их свойств и окружающей обстановки, основанный на обобщенной модели формы объекта с обновляемыми параметрами и признаке движения.

Практическая значимость

1.  Предложенный принцип и метод синтеза панорамного изображения обеспечивает резкое повышение эффективности систем видеонаблюдения за протяженными объектами:

· Систем, ведущих наблюдение за крупными объектами с собственным движением, например, комплексов пограничного и коммерческого контроля железнодорожных составов.

· Систем, использующих камеру, установленную на поворотном столе или подвижном носителе для наблюдения статичных объектов большой площади. В частности, обзорных и мониторинговых систем ландшафтов местности или морского дна, водных акваторий, нефтяных разливов, нефтепроводов и газопроводов.

Сформированное изображение объекта интереса имеет пространственные искажения в (20¸25) раз ниже, чем в исходных кадрах; обеспечивает комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное. Это создает качественно новые условия для работы оператора и обеспечивает возможность автоматического анализа видеоданных.

Метод реализует семантическое сжатие без потери информации об объекте интереса: коэффициент сжатия от 25 до 80 раз. Это снимает противоречие между объемом записанных данных и их качеством и позволяет реализовать длительное хранение больших объемов информации. Для протяженных объектов обеспечена возможность передачи высококачественных изображений по каналам связи с низкой пропускной способностью в реальном масштабе времени

(Все приведенные выше количественные оценки получены при апробации метода синтеза панорамного изображения в контексте видеонаблюдения на железной дороге).

2.  В системах сегментации и сопровождения объектов реализован автоматический захват и сопровождение одновременно до 50 объектов на сложном фоне при отсутствии априорной информации. Автоматический захват имеет особую значимость в динамических сценах с несколькими быстродвижущимися объектами, где возможности оператора по наложению стробов на объекты интереса ограничены.

При сопровождении обеспечено устойчивое разрешение ситуации окклюзии, слияния и разделения объектов; сопровождение объектов при существенной динамике их свойств и окружающей обстановки; идентификация объектов интереса при вторичной сегментации.

3.  Введение трехкомпонентных субпиксельных векторов движения, а также метод их определения с использованием функций достоверности и значимости одновременно обеспечивает необходимый уровень достоверности и резко снижает вычислительную нагрузку, что снимает ограничения по использованию этого инструмента в прикладных ТВ системах видеонаблюдения, сегментации и сопровождения объектов интереса, а также при сжатии видеоданных и в кинопроизводстве.

4.  Использование результатов теоретических исследований, доведенных в работе до уровня практических алгоритмов, структурных схем, программных решений, инженерных рекомендаций и методик синтеза сократит сроки и затраты на создание новых прикладных ТВ систем различного назначения.

Реализация результатов работы

Полученные в диссертации результаты, сделанные обобщения и выводы позволили разработать ряд интеллектуальных прикладных телевизионных систем. В рамках научно-исследовательских и опытно – конструкторских работ совместно ПК НПК «Автоматизация» разработан многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов; совместно с филиалом » многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; совместно с » видеокомпьютерная система контроля запуска космических аппаратов, что подтверждено соответствующими актами.

Результаты исследований внедрены в учебный процесс СПб ГУАП при подготовке инженеров по специальностям: «Аудиовизуальная техника» и «Электронные системы». Они включены в разработанные автором учебно-методические комплексы по дисциплинам: «Автоматизированные телевизионные системы», «Синтез видеоизображений на ЭВМ» и др.

С использованием результатов, полученных в диссертации подготовлен электронный учебник по курсу «Автоматизированные телевизионные системы» (зарегистрирован в отраслевом фонде алгоритмов и программ № ВНИТЦ , 2001) и изданы 4 учебно – методических указания к выполнению лабораторных работ.

Апробации работы

Основные положения работы докладывались и обсуждались на:

49,50 Научно – технической конференции «НТОРЭС им. » 1994,1995; 10th International Conference on Control Systems and Computer Science. Bucharest, 1995; I Научно –технической конференции «Новейшие достижения в области телевидения, аудио и видеотехники.» СПб, 1999; III Международной конференции «Цифровая обработка сигналов и ее применение» Москва, ИВТА РАН,2000; I, II, III, IV, V Международных научно – технических конференциях «Телевидение: передача и обработка изображений» СПб, ; The International Conference «Radio – That Connects Time. 110 Anniversary of Radio Invention» St Petersburg, 2005; III Международная научно-практическая конференция «Электронные средства и системы управления» Томск, 2005; The Tenth IEEE International Symposium on Consumer Electronics, St Petersburg, 2006; 15 Всероссийской научно – технической конференции «Современное телевидение» Москва, 2007; Научно – технической конференции профессорско - преподавтельского состава, научных сотрудников и аспирантов СПб ГУТ,2007.

Диссертационная работа получила апробацию:

- на расширенном научном семинаре кафедры «Телевизионных и электронных устройств», СПб ГУАП, 2006;

- научно – техническом совете » Великий Новгород, 2007;

- на заседании кафедры «Телевидения и видеотехники», СПб ГЭТУ «ЛЭТИ» им. (Ленина), 2007.

Публикации

По теме диссертации опубликовано 48 научных работ, из них – 21 статья, в том числе в ведущих рецензируемых журналах и изданиях, определенных ВАК РФ; 17 работ - в материалах и трудах всероссийских и международных научных и научно – технических конференций и симпозиумов; 10 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 194 наименования, трех приложений. Основная часть диссертации изложена на 297 страницах машинописного текста. Диссертация содержит 116 рисунков и 38 таблиц.

Содержание работы

Во введении обоснована актуальность рассматриваемой проблемы, сформулированы цель и задачи исследований. Даны научные положения, выносимые на защиту, определены их научная новизна и практическая значимость, приведены сведения об апробации и внедрении результатов работы.

В первой главе: выявлена основная тенденция развития современных прикладных ТВ систем; определены функциональные особенности и сформулирован перечень требований к методам анализа видеоданных в интеллектуальных системах видеонаблюдения, сегментации и сопровождения; приведен аналитический обзор методов обработки видеоданных в современных прикладных ТВ системах; показана необходимость и определены основные направления разработки методов представления и анализа видеоданных для интеллектуальных ТВ систем; постановлены задачи, подлежащие решению в данной работе.

Прогресс технических средств определяет современную тенденцию развития прикладных ТВ систем – создание автоматических или автоматизированных с минимальным участием оператора многофункциональных видеокомпьютерных комплексов, обладающих интеллектом.

К функциональным особенностям интеллектуальной системы видеонаблюдения следует отнести: адаптацию к изменениям условий наблюдения: установку режимов работы камеры на основе анализа изображения; синтез изображения объекта интереса, обеспечивающий коррекцию пространственных искажений, комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное; извлечение информации из видеоданных: определение параметров движения объекта интереса, его геометрических характеристик и др.; семантическое сжатие без потери информации, позволяющее обеспечить длительное хранение больших объемов данных и их передачу по каналам связи с низкой пропускной способностью.

Обзор современных прикладных ТВ систем показывает, что решение перечисленных задач особенно актуально при видеонаблюдении протяженных объектов – объектов, проекция которых на плоскость кадра существенно превышает размер последнего.

Системы видеонаблюдения за протяженными объектами следует разделить на две группы.

Первая группа – системы, ведущие наблюдения за объектами с собственным движением. Наиболее показательный пример, видеонаблюдение на железной дороге. В этом случае объектом интереса является железнодорожный состав или железнодорожный вагон. Минимальный размер вагона 12 метров в длину и 5 метров в высоту. По тактическим соображениям видеокамеры бокового обзора должны быть установлены в промежутках между путями с тем, чтобы не допустить перекрытие сектора обзора встречным составом. Расстояние от камеры до объекта 1,5-2 метра.

Вторая группа – обзорные и мониторинговые системы ландшафтов местности или морского дна, водяных акваторий, нефтяных разливов, нефтепроводов и газопроводов. В этом случае объект не имеет собственного движения, но наблюдается перемещающейся камерой. Примерами являются система экологического мониторинга нефтяных разливов или система контроля целостности трубопроводов. Контроль объекта интереса ведут с помощью видеокамеры на борту летательного аппарата.

Для повышения эффективности систем видеонаблюдения за протяженными объектами целесообразно заменить исходное изображение объекта интереса синтезированным, в котором должны быть устранены пространственные искажения и обеспечены комфортные условия анализа видеоданных оператором, сохранена информация только об объекте интереса (обеспечено семантическое сжатие)

Синтез изображения протяженного объекта интереса предполагает его сегментацию от фона и других объектов. Протяженные объекты, как правило, имеют неоднородную яркость, и одновременно являются слабо текстурировнными. Это не позволяет использовать в полной мере яркостный и текстурный признаки. Присутствие в кадре только части объекта затрудняет использование признака формы. Наиболее информативным свойством протяженного объекта является движение. Таким образом, для систем видеонаблюдения за протяженными объектами актуальной является разработка принципов и методов синтеза изображения протяженного объекта на основе признака движения.

Функциональными особенностями интеллектуальной системы сегментации и сопровождения объектов интереса являются: на этапе сегментации – выделение изображений объектов на сложном фоне с максимальным подобием их реальному изображению; на этапе сопровождения – разрешение ситуаций окклюзии (перекрытия изображений объектов интереса фоном или друг другом), слияния и разделения на несколько одного объекта интереса; устойчивое сопровождение объектов при существенной динамики их свойств и окружающей обстановки; идентификация объекта интереса при вторичной сегментации. Все перечисленные задачи должны быть решены в автоматическом режиме.

В рамках диссертационной работы рассматривались объекты интереса размером от элементов (пикселей) и обладающие жестким движением. Внесенные ограничения не снижают общность задачи: перечисленным характеристикам соответствуют наземные и водные транспортные средства, летательные аппараты.

Проведенный анализ обработки видеоданных в системах сегментации и сопровождения позволяет сделать следующие выводы

Применение методов обработки на основе одного признака сегментации яркости, текстуры, формы, контура или движения не позволяет одновременно реализовать все перечисленные функциональные особенности интеллектуальной ТВ системы в полной мере при указанных свойствах объектах интереса и сложных условиях наблюдения.

Учет только одного признака не обеспечивает устойчивую сегментацию и сопровождение при существенной динамике свойств объекта интереса. При длительном сопровождении меняются свойства объекта (объект останавливается, маневрирует и меняет ракурс, частично заходит в тень и т. д.) и, соответственно, признак, по которому ранее успешно выполнялась сегментации теряет эффективность.

Для реализации перечисленных требований необходим принципиально новый подход: следует использовать не один признак, а совокупность признаков, отвечающих свойствам объекта интереса в разные моменты времени. Таким образом, для систем сегментации и сопровождения необходимо разработать принципы и методы сегментации по совокупности признаков.

Ключевой особенностью объектов интереса как при видеонаблюдении, так и при сегментации и сопровождении является движение. Достоверная и точная оценка признака движения является основой для решения сформулированных выше задач. Это требует разработки методов оценки признака движения, обеспечивающих его эффективное применение в прикладных ТВ системах.

Во второй главе: сформулирован критерий оценки эффективности методов определения векторов движения в прикладных ТВ системах; проведен анализ эффективности существующих методов определения векторов движения согласно предложенному критерию; на основе экспериментальных данных найдена функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от оценки уровня детальности изображения в блоке; на основе экспериментальных данных найдена функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от модифицированной оценки уровня абсолютной межкадровой разности; разработан метод определения векторов движения с учетом априорных оценок их достоверности и значимости; обоснована необходимость субпиксельной оценки векторов движения; разработаны и исследованы методы субпиксельной оценки векторов движения на основе несимметрии целевой функции в области точки минимума и на основе многомасштабной межкадровой разности.

Главным признаком, положенным в основу разрабатываемых методов видеонаблюдения, сегментации и сопровождения, является движение. Его наиболее информативная оценка – вектора движения.

Основой определения векторов движения является уравнение оптического потока:

, (1)

где – яркостный вектор-градиент по пространственным координатам; – производная яркости по времени; V = () – вектор движения.

Анализ уравнения оптического потока (1) показывает:

1. Уравнение является плохо обусловленным.

2. Однозначное определение вектора движения возможно только в случае, если компоненты яркостного вектора - градиента отличны от нуля (имеют место изменения яркости по горизонтали и вертикали). В случае однородной, нетекстурированной поверхности или текстуры только в одном направлении достоверную оценку векторов найти нельзя.

3. Уравнение (1) получено из предположения о постоянной яркости точки (пикселя) при ее движении. Подсветка, тени, блики, прозрачные и зеркальные поверхности нарушают это утверждение и приводят к ошибкам при определении векторов движения.

Вектора движения, методы и алгоритмы их определения были разработаны для стандартов видеокомпрессии MPEG 1,2,4 для обработки изображений студийного качества, где соблюдаются требования текстурированности и постоянства яркости.

При работе в сложных условиях наблюдения с определенным в рамках решаемой задачи классом объектов требования существования пространственных яркостных производных и постоянства яркости при движении точки (пикселя) вдоль траектории нарушаются. Изображение объектов интереса имеет низкую текстурированность. При видеонаблюдении на открытом воздухе высока вероятность изменения уровня освещенности, появления солнечных бликов, теней и др. Не соблюдение обоих требований порождает появление аномальных векторов – векторов, не отражающих реальное движение в кадре.

Тяжесть последствий от аномальных векторов движения в прикладных ТВ системах значительна: рассегментация объектов интереса, снижение точности моделей движения, потеря объекта при сопровождении и др. Это определяет критерий оценки эффективности методов и алгоритмов определения векторов движения в прикладных ТВ системах – уровень достоверности:

,

где – общее число найденных векторов, – число аномальных векторов в общем числе найденных

Проведенные исследования показали, что даже при использовании корреляционных методов (наиболее робастных по данным литературы) c алгоритмом полного перебора для поиска лучшего соответствия уровень достоверности . Этот уровень недостаточен для эффективного применения векторов движения в прикладных ТВ системах. Необходима разработка новых методов определения векторов движения, учитывающих особенности объектов интереса, и свойства видеоданных, получаемых в сложных условиях наблюдения.

В методе совмещения блоков задачу определения векторов движения решают путем минимизации целевой функции, характеризующей степень соответствия (совпадения) двух блоков, на множестве различных положений обрабатываемого блока в области поиска. Результаты решения этой задачи определены видом целевой функции, которая зависит от уровня детальности изображения в блоке (таблица 1).

Под уровнем детальности изображения в блоке будем понимать:

, (2)

Из за большого объема этот материал размещен на нескольких страницах: 1 2 3