Обнаружение областей задымления на видеопоследовательности с применением локальных бинарных шаблонов

УДК 004.932.2

Вестник СибГАУ 2014. № 5(57). С. 108-114

ОБНАРУЖЕНИЕ ОБЛАСТЕЙ ЗАДЫМЛЕНИЯ НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ С ПРИМЕНЕНИЕМ ЛОКАЛЬНЫХ БИНАРНЫХ ШАБЛОНОВ

А. В. Пятаева

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

Е-mail: anna4u@list.ru

Раннее обнаружение дыма на открытых пространствах крайне важно, поскольку дым обычно становится видимым раньше пламени. В настоящее время системы видеонаблюдения получили широкое распространение в различных областях. Поэтому детектирование дыма на основе видеоизображений можно считать эффективным и недорогим способом для обнаружения задымлений и пожаров на открытых пространствах. Существующие методы можно разделить на группы: обнаружение дыма на основе гистограмм, временной анализ областей задымления, методика с применением эвристических правил и гибридный подход, комбинирующий эти методы. Предложен автоматический метод детектирования дыма, использующий технологии компьютерного зрения и методы анализа изображений. Метод включает в себя анализ текстуры с помощью инвариантных к повороту и освещению локальных бинарных шаблонов, локальных тернарных шаблонов и расширенных бинарных шаблонов. Разработан новый метод текстурного анализа, названный темпоральными шаблонами, которые стоятся как 3Б-структура, основанная на соседних кадрах видеоизображения. Использованы различные способы построения гистограмм на основе полученных шаблонов. В качестве меры различия двух гистограмм использовано расстояние Кульбака-Лейблера. Эксперименты проводились на видеопоследовательностях, содержащих густой и прозрачный дым, из базы данных динамических текстур Dyntex. Набор образцов был разделен в соотношении 80 % обучающий, 20 % тестовый набор. Эксперименты показали преимущества темпорального способа построения шаблона по сравнению с классическим для динамических текстур. Эксперименты показали, что предложенный метод эффективен для детектирования дыма на видеопоследовательности.

Vestnik SibGAU 2014, No. 5(57), P. 108-114

VIDEO-BASED SMOKE DETECTION USING LOCAL BINARY PATTERNS

A. V. Pyataeva

Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation

Smoke detection is particularly important for early warning systems because smoke usually rises before flames arise. Video surveillance systems are widely applied in a variety of fields such as urban scenes and forest scenes. Hence, video-based smoke detection is regarded as an effective and inexpensive way for fire detection in an open space. The existing methods can be classified as histogram-based detection, methods of temporal analysis, smoke detection based on heuristic rules, and hybrid methods. This paper presents an automatic smoke detection method using computer vision and pattern recognition techniques. The method involves texture analysis with rotation and illumination invariant local binary pattern, local ternary pattern, and extended local binary pattern. The novel Local Binary Patterns (LBPs) called as Temporal LBPs were developed. Temporal LBPs are built as 3D structure based on neighbor frames for analysis of dynamic textures. For smoke verification, two different classes of histogram are computed. As a measure of the differences for smoke and non-smoke histograms, Kullback-Leibler Divergence was used. Experiments on the Dyntex database illustrate the effectiveness of the proposed method. Numerical results were obtained by using various types of known LBP for semi-transparent and opaque smoke. The set of all samples was divided in training set (80 %) and testing set (20 %%). Experiments show the advantages of 3D Temporal LBPs against classical 2D LBPs for dynamic fast changed textures. Experimental results show that the proposed method is feasible and effective for video-based smoke classification at interactive frame rates.

Введение. Актуальность задачи раннего обнаружения дыма на открытых пространствах с помощью текстурного анализа изображения (или видеоряда) вызвана бесполезностью датчиков, основанных на химическом анализе продуктов сгорания, поскольку на открытых пространствах происходит быстрое уменьшение их концентрации. Обычно дым детектируется на видеопоследовательности раньше пламени, поэтому факт появления дыма можно считать существенным признаком пожара.

Таким образом, проблема раннего обнаружения огня на видеоизображении может быть сведена к задаче нахождения дыма на видео, так как дым обычно становится видимым раньше, чем может быть обнаружен огонь. Большинство методов детектирования дыма на видеоизображениях основаны на выделении движения, цветовых и текстурных особенностях, позволяющих разделить классы «дым - отсутствие дыма» [1-3]. Дым как объект исследования имеет сложную газообразную структуру с нестабильными параметрами движения, изменяемой цветовой характеристикой (от полупрозрачной текстуры до черных непрозрачных фрактальных образований), изменяемыми контурами, эффектами мерцания и прочими динамическими свойствами [4-6].

Алгоритмы обнаружения дыма можно классифицировать следующим образом: обнаружение дыма на основе гистограмм, временной анализ областей задымления, методика с применением эвристических правил и гибридный подход, комбинирующий эти методы. Успешность решения задачи обнаружения дыма на ранних этапах требует минимизации пропусков цели. Одним из эффективных способов анализа локализованных глобальных регионов-кандидатов является текстурный анализ с использованием локальных бинарных шаблонов. Преимуществами локальных бинарных шаблонов является инвариантность к повороту и освещению, а также небольшие вычислительные затраты [7; 8]. Широко известно применение локальных бинарных шаблонов для распознавания лиц, однако в последнее время он активно используется в других задачах цифровой обработки изображений.

В работе для классификации текстур использован метод локальных бинарных шаблонов, инвариантный, рассмотрены следующие вариации шаблонов: локальные бинарные шаблоны (ЛБШ), локальные тернарные шаблоны (ЛТШ) и расширенные локальные бинарные шаблоны (РЛБШ).

Локальные бинарные шаблоны. В работе [9] введены понятия равномерных (не более двух переходов в шаблоне), инвариантных к вращению шаблонов. В дальнейшем были предложены другие модификации ЛБШ, такие как локальные тернарные шаблоны (Local Ternary Pattern), и ряд других модификаций. Все известные на сегодня виды ЛБШ являются пространственными операторами. Оператор ЛБШ представляет собой описание окрестности пикселя радиуса R. Количество пикселей окрестности n зависит от R и определяется формулой n = (2R + 1)2 - 1. Оператор ЛБШ, который применяется к пикселю изображения,

использует п пикселей окрестности, принимая центральный пиксель в качестве порога.

• • -h •

t# о •

• ч- • • 1 г

Рис. 1. ЛБШ радиуса 1

Пиксели, которые имеют значения больше, чем центральный пиксель (или равное ему), принимают значения «1», те, которые меньше центрального, принимают значения «0». Таким образом, получается n-разрядный бинарный код, который описывает окрестность пикселя. При R = 1 для построения ЛБШ учитывается 8 значений пикселей соседей, обход происходит по спирали по часовой стрелке (рис. 1).

Введем понятие шаблона - Pattern. Pattern = LBP(P, R) в случае расчета бинарных ЛБШ определяется по следующей формуле:

LBP( P, R) = £ * (In - Ic )• 2n,

где P - количество пикселов в окрестности; R - радиус окрестности; s(x) = 1, если x > 0, и s(x) = 0 в противном случае; In и Ic - значения яркости текущего и центрального пикселов, представляющие собой значение яркости Y из цветовой схемы YUV [10-12].

Расширенные ЛБШ. РЛБШ представляют собой круговую окрестность пикселя с произвольным числом точек P и радиусом R. При этом значение интенсивности пикселей вычисляются посредством билинейной интерполяции значений яркости [13]. Точки, учитываемые при расчете РЛБШ для разных значений радиуса, показаны на рис. 2.

Для радиуса R = 1 шаблон рассчитывается как для обычного ЛБШ (рис. 2, а). При радиусе R = 2 и учете восьми точек окрестности вычисление ЛБШ (рис. 2, б) происходит следующим образом: учитываются сами значения точек, отмеченные значком Ф, значения точек, отмеченные значком Н, рассчитываются как среднее арифметическое из четырех соседних точек с метками «1», «2», «3», «4». При R = 2 и 12 точках окрестности (рис. 2, в) соседями считаются пиксели, отмеченные значком Ф. Расчет паттерна РЛБШ происходит так же, как и базового ЛБШ, т. е. Pattern = = LBP (P, R).

Локальные тернарные шаблоны. Оператор ЛТШ, который применяется к пикселю изображения, использует n пикселей окрестности, принимая центральный пиксель в качестве порога. Тернарный n-разрядный код, который описывает окрестность пикселя, формируется по формуле

LTP(P,R) = £s*(( -Ic)• 3n

где P - количество пикселов в окрестности; R - радиус окрестности; s * (x, t) - пороговая функция; In и Ic - значения яркости текущего и центрального пикселов; t - преопределенный порог, в данной работе t = 5 [14]:

s * (x,t) = <¡0, при |x| < t;

-1, при x < -t.

Pattern = LTP(P,R) в случае вычисления локальных тернарных шаблонов.

Способы вычисления шаблонов. Рассмотрим способы вычисления шаблонов: шаблоны с прореживанием и вычисление шаблона в каждой точке. При шаблонах с прореживанием исходное изображение разбивается на части для расчета локального шаблона, исходя из значения радиуса R (рис. 3). Изображение разбивается на квадраты размера dim = (2R + 1)2 + 1 пикселей, начиная от верхнего левого угла. При R = 1 размер квадрата 3 х 3 пикселей, при R = 2 - 5 х 5 и т. д. Для каждого квадрата вычисляется свой локальный шаблон, тем самым шаблоны не пересекаются. При этом если изображения «не хватает» для заполнения яркостями квадратов ЛБШ слева и внизу, то такие

IULuJI □

пиксели отбрасываются. Максимально возможный отброшенный кусочек справа имеет ширину width < < 2R, а снизу height < 2R.

Так как такие пиксели находятся по краям изображения, занимаемая ими область незначительна относительно исходного изображения (размер изображения видеопоследовательности тестовой базы начинается от 300^400 точек, а в основном составляет 787x576 точек), поэтому можно отбросить такие пиксели, которые занимают не более 3 % изображения. Кроме того, если эти пиксели дополнить нулями для получения «полноценного» квадрата для ЛБШ, то в этом месте ЛБШ будут равны 0, что не отразится на гистограмме.

При расчете шаблона в каждом пикселе изображение не разбивается на непересекающиеся блоки, бинарная строка локального шаблона рассчитывается для каждого пикселя, происходит пересечение шаблонов. Вычисление паттерна Pattern локального шаблона происходит одинаково как в случае работы с прореживанием, так и при работе без него.

Темпоральный вариант. В темпоральном варианте вычисления локального шаблона учитываются три кадра видеопоследовательности: текущий, предыдущий и следующий. Базовый ЛБШ для R = 1 в темпоральном варианте выглядит так, как представлено на рис. 4.

п * ш □

□ □

□□□

Рис. 2. Точки, участвующие в расчете паттерна РЛБШ: а - К = 1, 8 точек окрестности; б - К = 2, 8 точек окрестности; в - К = 2, 12 точек окрестности

отбрасываемая часть

Рис. 3. Шаблон с прореживанием для ЛБШ при R = 1

Предыдущий кадр

Текущий кадр Рис. 4. Темпоральный вариант ЛБШ

Следующий кадр

ЛБШ формируется в порядке обхода точек: 9 точек ЛБШ предыдущего кадра, 8 точек ЛБШ текущего кадра и 9 точек ЛБШ следующего кадра.

Предобработка результатов вычисления шаблонов. Предобработка результатов представляет собой промежуточный этап перед построением гистограммы. Каждый метод вычисления шаблона требует определенных методов предобработки данных для построения гистограммы. Рассмотрим их подробнее. Локальные бинарные шаблоны предобработки не требуют.

Для РЛБШ введем понятие равномерных шаблонов. Равномерные шаблоны - это бинарные коды определенного вида; шаблон, который содержит не более трех переходов в шаблоне от 0 к 1 и наоборот. Например, шаблон 00110011 является равномерным, а шаблон 10101010 - нет. Равномерные шаблоны несут в себе больше информации, чем другие. Равномерные шаблоны определяют такие важные особенности изображения, как пятна, концы линий, углы, грани [15]. Для обеспечения инвариантности к вращению используются только равномерные шаблоны и все их циклические сдвиги [16]. Каждый равномерный шаблон является сдвигом одной из комбинаций, этой комбинации присваивается номер, который и является инвариантным к вращению. Поскольку исходные бинарные векторы инвариантны относительно циклического сдвига, то для каждого бинарного вектора из списка строится список десятичных значений. Каждое десятичное значение рассчитывается для циклического сдвига вектора на n элементов, где n изменяется от 1 до размерности вектора. В процессе построения списка десятичных значений, соответствующих текущему бинарному вектору, происходит подсчет количества переходов от 0 к 1 для каждого сдвига. Если минимальное число переходов не больше 3, то из списка десятичных значений, соответствующих текущему бинарному вектору, берется наименьшее. Если минимальное число переходов больше 3, то исходный бинарный вектор рассматривается особо: ему сопоставляется число, равное максимальному возможному целому для данной размерности, увеличенному на 1. В итоге получается список десятичных чисел, каждое из которых соответствует своему бинарному вектору. Конечная гистограмма РЛБШ строится классическим способом по итоговому набору десятичных чисел.

Предобработка тернарного n-разрядного кода происходит следующим образом: полученный код разбивается на два бинарных n-разрядных кода: up ЛТШ -отрицательные значения заменяются 1, low ЛТШ -отрицательные значения заменяются 0. Далее по каждому из полученных наборов бинарных n-разрядных кодов строится своя гистограмма.

Способы построения гистограмм. Построение гистограмм по сформированному набору n-разрядных бинарных кодов происходит двумя способами:

- классический способ - каждая бинарная строка преобразуется в десятичное число, подсчитывается количество одинаковых чисел с определением положения и высоты столбцов гистограммы;

- сумма единиц для каждого разряда ЛБШ -вычисляется количество единиц в каждом разряде бинарного кода, давая тем самым высоту столбца гистограммы.

Классический способ построения гистограмм.

Каждая бинарная строка преобразуется в десятичное число (рис. 5), затем подсчитывается количество повторений таких чисел для всего изображения.

Рис. 5. Обработка ЛБШ (классический способ)

Варианты чисел откладываются по оси абсцисс, а число повторений каждого из чисел - по оси ординат. Таким образом, классическую гистограмму описывает следующая формула:

H (к) = ££ f (Pattern, к),

к е [0,K], K = max(Patternp r (i, j)), где M*N - размер изображения; Pattern = LBP(P, R) в случае расчета базовых и расширенных ЛБШ, Pattern = LTP(P, R) в случае тернарных шаблонов.

Альтернативный способ построения гистограмм - сумма единиц для каждого разряда ЛБШ. В списке бинарных строк производится подсчет количества единиц на каждой позиции (рис. 6) и строится гистограмма, в которой значения по оси X изменяются от 1 до длины бинарной строки (для LPB при R = 1 их 8), по оси OY - количество единиц в каждой позиции бинарной строки.

Рис. 6. Обработка списка бинарных строк

Построение решающего правила. Мерой различия гистограмм двух сопоставляемых изображений при построении соответствующего решающего правила использовалось расстояние Кульбака-Лейблера:

Р(Р-1)+3

ь (^ = X 4 Дп-Ъ

к=1 Як

где я и я2 - гистограммы первого и второго изображения; к - номер столбца; Р - число точек в окрестности ЛБШ.

Экспериментальные исследования. Эксперимент проводился на видеопоследовательностях, содержащих густой и прозрачный дым, а также видеопоследовательностях, на которых дыма нет, взятых из базы данных динамических текстур БуШех [17]. Использовано три видеопоследовательности, содержа1

щих густой дым, и одна видеопоследовательность с прозрачным дымом. Каждая видеопоследовательность разбита на кадры исходя из соотношения 25 кадров в секунду. Из полученных кадров вручную были выделены фрагменты, содержащие дым. Было получено 660 фрагментов густого дыма и 83 фрагмента прозрачного дыма. При этом размер фрагментов для густого дыма составляет 70 х 70 пикселов, для прозрачного дыма - 55 х 65 пикселов. Также были использованы 991 фрагмент размером 70*70 пикселов и 336 фрагментов размером 55*65 пикселов с отсутствием дыма. Шаблоны, вычисленные в каждой точке, предпочтительнее, так как точность распознавания в этом случае выше, а количество ошибок первого и второго рода в среднем в два раза меньше.

Для густого дыма ЛБШ и ЛТШ показывают одинаковую эффективность как в случае классических гистограмм, так и при построении гистограмм «сумма единиц для каждого разряда шаблона», однако во втором случае в два раза возрастает количество ложных срабатываний. Расширенные бинарные шаблоны также показывают высокую эффективность работы, уменьшая при этом число пропусков события и ложных срабатываний по сравнению с ЛТШ и ЛБШ. Изменение радиуса расчета РЛБШ не влияет на точность распознавания, однако с увеличением радиуса на 25 % возрастает число ложных срабатываний. В темпоральном варианте лучшими оказываются

Таблица 1

Результаты распознавания густого дыма (TR (%) - точность распознавания, FRR (%) - ошибка первого рода, FAR (%) - ошибка второго рода)

Видеофрагменты Гистограммы «сумма единиц для каждого разряда ЛБШ» Гистограммы классические

Бинарные шаблоны Тернарные шаблоны Бинарные шаблоны Тернарные шаблоны

TR FRR FAR TR FRR FAR TR FRR FAR TR FRR FAR

Густой дым 0,997 0,003 0,003 0,997 0,082 0,003 0,997 0,005 0,003 0,998 0,019 0,002

Отсутствие дыма 0,997 0,003 0,003 0,918 0,003 0,082 0,995 0,003 0,005 0,981 0,002 0,019

Расширенные бинарные шаблоны

Видеофрагменты R = 1 R = 2

TR FRR FAR TR FRR FAR TR FRR FAR

Густой дым 0,998 0,002 0,001 0,998 0,025 0,001 0,998 0,025 0,001

Отсутствие дыма 0,998 0,001 0,002 0,974 0,001 0,025 0,974 0,001 0,025

Расширенные бинарные шаблоны

Видеофрагменты R = 1 R = 2

TR FRR FAR TR FRR FAR TR FRR FAR

Густой дым 0,990 0 0,0098 1,00 0,00 0,00 1,00 0,00 0,00

Отсутствие дыма 1,00 0,0098 0,00 1,00 0,00 0,00 1,00 0,00 0,00

расширенные бинарные шаблоны, показывая более высокую эффективность для густого дыма на протяжении всей серии экспериментов.

Результаты распознавания густого дыма приведены в табл. 1.

Бинарные и тернарные шаблоны в случае прозрачного дыма не дают приемлемых результатов, максимальная точность распознавания в этом случае составляет 80,7 %, при этом пропуск события происходит в 19,3 % случаях и в 39 % происходит ложное срабатывание. Единственным методом, позволяющим выделить прозрачный дым на изображении, является метод РЛБШ при радиусе в один пиксель в одномерном случае. При увеличении радиуса вычисления шаблона эффективность РЛБШ падает (табл. 2). Вычисляемые в РЛБШ равномерные шаблоны определяют такие важные особенности изображения, как пятна, концы линий, углы, грани. При построении гистограммы каждому равномерному шаблону соответствует свой столбец, а всем неравномерным шаблонам один общий. При пространственном совмещении с другими объектами дым, исходя из своих физических особенностей, смазывает резкие грани объектов, следовательно, в местах скопления граней дыма нет. Этим и определяется эффективность расширенных бинарных шаблонов при анализе прозрачного дыма.

Таблица 2

Результаты распознавания прозрачного дыма (TR (%) - точность распознавания, FRR (%) - ошибка первого рода, FAR (%) - ошибка второго рода)

Видеофрагменты Расширенные бинарные шаблоны

R = 1 R = 2

TR FRR FAR TR FRR FAR TR FRR FAR

Прозрачный дым 0,9518 0,0327 0,0481 0,8072 0,4791 0,1927 0,7108 0,3422 0,2891

Отсутствие дыма 0,9672 0,0481 0,0327 0,5208 0,1927 0,4791 0,2891 0,2891 0,3422

Таким образом, для густого дыма подходит группа методов текстурного анализа. Наилучшую эффективность показывают расширенные бинарные шаблоны в темпоральном варианте, так как в этом случае учитываются три кадра дыма и особенности текстуры дыма становятся еще более выраженными. Для распознавания прозрачного дыма подходят только расширенные бинарные шаблоны с радиусом 1 в 2Б-случае за счет учета таких особенностей изображения, как грани, углы и линии.

Заключение. Полученные в работе результаты показывают, что классический способ построения гистограмм эффективнее способа «сумма единиц разрядов шаблона», а шаблоны, вычисленные в каждой точке изображения, имеют преимущество перед шаблонами с прореживанием. Анализ результатов расчетов распознавания показывает, что тернарные шаблоны обладают преимуществом перед бинарными за счет снижения влияния шума на результат анализа текстуры изображения. Лучшим методом текстурного анализа для видеопоследовательностей, содержащих дым, является метод РЛБШ, дающий 100 % точности на густом и 96 % на прозрачном дыме. При этом радиус расчета шаблона равен единице. Такие результаты объясняются тем, что расширенные шаблоны учитывают специфические особенности изображения, такие как грани, углы, линии, поскольку и густой и прозрачный дым сглаживают резкие грани изображения.

Библиографические ссылки

References

© n^raeBa A. B., 2014