Влияние погрешностей взаимного расположения фотоматриц в устройствах, реализующих метод субпиксельного сканирования, на качество синтезируемых изображений

Системы управления,связи и безопасности №1. 2018

Systems of Control, Communication and Security sccs.intelgr.com

УДК 621.396.96

Влияние погрешностей взаимного расположения фотоматриц в устройствах, реализующих метод субпиксельного сканирования, на качество синтезируемых изображений

Артюшкин А. Б., Матасов Ю. Ф., Пантенков А. П.

Постановка задачи: расширение возможностей электронных оптических приборов было и остается актуальной темой для исследований. Известные способы повышения разрешающих способностей таких приборов, основывающиеся на применении нескольких фотоматриц для синтеза более качественного изображения, обладают высокой чувствительностью к точности взаимного расположения матриц и требуют дальнейшей модернизации. Целью работы является выявление особенностей влияния погрешностей взаимного расположения матриц на качество синтезируемых изображений и обоснование необходимости их учета при реализации методов субпиксельного сканирования. Используемые методы: решение задачи построения вторичного изображения с повышенным разрешением, основанное на решении системы уравнений, описывающих построение матрицы увеличенного размера на основе нескольких вариантов определённым образом модернизированной исходной матрицы, реализация данного решения с помощью компьютерной модели, позволяющей вносить в алгоритм синтеза изображения искажения, аналогичные погрешностям относительного смещения фотоматриц, визуализация полученных решений. Новизна: элементами новизны представленной работы являются результаты расчетов, выполненные для одномерных матриц, а также результаты работы построенной модели, распространяющие сделанные выводы на двумерные изображения. Результат: полученные и подтвержденные в работе результаты позволяют обосновать необходимость принятия специальных мер по снижению степени влияния ошибок смещения, таких как дополнительный контроль при изготовлении аппаратуры, а также модернизация алгоритмов, используемых для синтеза изображений. Практическая значимость: статья является основой для дальнейшего планирования работ по совершенствованию метода субпиксельного сканирования.

Актуальность

В настоящее время подавляющее большинство фото- и видео устройств цифровых систем наблюдения и телеметрического контроля строятся на базе датчиков изображения матричного типа - матриц фоточувствительных элементов (МФЧМ). Такие матрицы - ПЗС (прибор с зарядовой связью) - представляют собою аналоговые микросхемы, состоящие из фотодиодов (пикселей), расположенных на подложке в виде столбцов и строк, с управляющим затвором возле каждого фотодиода.

Библиографическая ссылка на статью:

Артюшкин А. Б., Матасов Ю. Ф., Пантенков А. П. Влияние погрешностей взаимного расположения фотоматриц в устройствах, реализующих метод субпиксельного сканирования, на качество синтезируемых изображений // Системы управления, связи и безопасности. 2018. № 1. С. 109-121. URL: http://sccs.intelgr.com/archive/2018-01/05-Artjushkin.pdf Reference for citation:

Artjushkin A. B., Matasov J. F., Pantenkov A. P. Quality of synthesized images taking into account a accuracy of mutual arrangement of photomatrix in a sub-pixel scanning device. Systems of Control, Communication and Security, 2018, no. 1, pp. 109-121. Available at: http://sccs.intelgr.com/archive/2018-01/05-Artjushkin.pdf (in Russian)

Systems of Control, Communication and Security

sccs.intelgr.com

Каждый этап процесса совершенствования техники регистрации изображений характеризуется некоторым минимальным размером пикселя в матрице регистрирующих детекторов, определяющим ее разрешающую способность, достигнутым в данный момент. На сегодняшний день, размеры пикселя могут варьироваться в пределах 0,0025-0,008 мм. Детализация получаемого изображения тем выше, чем большее количество пикселей приходится на единицу его площади изображения. В то же время, чем крупнее пиксель, тем больше его площадь и количество собираемого им света и, соответственно, выше светочувствительность и отношение сигнал/шум.

Таким образом, увеличение разрешающей способности матрицы достигается путем наращивания общего количества чувствительных элементов, однако качество получаемого изображения во многом зависит от того, каким образом выполняется такое наращивание. Попытка повысить разрешение матрицы без увеличения ее размеров, за счет «дробления» чувствительных ячеек площадью Si на более мелкие элементы, во-первых, приводит к снижению отношения сигнал/шум на выходах этих элементов, во-вторых - приводит к росту стоимости ПЗС, либо, на каком-то этапе, становится невозможным для существующего уровня технологий.

Повышение же разрешения за счет наращивания общей площади матрицы Sm при неизменных значениях Si ведет к значительному увеличению геометрических размеров оптических электронных приборов и росту их стоимости. При этом увеличение разрешения в n раз требует такого же увеличения площади матрицы. Тем не менее, это является «наименьшим злом» относительно метода повышения разрешения делением площадок на меньшие по площади, т. к. обеспечивает большую чувствительность матрицы и более высокое отношение сигнал/шум на ее выходах.

Таким образом, для получения максимального разрешения при сохранении качества сигнала, необходимо сохранить неизменными значения Si при минимальном увеличении SM.

В настоящее время существуют дополнительные возможности повышения разрешения изображений при заданных размерах матрицы и пикселя. Одну из таких возможностей представляют субпиксельное сканирование и субпиксельная обработка изображений [1].

В работах Блажевича С.И., Винтаева В.Н., Ушакова Н.Н. [2], Блаже-вич С.И., Силютина Е.С. [3], Попова М.А., Станкевича С.А., Шкляра С.В. [4] описываются некоторые разновидности алгоритмов, реализующих субпиксельный подход. Однако анализа влияния каких-либо факторов на результаты решения задач обработки изображений данными алгоритмами авторами не делается.

В данной работе представлены результаты исследования влияния неточности взаимного расположения матриц фоточувствительных элементов, определенного требованиями метода субпиксельного сканирования (МСС) на качество формируемого цифрового изображения.

Systems of Control, Communication and Security

sccs.intelgr.com

Метод субпиксельного сканирования изображения

Правильнее было бы называть данный метод методом «субпиксельного синтеза», т. к. в процессе его реализации появляются или синтезируются новые пиксели. Однако, название «метод субпиксельного сканирования» является ис-торически-сложившимся [2, 3], поэтому будем пользоваться данным термином.

Суть метода заключается в следующем. Одно и то же изображение проецируется на четыре одинаковые матрицы чувствительных элементов размерности т*п (т - количество элементов в строке, п - количество элементов в столбце), которые сдвинуты относительно него и относительно друг друга так, как показано на рис. 1. При этом величина сдвигов й - должна быть равна половине линейной величины одного фоточувствительного элемента (ФЧЭ).

Рис. 1. Проецирование изображения на исходные МФЧЭ и синтез матрицы с большим разрешением

Информация с выхода каждой ПЗС снимается с частотой формирования кадров видеопотока. Полученный массив данных обрабатывается в соответствии с синтезирующим алгоритмом. В результате совместной обработки данных о четырех исходных изображениях определяются значения освещенности их определенных участков и формируется матрица вычисленных чувствительных элементов. При этом разрешение полученного изображения в два раза превышает разрешение исходных матриц фоточувствительных элементов (МФЧЭ) (рис. 2).

Рассмотрим реализацию рассматриваемого метода субпиксельного сканирования более подробно на примере ФМЧЭ размерности 3x3 элемента.

Порядок формирования виртуальной матрицы из четырех исходных, имеющих разрешение J, показан на рис. 1.

Пространственно исходные матрицы разнесены, и изображение проецируется на каждую из них по отдельному оптическому каналу. Такой канал может формироваться как с использованием отдельного объектива, так и с помощью системы общего для всех матриц объектива и распределяющих призм. При этом для каждой матрица одни и те же элементы изображения - серая часть рисунков - по-разному смещены относительно ее границ. Из рисунка видно, что величина смещения равна половине линейного размера чувствительного элемента, а векторы смещения выбраны таким образом, чтобы общее сенсорное поле образовало прямоугольник с внешней неосвещенной границей

Systems of Control, Communication and Security

sccs.intelgr.com

шириной d. Темным цветом выделена синтезированная виртуальная матрица, обладающая разрешением 21.

Рис. 2. Преобразование изображений в электронно-оптической системе,

реализующей МСС

Реализация алгоритма предусматривает присвоение порядкового номера каждому элементу исходной МФЧЭ. На рис. 3 приведена нумерация элементов для матрицы с номером 1. Здесь и^ - значение сигнала на выходе чувствительного элемента, пропорциональное интегральной яркости проецируемого на неСистемы управления,связи и безопасности №1. 2018

Systems of Control, Communication and Security sccs.intelgr.com

го изображения, 2 - порядковый номер матрицы в системе, у - порядковый номер чувствительного элемента матрицы.

Ui 1 Ul 2 Ul 3

Ul 4 Ul 5 Ul 6

Ul 7 Ul 8 Ul 9

Рис. 3. Пример нумерации чувствительных элементов матрицы

Аналогичным образом присваиваются номера элементам остальных исходных МФЧЭ. Совмещенная система из четырех матриц, формирующая виртуальную МФЧЭ, показана на рис. 4.

Рис. 4. Виртуальная МФЧЭ, составленная из четырех матриц

Здесь ик - значение освещенности виртуального фоточувствительного элемента, а к - условный порядковый номер элемента в виртуальной матрице. Значения и2у, размещенные на рисунке в верхнем и нижнем рядах, разбиты на группы, каждая из которых включает три значения. Порядковый номер группы соответствует порядковому номеру столбца, состоящему из элементов соответствующей исходной МФЧЭ. Каждая группа включает значения сигналов на выходах чувствительных элементов, соответственно, исходных матриц 1 и 3 в поSystems of Control, Communication and Security

sccs.intelgr.com

рядке их следования внутри соответствующего столбца. Значения и^, размещенные на рисунке справа и слева в промежуточных рядах, соответствуют значениям выходных напряжений в строках исходных МФЧЭ 2 и МФЧЭ 4.

Предполагается, что выполняется т. н. «краевое условие» - освещенность участков матриц, на которые изображение не попадает, одинакова и для каждого виртуального ФЧЭ, которые на рисунке не пронумерованы, составляет некоторую известную величину Х.

В соответствие с рис. 4, всю совокупность возможных значений игу можно задать следующей системой уравнений (1):

ün = 3X+u ; Ü31 = =u + u + u + u ;

ü12 = 2 x+u+u ; U32 =u + u+u + u ;

U13 = 2 x+u+u ; Ü33 = 2X+u + u10 ;

U14 = 2 X + u6 + Kn ; ü34 — u^ j ^ ^^ ^ u^ 6 ^ 7 ;

üü— uy ^ ^ ^ ^13 ; ü35 = = u13 + u14 + u18 + u19;

U16 = u9 + u10 + u14 + u15; ü36 = = 2X+щ5 + u20 ;

ü17 = 2X + u16 + u21 ; ü37 = 2 X+u21 ^ ^22 ;

ü18 = u17 + u18 + u22 + u23; ü38 = : 2 X+u23 + u24 ;

U19 — ^ ^^ ^ ^^ ^ u25 ü39 = = 3 X + u25 ;

ü21 = 2X+u + u ; ü41 = 2 X+u + u ;

ü22 = 2 X+u + u ; ü42 = u + u + u7 + u ;

U23 = 3 X+u ; ü43 =u4 + u + u + uo ;

ü24 = u + u + un + ; ü44 = 2 X + un + u16;

~ü^ — u^ ^ u^ ^ ^ ; ü45 = — u^ 2 ^ ^^ ^ u^ 7 ^ g ;

U26 = 2 X + u10 + u15; ü46 = u14 ^ u15 ^ u19 ^ u20;

U27 = u16 + u17 + u21 + u22; ü47 = 3X + u21 ;

U28 = u18 + u19 + u23 + u24; CO = 2 X+u22 + u23 ;

U29 = 2 X + u20 + u25 ; ü49 = 2 X + u24 + ^25 •

Из (1) возможно выразить непосредственно значения напряжений на выходах виртуальных чувствительных элементов:

Systems of Control, Communication and Security

sccs.intelgr.com

щ = U — 3X; щ = Ui— 2 X + щ ; щ = U2 — 2X + щ ; Щ = Ui — 2 X + щ ; щ = — 3X ; щ = U— 2 X — и,; щ = Ui + щ + щ + щ ; щ = Ui + щ + щ + щ ; щ = U2+ щ + щ+щ ;

"ю = U43 + щ4 + щ + щ9;

= Ui4 — 2 X + щ; ии = U4 + щ + щ+ип ;

^^ — U^^ ^ ^ ^ ^^; — ^ ^ щ ^ щз;

= Ui6 + щ + ^ + щ,4; щ1б = и44— 2 X — щп;

= U34 + щ11 + + щ16;

^^ - U^ ^ ^ ^ у ;

щ19 = U35 + щ1з + щ14 + щ18;

щ20 = U36 — 2 X — щ15; щ21 = U17 — 2 X — щ16; U22 = U37 — 2 X — щ21 ; щ23 = U48 — 2 X — щ22 ; щ24 = U38 — 2 X — щ23;

щ5 = U39 — 3 X.

Таким образом, применение рассмотренного метода позволяет получить уточненное по сравнению с исходным, изображение, разрешение которого увеличено в четыре раза.

Влияние погрешностей взаимного расположения исходных МЧЭ на качество синтезируемого изображения

Необходимым условием реализации метода субпиксельного сканирования является наличие смещения й = 0,5 I между совместно обрабатываемыми чувствительными элементами матриц ПЗС, (I - линейный размер фоточувствительного элемента (ФЧЭ) вдоль линии смещения). Как указывалось выше, такое смещение позволяет доопределять распределение яркости изображения, проецируемого на ФЧЭ, между двумя его равными частями. Логично ожидать, что появление погрешностей Дй, вызванных, например, несоблюдением допусков при изготовлении, или неточностью монтажа при сборке оборудования, будет влиять на качество синтезируемого изображения. Проиллюстрируем данное утверждение простым примером. Для упрощения анализа рассмотрим совместную работу двух пространственно разнесенных линеек фоточувствительных элементов (ЛФЧЭ) К и и, на которые, через оптическую систему специальной конструкции, проецируется одно общее изображение. Под ЛФЧЭ будем понимать совокупность одинаковых единичных фоточувствительных элементов, расположенных рядом друг с другом на общей оси х. При этом их рабочие поверхности лежат в одной плоскости и направлены в одну и ту же сторону.

Проецирование общего изображения на ЛФЧЭ эквивалентно случаю, когда положения данных приборов совпадают в плоскости проецирования.

Смещение одной из ЛФЧЭ относительно другой вдоль оси х на величину й, равную половине линейного размера I фоточувствительного элемента (рис. 5) позволяет сформировать систему, удовлетворяющую требованиям МСС.

Systems of Control, Communication and Security

sccs.intelgr.com

Рис. 5. Взаимное смещение линеек ФЧЭ

Расчет совокупности значений {и} - величин, соответствующих интегральной яркости последовательности виртуальных ФЧЭ выполняется с помощью системы уравнений (3). В качестве коэффициентов уравнений используются значения исходных сигналов к исх и и исх построенной системы ЛФЧЭ. Под исходными понимаются значения сигналов, снятые с выходов матриц в исходном состоянии, когда ошибка Дй отсутствует.

м1исх = Х; и2 исх = £1исх — Х;

М3исх = üincx kincx + •

= -ü1ncx + (kincx + k2ncx ) = (U1исх + U2исх ) - (^1исх + k2ncx ) + •

= - (U1исх + ü2ncx ) + (kincx + k2ncx + k3ncx ) •;

Пусть теперь величина й имеет погрешность Дй и отсчитывается относительно матрицы и. Смещенной будем считать МФЧЭ К. В этом случае в системе (3) измеренные значения и являются исходными, а измеренные значения к] отличаются от исходных на величину Д£ = /(Дd, I), где I - яркость светового потока, приходящаяся на Д£г. Т. е. можно записать выражение £ = + Д£ Соответственно, £ = к -Дк. +Д£ , и система (3) имеет

I I исх I 1+1 & исх 111+1 ^ &

u=•+Ak1Hcx;

u2 = k1Hcx +М2исх -ui;

u3 = ü1HCX -klHcx -М2исх + ui;

- -ü1hcx +(klHcx + *2исх) +М3исх -^ : (ü1hcx +ü2hcx

) + М4исх -ui;

Системы управления,связи и безопасности №1. 2018

Systems of Control, Communication and Security sccs.intelgr.com

После подстановки к исх в систему (4), в уравнениях системы появляется дополнительные элементы ±Ак/ + 2Акл или +( А/с/ — 2АХ:,) , определяющих величину абсолютной погрешности или отличия , и и и+1. Для четных значений г значение погрешности берется со знаком «-», для нечетных - со знаком «+». Т. е. наличие ошибки Ай приводит к перераспределению яркости между элементами изображения. Данное перераспределение носит периодический характер: чередуются элементы, яркость которых возрастает относительной яркости соответствующих элементов исходного изображения и элементы, яркость которых уменьшается. Величина изменения определяется взаимным соотношением величин Лк и Ак. На рис. 6. приведен пример такой трансформации для случая, когда Лк = Лк, т.е. исходное изображение является равномерно освещенным фоном (цифры внизу рисунка - порядковые номера элементов в последовательности).

Рис. 6. Перераспределение яркости в линейке ФЧЭ

Система (3) в данном случае отличается от системы (4) наличием одинаковых по модулю значений ошибок Лк , знаки которых чередуются от элемента к элементу. Соответственно, после обработки, равномерный фон трансформируется в изображение, состоящее из двух чередующихся последовательностей разной яркости. С ростом величины ошибок контраст между последовательностями увеличивается (рис. 6, б).

Подобным образом ведет себя и двумерное изображение, синтезированное с помощью МСС. Это подтверждают результаты моделирования, приведенные ниже.

Целью моделирования являлась количественная оценка степени влияния Ай на качество синтезируемого изображения. При этом задавались следующие условия эксперимента:

а) взаимное расположение рабочих МФЧЭ (на рис. 7 они обозначены как О, В, Ж и Я) удовлетворяет требованиям МСС;

б) ошибки смещения Айу рассматриваются только для пар матриц Я-В, В—О, Ж-О, Я-Ж и только в направлениях, указанных на рисунке стрелками.

Системы управления,связи и безопасности №1. 2018

Systems of Control, Communication and Security sccs.intelgr.com

G -1 - В

Рис. 7. Взаимное расположение рабочих МФЧЭ

В качестве исходного, «аналогового», проецируемого на вход оптической системы, было выбрано изображение размерностью 1600x1600 точек, информация о яркости которых сохранялась в виде массива М1такой же размерности (рис. 2, а). Размерность рабочих МФЧЭ задавалась размерностью 100x100 элементов. Выходные сигналы ФЧЭ формировались модернизацией, разбиением и усреднением данных массива М1. Под модернизацией понималось создание на основе М1 четырех массивом М1_1, М1_2, М1_3, М1_4 такой же размерности. При этом массив М1_1, соответствующий матрице Я, полностью совпадал с М1, а в остальных данные из М1 без изменений сдвигались на й=8 позиций, в каждом случае - в своем направлении. В массиве М1 _2 - матрица Ж - данные сдвигались вправо, в массиве М1_3 - матрица В - вниз, в массиве М1_4 - матрица О - вправо и вниз. При этом в освободившиеся позиции заносились значения «0». Все полученные массивы разбивались на совокупность ячеек размерностью 16x16 и для каждой ячейки вычислялось среднее значение для входивших в нее элементов. Таким образом, из массива М1 размерностью 1600x1600 формировались массивы М1_1_1, М1_1_2, М1_1_3 и М1_1_4, размерностью 100x100, имитирующие выходные сигналы рабочих МФЧЭ (рис. 2, б). Далее, на основе имеющихся данных, решалась задача синтеза нового изображения в соответствии с алгоритмом МСС. Размерность нового изображения составляла уже 200x200 элементов, а разрешение - в двое больше, чем разрешения исходных цифровых (рис. 2, в).

Ошибки смещения Айв-о, о, Ай^Ай^в вносились в модель изменением величины смещения й при формировании массивов М1_1, М1_2, М1_3 и М1_4. Визуально влияние таких ошибок проявляется в виде искажений, появлявшихся на синтезируемом изображении (рис. 8).

Системы управления,связи и безопасности №1. 2018

Systems of Control, Communication and Security sccs.intelgr.com

Рис. 8. Искажение синтезируемого изображения под влиянием погрешностей взаимного расположения исходных МЧЭ

С ростом величин ошибок степень деформации изображения возрастает. При этом подтверждается предсказанное выше свойство такого искажения: происходит перераспределение яркости между соседними элементами изображения, носящее циклический характер.

Выводы

Результаты математических расчетов и моделирования показали, что погрешности во взаимном расположении чувствительных матриц цифровых фото-и видеосистем, реализующих МСС, оказывают существенное влияние на качество формируемых изображений. Наличие таких погрешностей приводит к циклическому перераспределению значений яркости между соседними ФЧЭ в синтезируемом изображении, увеличивая яркость одних и уменьшая - других, относительно истинных значений.

Данный вопрос требует дополнительного изучения, а результаты исследований должны учитываться при разработке, конструировании и изготовлении аппаратуры видеоконтроля, видеонаблюдения и других оптико-электронных систем, связанных с получением и обработкой изображений. Необходимы специальные меры по устранению или снижению степени влияния ошибок смещения, такие как дополнительный метрологический и допусковый контроль при изготовлении аппаратуры, а также модернизация алгоритмов МСС таким образом, чтобы они учитывали возможное наличие ошибок с последующей их компенсацию.

Литература

Системы управления,связи и безопасности №1. 2018

Systems of Control, Communication and Security sccs.intelgr.com

References

Информация об авторах

Артюшкин Андрей Борисович - кандидат технических наук. Военно-космическая академия имени А.Ф. Можайского. Область научных интересов: обработка изображений, моделирование радиотехнических систем.

Матасов Юрий Федорович - кандидат технических наук. Военно-космическая академия имени А.Ф. Можайского. Область научных интересов: мониторинг информационных ресурсов; сбор и обработка информации.

Пантенков Александр Павлович. Военно-космическая академия имени А.Ф. Можайского. Область научных интересов: цифровая обработка сигналов, системы связи.

Адрес: 197198, Россия, г. Санкт-Петербург, ул. Ждановская, д. 13.

Системы управления,связи и безопасности №1. 2018

Systems of Control, Communication and Security sccs.intelgr.com

Quality of synthesized images taking into account a accuracy of mutual arrangement of photomatrix in a sub-pixel scanning device

A. B. Artjushkin, J. F. Matasov, A. P. Pantenkov

Actuality. Electronic optical equipment has insufficient capability. Therefore, the increase in such capability as optical resolution is an actual topic of research. The methods of increasing the resolution of optical equipment are based on the use of several photomatrix, so the accuracy of the mutual arrangement of photomatrix requires an increase. The aim of the article is to study the influence of accuracy of the mutual arrangement of photomatrix on quality of synthesized images, taking into account the methods of sub-pixel scanning. Result. The solution of the problem is based on model of image synthesis. The input parameter of the model is the accuracy of the mutual arrangement ofphotomatrix, and output parameter is the image as a result of synthesis process. Quality of image is assessed in a visual way. Mathematical expressions that take into account the accuracy of the mutual arrangement of photomatrix for two-dimensional images are the novelty of the article. Practical significance. The model, which is obtained in the article, allows substantiating the ways to improve the quality of images for optical equipment, which depend on the accuracy of the mutual arrangement of photomatrix.

Information about Authors

Andrej Borisovich Artjushkin - Ph.D. of Engineering Sciences. Mozhaysky Military Space Academy. Field of research: image processing, models of the radiotechnical communication components.

Jurii Feodorovich Matasov - Ph.D. of Engineering Sciences. Mozhaysky Military Space Academy. Field of research: information monitoring; data acquisition.

Aleksandr Pavlovich Pantenkov. Mozhaysky Military Space Academy. Field of research: digital signal processing, communication systems.

Address: Russia, 197198, Saint Petersburg, Zjdanovskaya ulica, 13.