Восстановление карты глубины на основе комбинированной обработки многоканального изображения

Статья опубликована в журнале «Современные проблемы науки и образования» №6 2014

УДК 615.035.4

ВОССТАНОВЛЕНИЕ КАРТЫ ГЛУБИНЫ НА ОСНОВЕ КОМБИНИРОВАННОЙ ОБРАБОТКИ МНОГОКАНАЛЬНОГО ИЗОБРАЖЕНИЯ

Воронин В.В.¹, Фисунов А.В.¹, Марчук В.И.¹, Свирин И.С.², Петров С.П.³

¹ФГБОУ ВПО «Донской государственный технический университет», Ротов-на-Дону, Россия (344010, Ростов-на-Дону, пл. Гагарина, 1)
²ЗАО «Нордавинд», Москва, Россия
³ООО «Нордавинд-Дубна», Дубна, Россия

В настоящее время RGB-D сенсоры получили широкое распространение. Оценка расстояния до различных точек сцены производится с помощью измерения относительного смещения точек, проецируемых проектором с инфракрасной камерой. В ряде случаев спроецированные точки могут быть не найдены, что приводит к появлению дефектов - это могут быть потерянные и искаженные значения глубины, случайный шум, неравномерные края и поверхности объектов, а так же неверно измеренные значения глубины для некоторых материалов с зеркальными или мелкозернистыми поверхностями. В данной статье предлагается алгоритм, который позволяет восстанавливать поврежденные участки на карте глубины, с последующей корректировкой искажений на границах объектов. Это достигается за счет использования методов реконструкции и адаптивной медианной фильтрации, основанных на совмещении информации канала цветности и глубины. Для корректировки артефактов на исходном изображении, предлагается использовать адаптивный медианный фильтр, который принимает во внимание не только информацию о глубине сцены, но и информацию с цветной камеры устройства Kinect. В данном методе используется LPA-ICI метод, который позволяет формировать блоки медианного фильтра, форма которых чувствительна к перепадам яркости на изображении. В статье рассмотрено несколько примеров, которые позволяют сделать вывод об эффективности предложенного подхода для восстановления больших и малых областей на тестовых изображениях карт глубин.

Ключевые слова: обработка изображений, реконструкция, карта глубины, Kinect, фильтрация.

DEPTH MAPS RECOVERY USING A COMBINATION OF MULTICHANNEL IMAGE PROCESSING

Voronin V.V.¹, Fisunov A.V.¹, Marchuk V.I.¹, Svirin I.S.², Petrov S.P.³

¹Don State Technical University, Rostov-on-Don, Russia (344010, Rostov-on-Don, sq. Gagarina, 1)
²CJSC «Nordavind», Moscow, Russia
³LLS « Nordavind-Dubna», Dubna, Russia

RGB-D sensors are relatively inexpensive and are commercially available off-the-shelf. However, owing to their low complexity, there are several artifacts that one encounters in the depth map like holes, miss-alignment between the depth and color image and lack of sharp object boundaries in the depth map. Depth map generated by Kinect cameras also contain a significant amount of missing pixels and strong noise, limiting their usability in many computer vision applications. In this paper we present an efficient hole filling and damaged region restoration method that improves the quality of the depth maps obtained with the Microsoft Kinect device. The proposed approach based on a modified exemplar-based inpainting and LPA-ICI filtering by exploiting the correlation between color and depth values in local image neighborhoods. The edges of the objects are sharpened and aligned with the objects in the color image using such approach. Several examples considered in this paper show the effectiveness of the proposed approach for large holes removal as well as recovery of small regions on several test images of depth maps.

Keywords: image processing, reconstruction, depth map, Kinect, filtering.

Введение

Карта глубины представляет собой двумерное одноканальное изображение, содержащее информацию о расстоянии от плоскости сенсора до объектов сцены. Она создается с помощью активных 3D сканеров, например, системой MicrosoftKinect®, которая состоит из инфракрасного проектора, RGB камеры и датчика глубины. Оценка расстояния до различных точек сцены производится с помощью измерения относительного смещения точек, проецируемых проектором на изображении с инфракрасной камеры [1]. В ряде случаев спроецированные точки могут быть не найдены, что приводит к появлению дефектов - это могут быть потерянные и искаженные значения глубины, случайный шум, неравномерные края и поверхности объектов, а так же неверно измеренные значения глубины для некоторых материалов с зеркальными или мелкозернистыми поверхностями [2].

Примеры дефектов представлены на рисунке 1.

Рисунок 1. Примеры дефектов на карте глубины.

Существует множество методов заполнения областей карты глубины, которые основаны на алгоритмах реконструкции изображений.

Первая группа включает в себя методы, основанные на решении дифференциальных уравнений в частных производных (PDE) [3]. Основным недостатком таких подходов является появление размытия резких перепадов яркости на изображении, поэтому они применяются в основном только для восстановления царапин или маленьких участков на изображениях.

Вторая группа использует обработку в частотной области [4]. Методы основаны на ортогональной трансформации и требуют априорной информации для выбора параметров, ортогонального базиса и размера блоков спектрального представления. Следует заметить, что при восстановлении больших участков изображения также наблюдается заметное размытие линейных структур и резких перепадов яркости. А большое количество итераций приводит к значительным вычислительным требованиям.

Методы, основанные на синтезе текстуры (данный подход впервые предложил Criminisi) позволяют восстанавливать изображение путем поиска похожих блоков на исходном изображении и копировании их в поврежденные участки [5]. Данная группа методов хорошо восстанавливает линейные участки и не приводит к размытию, однако не подходит для восстановления криволинейных участков.

Основными недостатками известных методов восстановления, при реконструкции карты глубины, являются размытие резких перепадов яркости, линейных структур, неспособность восстановления больших участков без искажений.

Целью  работы является разработка алгоритма, восстанавливающего потерянные области карты глубины, подавляющего шум и улучшающего границы объектов, что необходимо для повышения качества информации о расстоянии от объектов сцены до камеры сенсора.

1. Математическая модель

Карта глубины представляет собой двухмерный массив размером N строк и M столбцов  , ей соответствует цветной канал .

На рисунке 2 показана модель изображения карты глубины, где  восстанавливаемый регион с границей ;  - доступные значения пикселей; пиксель  - точка с наибольшим приоритетом  на границе  и окрестностью .

Рисунок 2. Математическая модель карты глубины.

2. Предлагаемый алгоритм

В данной статье предложен алгоритм, который позволяет восстанавливать поврежденные участки на карте глубины, с последующей корректировкой искажений на границах объектов. Это достигается за счет использования методов реконструкции и адаптивной медианной фильтрации, основанных на совмещении информации канала цветности и глубины.

Использование оригинального метода текстурного анализа [5] для восстановления поврежденных участков карты глубины может приводить к артефактам и ошибкам на границах объектов, что связано с низким разрешением исходного изображения. В предлагаемом методе в расчет берется также информация, получаемая с RGB камеры устройства Kinect, что позволяет более точно реконструировать линейные структуры на изображении [6].

Для корректировки артефактов на исходном изображении, предлагается использовать адаптивный медианный фильтр, который принимает во внимание не только информацию о глубине сцены, но и информацию с цветной камеры устройства Kinect. В данном методе используется LPA-ICI метод, который позволяет формировать блоки медианного фильтра, форма которых чувствительна к перепадам яркости на изображении [7]. В результате маска фильтра формируется по цветному изображению, а сама фильтрация применяется на карте глубины.

Эти два шага, учитывающие корреляцию между цветным снимком и картой глубины, позволяют значительно улучшить качество реконструкции.

Предлагаемый агоритм состоит из следующих этапов:

1. На вход поступает RGB изображение и карта глубины сцены;
2. Обнаружение поврежденных участков происходит с помощью порогового обнаружения и получение маски поврежденных участков;
3. Реконструкция поврежденных областей методом синтеза текстур [5];
4. Фильтрация изображения глубины методом поточечной адаптивной медианной фильтрации с использованием информации о цвете и глубине;
5. Запись результата восстановления.

Для обнаружения поврежденных областей используется априорная информация о том, что на карте глубины дефекты находятся в диапазоне черного цвета. Таким образом, происходит пороговое обнаружение, при этом остаются только те области, которые необходимо восстановить (рис. 3а).

Для реконструкции карты глубины, на первом шаге в окрестности точки  определяется область с максимальным приоритетом . После чего в области исходного изображения  производится поиск наиболее похожего блока , для которого евклидова метрика минимальна и изображение в блоке  восстанавливается путем копирования информации из (рис. 3б).

(а)	(б)	(в)

Рисунок 3. Поиск похожих блоков и восстановление части изображения.

Процесс восстановления начинается с границ целевой области , а порядок определяется величиной приоритета каждой области . Значение приоритета  рассчитывается для всех пикселей границы целевой области, и зависит от двух множителей (рис. 3в):

,
,

где  - точка на границе исходное изображение/поврежденная область;
 - значение достоверности;
 - величина градиента;
 - блок с центром в точке ;
- количество известных пикселей в блоке ;
 - вектор, перпендикулярный градиенту в точке ;
 - вектор, перпендикулярный границе  в точке ;
 - фактор нормировки ( стандартного изображения с градациями серого)).
Значение достоверности С для пикселей исходного изображения Ф равно 1, для искаженной области  равно 0.

Коэффициент  позволяет корректировать влияние цветного изображения на процесс реконструкции карты высот. Более высокое значение  означает меньшее влияние линейных структур на «сырой» карте глубины. Для 24-битного изображения  рассчитывается следующим образом:

.

Данное выражение показывает, что наибольший приоритет имеют пикселя находящиеся на границах объектов, в областях с резкими перепадами яркости и более близкие к области . Это приводит к тому, что в первую очередь восстанавливаются участки, включающие в себя линейные структуры, что исключает размытие изображения.

После нахождения области  с наибольшим приоритетом, производится поиск наиболее похожего блока  на исходном изображении Ф:

,

где  сумма квадратов разности между яркостью пикселей области  и .

На следующем шаге данные достоверности  в блоке , пересчитываются в соответствии со следующим выражением:

.

Данный алгоритм итеративно выполняется до тех пор пока .
В качестве метода снижающего уровень шума и повышающего качество изображения глубины, используется поточечная адаптивная медианная фильтрация на основе ЛПА (локально-полиномиальная аппроксимация) [4].

Предлагается модификация данного подхода, которая заключается в том, что расчет ЛПА оценок, определение адаптивного размера ЛПА-окна по правилу пересечения доверительных интервалов (правило ICI) и их объединение в адаптивную комбинацию окон происходит для каждого пикселя цветного изображения. А подавление шума происходит с помощью медианной фильтрации для карты глубины. В результате, происходит выравнивание границ и ослабление шума объектов карты глубины, с помощью информации о краях, извлеченной из цветного изображения.

Адаптивный размер окна определяется как наибольшее из окон в сетке, при котором оценка изображения существенно не отличается от соответствующих оценок при меньших размерах окон. Эти оценки сравниваются по правилу ICI, которое позволяет адаптивно выбирать размер окна и осуществлять пространственную адаптацию, что позволяет описать особенности изображения и сохранить детали, такие как границы объектов.

На рисунке 4 показан принцип использования информации о цвете при построении маски для адаптивного фильтра карты высот. Как видно из рисунка, границы объектов на цветном изображении (рис. 4а) значительно более четкие и содержат меньше искажений, чем на карте глубины (рис. 4б).

(а)	(б)

                             
Рисунок 4. Адаптивная медианная фильтрация с использованием LPA-ICI метода.

После того, как получены все отдельные адаптивные окна по отношению одного пикселя x, они объединяются все в одно комбинированное адаптивное окно. Расчеты повторяются для каждого пикселя. Далее выполняется медианная фильтрация в каждой адаптивной анизотропной области.

3. Результаты

Для демонстрации эффективности предлагаемого решения представлен пример реконструкции карты глубины (рис. 5) предлагаемым методом (рис. 5д) в сравнении с  методами «сглаживания» [8] (рис. 5в) и методом синтеза текстуры [5] (рис. 5г). Тестовые изображения и карты глубины взяты из базы данных B3DO: Berkeley 3-D Object Dataset.

Анализ результатов обработки показывает, что контуры объектов выровнены, объекты переднего и заднего фона имеют точные очертания, без шумов, что говорит о качественном восстановлении дефектных областей карты глубины.

(а)	(б)

(в)	(г)	(д)

Рисунок 5. Сравнение методов восстановления.

5. ЗАКЛЮЧЕНИЕ

• Предложен алгоритм предобработки изображений карты глубины с целью обнаружения и восстановления потерянных значений пикселей.
• Эффективность алгоритма представлена на примере обработки тестовых изображений полученных сенсором Kinect.

Список литературы

1. Shotton J., Fitzgibbon A., Cook M., Sharp T., Finocchio M., Moore R., Kipman A., and Blake A. Real-time human pose recognition in parts from a single depth image/ in CVPR. — 2011. — PP. 1297–1304.
2. Lai K., Bo L., Ren X., and Fox D. A large-scale hierarchical multi-view rgb-d object dataset/ in ICRA. — 2011. — PP. 1817–1824.
3. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, fluid dynamics, and image and video inpainting/ Hawaii: Proc. IEEE Computer Vision and Pattern Recognition (CVPR) . — 2001. — PP. 213-226.
4. Guleryuz O.G. Nonlinear approximation based image recovery using adaptive sparse reconstructions and iterated denoising/ Part I: theory IEEE transactions on image processing. — 2006. Vol. 15(3).
5. Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting/ IEEE Trans. Image Process. — 2004. Vol. 13(9). — PP. 28-34.
6. Voronin V.V., Marchuk V.I., and Egiazarian K.O. Images reconstruction using modified exemplar based method/ in SPIE Electronic Imaging. — 2011. Vol. 7870.
7. Katkovnik V., Egiazarian K., Astola J. Local Approximation techniques in signal and image processing. Bellingham, Washington. — 2006. — PP. 553.
8. Tschumperle D., Deriche R. Vector-valued image regularization with PDE’s: A common framework for different applications/ IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 27(4). — 2005. — PP. 506–517.

Рецензенты:

Федосов Валентин Петрович, д.т.н., профессор, заведующий кафедрой ТОР инженерно-технологической академии Южного Федерального Университета, Ростов-на-Дону.

Безуглов Дмитрий Анатольевич, д.т.н., профессор, заведующий кафедрой «Кибербезопсность информационных систем», Донской государственный технический университет, Ростов-на-Дону.