Интеллектуальная обработка двумерных сигналов при анализе панорамных изображений

Статья опубликована в журнале «International Scientific Journal Theoretical & Applied Science» №11(19) 2014

SECTION 26. Radio-technique. Electronics. Telecommunications.

V.V. Voronin¹, N.V.  Gapon¹, I.S. Svirin², E.V. Epishina³, S.V. Rostovikov^4
1Don State Technical University
²CJSC «Nordavind»
³LLC Scientific Enterprise «Tsezis»
⁴LLC Nordavind-Dubna

SMART PROCESSING OF 2D SIGNAL IN THE ANALYSIS OF PANORAMIC IMAGES

This paper focuses on novel image inpainting method based on modified exemplar-based technique. The basic idea is to find an example (patch) from an image using local binary patterns, and replacing non-existed (‘lost’) data with it. In particular, we show how to apply this strategy for image extrapolation for photo stitching. Several examples considered in this paper show the effectiveness of the proposed approach on several test images.

ИНТЕЛЛЕКТУАЛЬНАЯ ОБРАБОТКА ДВУМЕРНЫХ СИГНАЛОВ ПРИ АНАЛИЗЕ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

В данной статье предлагается новый способ реконструкции двумерных сигналов на основе модифицированного способа синтеза текстур. Представлены результаты исследований при  экстраполяции панорамных изображений, которые показывают эффективность предлагаемого подхода на нескольких тестовых изображениях.

При обработке и анализе изображений возникает задача автоматизированного восстановления областей с искаженными пикселями. Реконструкция находит свое приложение  во многих областях обработки изображений, таких как ретуширование, восстановление фотографий, кодирование, компьютерное зрение и т.д. Большинство методов реконструкции изображений можно условно разделить на следующие группы: методы на основе решения дифференциальных уравнений в частных производных (PDE) [1, с 213–226;  2, с 577–685]; методы на основе ортогональных преобразований [3, с1509–1519; 4, с 845–854]; методы на основе синтеза текстуры [5, с 28–34; 6 с 376-380].

К главному недостатку известных методов относится неспособность восстанавливать изогнутые контуры, что существенно ограничивает область использования данных методов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Так же следует отметить, что известные методы приводят к размытию текстуры и структуры при восстановлении больших областей с искаженными значениями пикселей. Другой важной проблемой является минимизация вычислительных затрат с возможностью реализации алгоритмов реконструкции на современных мобильных платформах.

Целью данной работы является уменьшение погрешности реконструкции изображений на основе алгоритма интерполяции границ кубическими сплайнами при восстановлении изображений.
Алгоритм разработанного метода реконструкции изображений представлен на рисунке 1 и состоит из следующих этапов:

1. Выделение текстурных характеристик.

Для вычисления энергетических характеристик Лавса используется 9 масок размером 5 на 5 на основе произведения векторов, которые описывают разные типы текстур.

2. Кластеризация и классификация областей на текстуру и однородность.

Результирующий вектор содержит информацию о текстурных характеристиках и состоит из 9 текстурных атрибутов, которые позволяют определить соответствие между различными областями и их тип.

3. Восстановление границ с помощью сплайн интерполяции.

Участки границ каждой из полученных областей интерполируются сплайнами с помощью кубической кривой Эрмита [7, с 376-380].

4. Выбор пикселя для восстановления с помощью метода быстрого марша.

Для выбора пикселя в области для восстановления используется метод обхода быстрый марш, который позволяет выбирать пиксель расположенный максимально близко к первоначальной границе [8, с 46-48].

5. Получение хеш структуры.

В предлагаемом методе для быстрого поиска похожих блоков используется вычисление перцептивного хеша. Такой подход позволяет получить структуру, которая содержит хеш всех блоков изображения.

6. Восстановление текстуры на основе модифицированного метода поиска самоподобных блоков.

При восстановлении текстуры используется подход на основе синтеза текстуры с поиском похожих блоков. Предлагается осуществлять поиск похожих блоков на основе получения хеш структуры для всех блоков изображения для уменьшения вычислительных затрат [9].

7. Восстановение однородных областей на основе метода Телеа.

Для восстановления однородных областей используется метод Телеа, который основан на локальной обработке и использует взвешенное среднее значений пикселей в некоторой области [10].

Рисунок 1 – Алгоритм реконструкции изображений

Реконструкции изображений применима при решении различных задач восстановления изображений. Одна из таких задач – интерполяция панорамных изображений и заполнение отсутствующих областей при склейке нескольких снимков с разного ракурса. На рисунках 2-3 представлены примеры экстраполяции изображений для нескольких панорам (а - оригинальное изображение с отсутствующими пикселями, б - изображение, восстановленное в Adobe Photoshop CS5, в – изображение, восстановленное с помощью предложенного метода).

Анализ результатов позволяет сделать вывод, что предлагаемый способ позволяет более правильно восстанавливать структуру и текстуру изображений. Отметим, что на изображении, обработанном в Photoshop, присутствуют размытия и темные участки на углах изображения. Результат на рисунке 3б также содержит неправильную реконструкцию текстуры участков неба.

a)

б)

в)

Рисунок 2 – Пример восстановления панорамы

a)

б)

в)

Рисунок 3 – Пример восстановления панорамы

В заключении можно сделать следующие выводы.

Предлагается алгоритм  построения составной кривой с помощью кубических сплайнов при восстановлении границ объектов на изображении, который позволяет уменьшить погрешность реконструкции изображений. Предлагаемый метод позволяет эффективно восстанавливать текстуру и однородные области за счет раздельной обработки. Предлагается использовать вычисление перцептивного хеша при поиске  похожих блоков, что позволяет уменьшить вычислительные затраты. Представлено несколько результатов обработки панорамных изображений при решении задачи экстраполяции отсутствующих пикселей.

Список литературы

1. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, fluid dynamics, and image and video inpainting/ Hawaii: Proc. IEEE Computer Vision and Pattern Recognition (CVPR), 213–226, 2001.
2. Mumford D., Shah J. Optimal approximations by piecewise smooth functions and associated variational problems/ Commun. PureAppl. Math. 42, 577–685, 1989.
3. Kokaram A.C., Morris R.D., Fitzgerald W.J., Rayner P.J. Interpolation of missing data in image sequences/ IEEE Trans. Image Process 4(11), 1509–1519, 1995.
4. Park J.W.,  Kim J.W., Lee S.U. DCT coefficients recovery-based error concealment technique and its application to the MPEG-2 bit stream error/  IEEE Trans. Circuits Syst. Video Technol 7(6), 845–854, 1997.
5. Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting/ IEEE Trans. Image Process 13(9), 28–34, 2004.
6. Laws K. Rapid texture identification. In SPIE Vol. 238 Image Processing for Missile Guidance, pages 376-380, 1980.
7. David F. Rogers, J. Alan Adams. Mathematical elements for computer graphics/ McGraw-Hill Publishing Company, pp. 555, 2001.
8. Sethian J.A. Level Set Methods and Fast Marching Methods, Second edition/ Cambridge, UK: Cambridge Univ. Press, 1999.
9. V.V. Voronin, V. I. Marchuk, N.V. Gapon. R.A. Sizyakin, A.I. Sherstobitov, K. O. Egiazarian. Exemplar-based inpainting using local binary patterns. Proc. SPIE 9019, Image Processing: Algorithms and Systems XII, 901907 (February 25, 2014); doi:10.1117/12.2038556.
10. V.V. Voronin, V.I. Marchuk, A.I. Sherstobitov, E. A. Semenischev,  S. Agaian, K. Egiazarian. Image extrapolation for photo stitching using nonlocal patch-based inpainting. Proc. SPIE 9120, Mobile Multimedia/Image Processing, Security, and Applications 2014, 91200W (May 22, 2014); doi:10.1117/12.2063667.

Работа поддержана Минобрнауки России в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы» (госконтракт № 14.576.21.0080).