Обнаружение и реконструкция дефектов на фотографиях на основе локальных бинарных шаблонов

Статья опубликована в журнале «Научно-технический вестник Поволжья» №6 2014

Сизякин Р.А.^а, Воронин В.В.^а, Марчук В.И.^а, Ибадов С.Р.^а, Ибадов Р.Р.^а, Свирин И.С.^б

^аФедеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Донской государственный технический университет»,
^бЗАО «Нордавинд»

ОБНАРУЖЕНИЕ И РЕКОНСТРУКЦИЯ ДЕФЕКТОВ НА ФОТОГРАФИЯХ НА ОСНОВЕ ЛОКАЛЬНЫХ БИНАРНЫХ ШАБЛОНОВ

В статье рассмотрен метод детектирования искажений на архивных фотодокументах с помощью текстурного анализа на основе локальных бинарных окрестностей. Предлагаемый подход состоит из следующих этапов: предварительная обработка, обнаружение  царапин и их реконструкция. Предварительная обработка используется для уменьшения влияния шума и небольших дефектов на изображении. Для распознавания класса дефектов используется метод опорных векторов. Показана эффективность нового подхода на нескольких примерах при обнаружении дефектов.

Ключевые слова: реконструкция, локальные бинарные шаблоны, обнаружение дефектов, изображения.

Sizyakin R.А., Voronin V.V., Marchuk V.I., Ibadov S.R., Ibadov R.R., Svirin I.S.

DEFECT DETECTION AND PHOTOGRAPH RECONSTRUCTION BASED ON LOCAL BINARY PATTERNS

The paper presents a method of detecting distortions on archival photo documents using texture analysis based on local binary patterns. The proposed approach consists of the following steps: filtering and defects detection. Filtering is used to reduce the effects of noise and small defects in the image. To recognize the class of defects using a support vector machine. The effectiveness of the new approach with several examples defect detection.

Keywords: reconstruction, local binary patterns, defect detection, image.

В настоящее время в домашних коллекциях имеется большое количество архивных фотографий и фото документов. Большинство из этих документов существуют только в единственном экземпляре. На некоторых из них могут присутствовать дефекты в результате неправильного хранения или физического повреждения (трещины, пятна, царапины и т.д.). Путем оцифровывания данных изображений можно не только надежно сохранить, но и улучшить их визуальное качество с использованием передовых технологий обработки изображений.

Решение задачи автоматического распознавания дефектов на изображениях имеет широкое применение на практике. Автоматическое обнаружение встречается в задаче поиска дефектов на дорожном покрытии, в текстильной промышленности, а также виртуальной реставрации архивных фото изображений.

Цифровое восстановление поврежденных фотографий состоит из этапа обнаружения повреждений и их устранения. В большинстве случаев этот процесс осуществляется  путем ручной обработки, который требует определенных навыков и времени [1]. Существует также полуавтоматический способ удаления дефектов [2], при этом для восстановления поврежденного изображения пользователю необходимо выделить предполагаемые дефекты для последующей реконструкции в автоматическом режиме [3].

Целью данной работы является уменьшение погрешности восстановления изображений на основе обнаружения и реконструкции дефектов на фотографиях.
Изображение рассматривается как упрощенная математическая модель, которая представляет собой двумерную дискретную последовательность  вида:

где  - наблюдаемое изображение,  - оригинальное (неповрежденное) изображение,  бинарная маска дефектов, которая показывает, какой именно участок на изображении поврежден,  значения яркости дефектов.

На рисунке 1 приведена блок-схема предлагаемого алгоритма обнаружения дефектов на изображении в  автоматическом режиме. Алгоритм состоит из трех этапов: предварительная обработка, обнаружение дефектов с использованием локальных бинарных дескрипторов и их реконструкция.

Рис. 1 - Блок-схема предложенного алгоритма

Предварительная обработка является важным шагом при обнаружении дефектов, предназначенная для подавления шумовой составляющей, а также  устранения не больших дефектов. В данной работе используется алгоритм фильтрации BM3D [4].

Для обнаружения царапин используются локальные бинарные шаблоны (LBP) [5] в качестве текстурного дескриптора для локальных областей на изображении. С помощью метода опорных векторов (SVM), все фрагменты изображения классифицируются на два типа - область с дефектом и область без дефекта.

Оригинальный операор LBP рассчитывается путем сравнения каждого пикселя вокруг центрального пикселя  с центральным пикселем, принятым за пороговое значение, в локальной области размером 3 на 3 пикселя. В работе [5], предлагается модификация метода LBP, которая заключается в увеличении радиуса пикселей, которые сравниваются с центральным пикселем. Также выделены 9 однородных окрестностей, которые несут наибольшую информативность о текстурных особенностях изображения (рис.2), а также позволяют сократить количество мало информативных бинов. Каждая из 9 однородных окрестностей соответствуют своей текстурной особенности изображения, таких как ребра, углы и пятна.

Модифицированный LBP оператор может быть записан следующим образом:

где P число соседей; K радиус; U число переходов между 1 и 0; U_T пороговое значение на количество переходов.

Таким образом, формируется гистограмма для локальной области, представляющая собой дескриптор анализа локальных областей в изображение на наличие дефектов.

Рис. 2 – Построение гистограммы для однородного LBP

Для классификации и соотнесения каждого пикселя к классу дефектов или к классу объектов используется метод опорных векторов (SVM) в котором  выделяют два этапа: этап обучения и этап распознавания. На первом этапе из множества обучающих примеров отбираются опорные векторы, на основе которых строится разделяющая плоскость. Этап распознавания заключается в том, что на вход полученного классификатора подается пример , о классовой принадлежности которого ничего не известно. Классификатор позволяет определить к какому классу относится вектор.

Следует отметить, что метод SVM может применяться как для линейно разделимых образов, так и для линейно неразделимых. В данной работе для построения разделяющей гиперплоскости используется радиальная функция:

 при ,

где – текущий вектор, – центральный вектор, нормализующий параметр.

Для обучения SVM классификатора используются 500 изображений дефектов и 500 изображений без дефектов размером 20 на 20 пикселей.

Для реконструкции поврежденных областей предлагается использовать метод восстановления пикселей изображений,  разработанный в работе [6],  который основан на поиске похожих блоков и восстановлении структуры изображения.

На рисунках 3-4 представлены результаты обработки предложенным методом.

а)	б)	в)
Рис. 3 – Пример обработки тестового изображения
а)	б)	в)
Рис. 4 – Пример обработки тестового изображения

Приведенные экспериментальные результаты показывают, что наиболее явные царапины на изображении корректно обнаружены, даже при сложных структурных и текстурных особенностях изображений. Предварительная обработка шумоподавления помогает уменьшить шумовую составляющую, а также устранить небольшие дефекты.

В заключении можно сделать следующие выводы.

В работе представлен автоматизированный алгоритм выделения дефектов на основе модифицированного оператора локальных бинарных окрестностей. Для классификации дескрипторов и разделения на классы использован метод опорных векторов. Примеры, представленные в работе, демонстрируют эффективность алгоритма при обнаружении царапин на сложно текстурных изображениях.

Список литературы

1. Barni M., Bartolini F., Cappellini V. Image processing for virtual restoration of artworks. IEEE Multimedia, vol. 7, no. 2, pp. 34-37,  2000.
2. http://www.image-restore.co.uk/
3. Qingquan L.I., Xianglong LIU.  Novel Approach to Pavement Image Segmentation Based on Neighboring Difference Histogram Method.  Congress on Image and Signal Processing, pp. 78-85, 2008.
4. Dabov K., Foi A., Katkovnik V., Egiazarian K. Image denoising by sparse 3-D transform-domain collaborative filtering. Image Processing, IEEE Transactions on 16 (8), pp. 2080-2095, 2007.
5. Ojala T., Pietikaeinen M., Maenpaa T. Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns. IEEE Transactions on pattern analysis and machine intelligence, vol. 24, no. 7, 2002.
6. Воронин В.В., Марчук В.И., Гапон Н.В., Сизякин Р.А. Использование метода реконструкции двумерных сигналов при восстановлении архивных фотографий// Успехи современной радиоэлектроники. Зарубежная радиоэлектроника, № 9, С. 16-20, 2011.