Исследование эффективности методов совмещения спутниковых снимков при построении карт местности

Она отражает наибольшее значение вариаций в данных, которые еще не охвачены первой главной компонентой. Каждая последующая главная компонента является одним из поперечных сечений эллипсоида рассеяния, ортогональным к предыдущим сечениям (компонентам), и характеризует снижающее значение вариаций в данных, еще не учтенных предыдущими главными компонентами. Поэтому первые из них отражают наибольшую информацию, содержащуюся в преобразованном мультиспектральном изображении.
После применения метода главных компонент, количество каналов остается неизменным в связи с тем, что поворот осей не изменяет размерности пространства. Однако, несколько новых первых каналов учитывают разброс данных и можно пренебречь данными других каналов без потери полезной информации. Таким образом, метод главных компонент может заметно уменьшать объем данных.

Преобразование интенсивность-оттенок-насыщенность. В этом методе цветное изображение из RGB трансформируется в три отдельных изображения, при этом каждое из них обладает максимальными значениями характеристик интенсивности, насыщенности и оттенков.
Так как изображение с максимальной интенсивностью будет похоже на панхроматическое, при совмещении оно заменяется на панхроматическое с высоким разрешением. Далее происходит обратное преобразование панхроматического изображения, совместно с изображениями с максимальными значениями характеристик (интенсивности, насыщенности и оттенков) и в результате получают RGB изображение.

Аддитивное и мультипликативное совмещение
Для совмещения изображений используются различные методы, основанные на аддитивных и мультипликативных преобразованиях:
Модуляция интенсивности;
Преобразование Брови;
Расчет комплексного переменного коэффициента;
Расчет усовершенствованного коэффициента и др.
Одним из наиболее простых является метод модуляции интенсивности. В его основе лежит только визуальное восприятие и физические свойства полученного изображения не учитываются. Метод заключается в умножении панхроматического изображения на мультиспектральное изображение с низким разрешением, нахождении среднего геометрического и подборе масштабирующих коэффициентов.
Преобразование Брови заключается в том, что каждый диапазон мультиспектрального изображения низкого разрешения умножают на диапазон панхроматического изображения с высоким разрешением, далее полученные произведения делятся на сумму диапазонов мультиспектрального снимка. Этот метод применяется для повышения визуального контраста, а значит, не подходит для сохранения высоких радиометрических характеристик исходного изображения.
Методы вычисления коэффициентов заключаются в еще более сложных вычислениях сумм диапазонов для получения изображения лучшего качества.

Совмещение на основе фильтрации
При использовании этого метода повышение разрешения осуществляется за счет переноса высокочастотных составляющих панхроматического изображения на мультиспектральное изображение

Совмещение на основе внутриполосных связей
Преобразование Грамма-Шмидта: получение ортогональных каналов из каналов с известной корреляцией.
Регрессивное совмещение – позволяет рассчитать параметры сдвига и масштабирующие коэффициенты вследствие высокой корреляции мультиспектральных и панхроматических изображений. Этот метод не может применяться для снимков в инфракрасном диапазоне в связи со слабой в этом случае корреляцией мультиспектрального и панхроматического изображений.

Совмещение на основе вейвлет-преобразования
Совмещение на основе вейвлет-преобразований происходит следующим образом: панхроматическое изображение высокого разрешения раскладывается на панхроматические изображения низкого разрешения и детализирующие коэффициенты. Затем панхроматическое изображение низкого разрешения заменяется мультиспектральным изображением с таким же разрешением. Выполняется обратное преобразование для перевода составных и замененных частей панхроматического изображения к исходному уровню разрешения панхроматического изображения. Замена и обратная трансформация проводятся три раза, по одному разу на одно мультиспектральное изображение. Таким образом, пространственные детали с высоким разрешением вводятся в каждый мультиспектральный диапазон посредством выполнения обратного вейвлет -преобразования для каждого диапазона совместно с соответствующими вейвлет-коэффициентами.
Самыми распространенными методами преобразования являются:
Преобразование интенсивность-оттенок-насыщенность;
Метод главных компенет;
Метод арифметической комбинации на основе преобразования Брови;
Преобразование Грамма-Шмидта;
Вейвлет-преобразование.
Все перечисленные методы позволяют успешно решать проблемы совмещения снимков, но все они в той или иной степени вносят искажения.
Наименьшие искажения обычно наблюдаются при использовании методов Брови. При решении дальнейших задач классификации эти методы не вносят дополнительных ошибок и позволяют получать изображения наиболее близкие к исходным.
При использовании методов Грамма-Шмидта и главных компонент, в некоторых случаях описаны различия в цвете для пикселей, которые до проведения обработки таким методом не различались.
Использование метода главных компонент часто приводят к получению изображений со слабыми цветами и изображения полученные этим методом несут значительно меньше цветовой информации по сравнению с исходными снимками. Это происходит потому, что главная компонента, обладающая наибольшей информацией, заменяется панхроматическим изображением и в результирующем изображении преобладают характеристики панхроматического снимка.

Алгоритмы совмещения изображений
Совмещение изображений является одной из важнейших задач в обработке спутниковых данных. При совмещении изображений происходит их пространственное выравнивание таким образом, что для каждой точки одного изображения ищется преобразование, которое приведет точку к соответствию на втором изображении.
Сегодня наиболее распространенными алгоритмами являются те, которые направлены на поиск параметров линейного преобразования (подобия и аффинного).
На каждом изображении выделяются ключевые точки: границы, контуры, линии и их пересечения, углы и т.п.) характерные для данного изображения. Параметры преобразования находятся на основе системы уравнений, которая строится после извлечения ключевых точек и нахождения соответствий между ними. Для поиска ключевых точек используются алгоритмы различные алгоритмы рассмотренные далее.

Дескриптор SIFT (Scale Invariant Feature Transform)
Работа алгоритма заключается в вычислении значения магнитуды и ориентации градиента в каждом пикселе, который относится к определенной точке размером 16×16 пикселей.
В каждом квадрате 4×4 пикселя вычисляется гистограмма ориентированных градиентов. Затем к одному из 8 битов гистограммы добавляется взвешенное значение магнитуды градиента. Для уменьшения граничных эффектов, связанных с отнесением похожих градиентов к разным квадратам применяется билинейная интерполяция: значение магнитуды градиента добавляется к гистограммам соответствующим соседним квадратам, при этом, она добавляется с весом, пропорциональным расстоянию от пикселя, в котором вычислен данный градиент, до центра соответствующего квадрата. Далее происходит объединение вычисленных гистограмм в один вектор.
Для того, чтобы уменьшить возможные эффекты от изменения освещенности, полученный дескриптор преобразуется путем изменения контраста изображения, что приводит к изменению в значениях магнитуд градиентов. Данный эффект нивелируется путем нормализации дескриптора таким образом, чтобы его длина равнялась единице. При изменении яркости изображения значения магнитуд градиентов не изменяются. Таким образом, SIFT-дескриптор является инвариантным по отношению к аффинным изменениям освещенности. Однако, вследствие, например, различной ориентации источника света по отношению к поверхностям объекта могут возникать нелинейные изменения в освещенности. Этот эффект способен вызвать изменение в отношении магнитуд некоторых градиентов. Для избегания этого эффекта применяется отсечение по некоторому порогу, которое применяют к компонентам нормализованного дескриптора. После применения порога снова нормализуют дескриптор. Таким образом, уменьшается значение больших магнитуд градиентов и увеличивается значение распределения ориентаций данных градиентов в окрестности особой точки.

Дескриптор PCA-SIFT (Principal Component Analysis, PCA)
Дескриптор PCA-SIFT по существу считается трансформацией SIFT.
В начале, вычисление значений магнитуды и ориентации градиента происходит аналогично SIFT, с той разницей, что для каждой особой точки окрестность составляет 41×41 пиксель. Карта градиентов строится вдоль вертикального и горизонтального направлений и получается вектор, содержащий 3042 элемента. Далее построение дескриптора выполняется так же, как описано в предыдущем разделе. Для окончательного набора SIFT дескрипторов проводится снижение размера векторов до 32 элементов методом главных компонент.

Дескриптор SURF (Speeded up Robust Features)
SURF относится к дескрипторам, которые выполняют поиск особых точек и строят их описание, инвариантное к изменению масштаба и вращения.
Поиск и определение точек изображения происходит на основе матрицы Гессе (FAST-Hessian detector). Применение Гессиана обеспечивает инвариантность относительно преобразования типа "поворот", но не инвариантность относительно изменения масштаба. Поэтому SURF применяет фильтры разного масштаба для вычисления Гессиана.
Далее вычисляется ориентация – направление перепада яркости – для каждой найденной особой точки. Ориентация – понятие очень близкое к понятию направления градиента, только здесь применяется фильтр Хаара.
С использованием полученной информации, для каждой особой точки выполняется построение дескрипторов:
- строится окрестность – квадрат размером 20s, где s – масштаб, на котором получено максимальное значение детерминанта матрицы Гесса;
- построенная окрестность разбивается на части 4×4 региона.
- для каждого региона вычисляются простые признаки и, как следствие, получается вектор из 4 компонент: 2 – суммарный градиент; 2 – сумма модулей точечных градиентов.
Дескриптор образуется в результате объединения взвешенных описаний градиента для 16 квадрантов вокруг особой точки. Элементы дескриптора взвешиваются на коэффициенты Гауссова ядра. Веса необходимы для большей устойчивости к шумам в удаленных точках. Дополнительно к дескриптору заносится след матрицы Гессе. Эти компоненты позволяют различать темные и светлые точки изображения. Для светлых точек на темном фоне след отрицателен, для темных точек на светлом фоне – положителен.
SURF используется для поиска объектов, но дескриптор никак не использует информацию об объектах. Алгоритм рассматривает изображение как единое целое и выделяет особенности всего изображения, поэтому он плохо работает с объектами простой формы.

Дескриптор DAISY
DAISY применяется для решения задачи сопоставления изображений при значительных внешних изменениях, т.е. данный дескриптор в отличие от ранее рассмотренных работает на плотном множестве пикселей всего изображения.
При этом он работает в 66 раз быстрее, чем SIFT, запущенный на том же изображении.
Выбирается круговая окрестность точки и бины представляются окружностями. Для каждого бина выполнются те же действия, что и в алгоритме SIFT, но взвешенная сумма магнитуд градиентов заменяется сверткой исходного изображения с производными Гауссова фильтра, взятыми по 8 направлениям.
Дескриптор обладает инвариантностью, как и дескрипторы рассмотренные выше, но при этом для решения задач сопоставления требует меньших вычислительных мощностей.

Дескриптор BRIEF (Binary Robust Independent Elementary Features)
Данный алгоритм обеспечивает распознавание одинаковых участков изображения снятых под разными углами. При этом используется минимальное количество вычислений.
Суть алгоритма в построении Байесовского классификатора на некотором тренировочном множестве изображений и последующей классификации участков тестовых изображений. В упрощенном варианте может использоваться метод ближайшего соседа для поиска наиболее похожего патча в тренировочной выборке. Небольшое количество операций обеспечивается за счет представления вектора признаков в виде бинарной строки, а как следствие, использования в качестве меры сходства расстоянии Хэмминга.
Построение векторов достаточно простое. Изображение разбивается на отдельные перекрывающиеся участки – патчи. Затем из патча выбираются множество пар пикселей, для которых строится набор бинарных тестов. На основании этих тестов строится бинарная строка.
Отметим, что при одинаковых условиях на некоторых тестовых изображениях точность детектирования с помощью BRIEF почти в 1,5 раза выше, чем с использованием SURF-дескрипторов.

Дескриптор GLOH (Gradient location-orientation histogram)
Дескриптор GLOH является модификацией SIFT-дескриптора, который построен с целью повышения надежности.
Вычисления происходят точно так же, как и для SIFT дескриптора, но при этом, для разбивки окрестности точки на бины используется полярная сетка: 3 радиальных блока с радиусами 6, 11 и 15 пикселей и 8 секторов.
Таким образом получается вектор, содержащий 272 компоненты, который проецируется в пространство размерности 128 посредством использования анализа главных компонент (PCA).

Результатом работы перечисленных алгоритмов является множество особых точек, для которых строится математическое описание.
Входными данными дескрипторов является изображение, на котором выделяется набор особых точек. Выходом является множество векторов признаков для набора особых точек. Некоторые дескрипторы решают одновременно две задачи – поиск точек и описание точек.
Признаки (описание) точек строятся на основании информации об интенсивности, цвете и текстуре особой точки. Но особые точки не всегда являются именно точками, а могут представляться углами, контурами объекта или ребрами и поэтому во всех алгоритмах вычисления выполняются для некоторой окрестности.
Хорошие признаки должны обладать рядом определенных свойств:
- Повторяемость.
На изображениях одного и того же участка или объекта, полученных под различными углами и при различных условиях освещенности, большинство признаков должно быть хорошо обнаруживаемым.
- Локальность.
Признаки должны быть максимально локализованными для снижения вероятности перекрытия.
- Репрезентативность.
Количество признаков должно быть достаточным для детектирования разумного числа этих признаков даже на небольшом участке изображения.
- Точность.
Признаки должны быть точно определяемыми по отношению к масштабу и форме объекта.
- Эффективность.
Процедура вычислений не должна требовать значительных вычислительных мощностей, так как это критично для приложений реального времени.

Заключение
В работе приведен краткий обзор и анализ методов и алгоритмов обработки данных космических снимков.
Было выявлено, что независимо от выбранного метода наблюдаются те или иные искажения. Эти искажения в большинстве случаев не влияют на результаты решаемых задач и могут быть оставлены без внимания, но там, где цветопередача снимков играет решающую роль необходимо использование дополнительных алгоритмов обработки.
Автоматическое совмещение снимков на основе векторов (алгоритмы SIFT, PCA-SIFT, SURF, DAISY, BRIEF, GLOH) основано на совмещении не конкретных пикселей, а их окрестностей, размер которых выбирается при осреднении векторов. Совмещение с использованием этих алгоритмов возможно даже при значительной изменчивости объекта. Совмещение с пиксельной точностью возможно даже для изображений не прошедших ортотрансформирование и при значительных различиях в углах съемки.
Каждый из перечисленных алгоритмов обладает рядом достоинств и недостатков.
SIFT дескрипторы, несмотря на то, что являются одними из самых распространённых, не лишены недостатков. В некоторых случаях, полученные точки не отвечают предъявляемым к ним требованиям. Конечно, это сказывается на дальнейшем решении задачи совмещения изображений. В некоторых случаях, алгоритм не сможет найти решение, даже если оно существует. Например, при совмещении изображений с многочисленными повторяющимися объектами поиск точек и совмещение могут оказаться неудачными в связи с тем, что повторяющиеся объекты делают дескрипторы разных особых точек похожими между собой. Но, несмотря на это, SIFT хорошо работает во многих практически важных случаях.
Алгоритм SURF, как правило, показывает высокие результаты в задачах автоматизированного анализа снимков и из совмещения. Его преимущества заключаются в инвариантности к значительному масштабированию снимков, изменению яркости изображения, к поворотам и изменениям углов съемки при их незначительности. Из недостатков алгоритма можно выделить то, что изображение представляется как единое целое и при отсутствии выраженных текстур и объектов со сложными формами, опорные точки могут быть найдены как на объекте, так и на фоне. Так же, значительные изменения углов обзора приводят к увеличению скорости обработки изображения, что накладывает некоторые ограничения на использование этого алгоритма в приложениях реального времени.
Алгоритм BRIEF почти в 1,5 раза быстрее, чем SURF-дескриптор. Он так же устойчив к смене освещения и к перспективным искажениям. Однако, при этом он является неустойчивым к изменению углов съемки в плоскости изображения (вращение).
Алгоритм DAISY изначально применяется для решения задачи сопоставления изображений в случае значительных внешних изменений, т.е. данный дескриптор работает на плотном множестве пикселей всего изображения. При этом известно, что дескриптор DAISY работает быстрее, чем SIFT, запущенный на плотном множестве пикселей.
В DAISY использованы идеи построения SIFT и GLOH- дескрипторов. Так, аналогично GLOH выбирается круговая окрестность особой точки, при этом бины представляются не частичными секторами, а окружностями. Поскольку DAISY, в целом, является модификацией SIFT он наследует те же особенности и недостатки.
Приведенный анализ методов и алгоритмов совмещения изображений показывает, что не существует универсального алгоритма, который будет давать высокое качество, надежные результаты и не требовать при этом больших вычислительных мощностей, поэтому выбор того или иного метода должен основываться на целях и задачах, для которых получены спутниковые снимки.










44