Обработка данных БПЛА в программе UASMaster

Н. Э. Рубцова

В последнее время в сфере аэрофотогеодезии становится все более популярным и обсуждаемым применение беспилотных летательных аппаратов (БПЛА) в фотограмметрических целях.  Ключевыми факторами подобной тенденции является оперативность получения данных и относительно низкая стоимость реализации подобных проектов. Таким образом, съемка небольших территорий в целях крупномасштабного картографирования с помощью беспилотных летательных аппаратов становится практически вне конкуренции для классической аэросъемки или спутниковой съемки по временным и экономическим показателям.

Конечно, помимо преимуществ, съемочные данные с БПЛА характеризуются рядом особенностей, что делает применение к ним классических методов фотограмметрической обработки несколько затруднительным. Масса негативных факторов: использование некалиброванных бытовых камер со шторно-щелевыми затворами без компенсации сдвига изображений, нестабильное поведение летательного аппарата в воздушном пространстве, дешевое бортовое оборудование (зачастую на БПЛА устанавливают только GPS-приемник без инерциальной системы и не применяют дифференциальную коррекцию), —  накладывает определенный отпечаток на подход к обработке таких данных.

Поэтому параллельно с ростом интереса к съемке с помощью БПЛА растет и количество новостей от разработчиков современных цифровых фотограмметрических систем (ЦФС) о появлении в их программных  продуктах каких-то специальных алгоритмов и наборов функций как раз для работы с такими данными.

Среди широко известных фотограмметрических решений одним из наиболее производительных является программный комплекс (ПК) Inpho от компании Trimble — пол­нофункциональная фотограмметрическая система, позволяющая решать широкий спектр задач, связанных с фотограмметриче­ской обработкой снимков. В данной статье мы более подробно остановимся на возможностях по обработке данных с БПЛА предлагаемых компанией Trimble в ПК Inpho на сегодняшний день.

В Inpho специальные алгоритмы для обработки съемочных данных с БПЛА были реализованы, начиная с версии 5.5 (релиз 14 ноября 2012 г.). Н сегодняшний день текущая версия программы Inpho — 5.6.3 (релиз декабрь 2013 г.). Имеющиеся функциональные возможности по обработке фотограмметрических проектов были расширены путем добавления опций, предназначенных для оптимизации уже существующих алгоритмов и учитывающих некоторые особенности этих данных.

Прежде всего, была реализована полная поддержка данных в формате Gatewing. То есть, например для БПЛА UX5 или Х100, через конвертор в файл проекта Inpho автоматически загружаются снимки, информация о камере и данные об ориентации сенсора. Для других беспилотных летательных систем используются стандартные функции импорта при определении проекта.

Стратегия, предложенная разработчиками именно для работы с данными с БПЛА, заключается в итерационной обработке этих данных.

Сначала в модуле MATCH-AT выполняется уточнение элементов внешнего ориентирования через функцию автоматического извлечения связующих на одном уровне пирамид загруженных в проект снимков  The point extraction in one level (For UAS images or to refine an initial EO). При этом задается достаточно грубая точность автоматических измерений на снимках (100*размер пикселя) и GPS данных (10м по x,y,z), согласно которым этим измерениям присваивается вес при уравнивании проекта. Таким образом, мы указываем программе на высокую степень недоверия этим измерениям на начальном этапе обработки (рис. 1).

Алгоритм извлечения несколько отличается от стандартного алгоритма, когда  связующие точки извлекаются на высоких уровнях пирамиды изображений и уточняются по мере приближения к исходному разрешению снимков. Процесс последовательного уточнения заменяется избыточностью измерений для конкретной области проекта за счет использования всех доступных комбинаций стереопар для данной области проекта. Кроме того, размер матрицы поиска не ограничен. Разумеется,  это приводит к увеличению времени вычислений. Основными параметрами уточнения ЭВО являются: уровень пирамиды изображения;  ограничение области поиска (задается в средних базисах фотографирования) для сокращения количества снимков, на которых ведется поиск соответственных точек; значение допуска поперечного параллакса для исключения ошибочных отождествлений.

После анализа полученного решения (в том числе интерактивного измерения недостающих связующих точек с помощью инструмента Multi Photo Measurement Tool, например, в областях с низкой текстурой изображения) выполняется пост-обработка (уравнивание). При этом используется алгоритм поиска выбросов, а также снижаются допуски на точностные характеристики измерений на снимках (до 2*размер пикселя), точность GPS данных остается прежней (10 м по x,y,z).

Далее следует измерение всех опорных точек с помощью инструмента Multi Photo Measurement Tool (возможен автоматический, полуавтоматический и ручной режимы измерения связующих и опорных точек).

При наличии достаточного количества и грамотном расположении опорных точек на следующем этапе выполняется калибровка камеры в модуле inBlock. Начиная с версии Inpho 5.5, модуль inBlock был разделен на 2 режима (лицензирование также раздельное): для калибровки и для строгого уравнивания. Используем inBlock для калибровки камер, задаем точности измерений согласно рекомендациям: точность наблюдений на снимках равна размеру пикселя; точность данных GPS 10м по x,y,z; точность опорных точек по x,y составляет GSD/8; точность опорных точек по z составляет 3*GSD/8.

В результате получаем уравненный блок с новой калиброванной камерой (все координаты точек пересчитаны согласно полученному значению главной точки). При этом в некоторых случаях, когда приближенные параметры камеры существенно отличались от реальных, измерения большого количества связующих точек могут быть ошибочными. В таких случаях рекомендуется после получения более точных параметров камеры удалить все имеющиеся связующие точки и запустить их повторное измерение. Конечно, если БПЛА был оснащен точным бортовым оборудованием, в том числе проводилось измерение углов с помощью инерциальной системы, была выполнена калибровка камеры, можно использовать стандартную обработку проекта в Inpho.

Следующий этап, на котором потребовались усовершенствования алгоритмов обработки данных традиционной аэросъемки, — это автоматическое извлечение цифровых моделей рельефа (ЦМР) (рис. 2).  Для начала напомним, что, начиная с версии 5.5, в ПК Inpho был реализован новый алгоритм извлечения плотных облаков точек (с плотностью вплоть до точки на пиксель) – Cost-Based Matching (CBM). Концептуально, это реализация алгоритма попиксельного отождествления Semi-Global Matching (Hirschmüller, 2005), несколько модифицированного разработчиками программы, например, в CBM отсутствует шаг предварительного выравнивания яркости пикселей изображений. Рассмотрим работу алгоритма CBM на примере стереопары двух снимков: сначала по известным элементам внешнего ориентирования выполняется расчет базисных (эпиполярных) линий, то есть линий, где поперечные параллаксы точек отсутствуют. Далее снимки трансформируются таким образом, чтобы  базисные линии располагались параллельно оси х,  это ограничивает поиск соответственных точек с двух направлений до одного. Далее некоторому пикселю с  левого изображения среди некоторого множества n пикселей соответственной базисной линии на правом ищется парный пиксель. При этом для всех пар пикселей вычисляется некоторая функция от корреляции, так называемая «стоимость». В результате мы имеем множество значений стоимостей в виде куба диспаритета, основание которого соответствует размеру матрицы изображения, а высота n.  Минимальное значение стоимости соответствует максимальной корреляции. Вычислив для каждого пикселя основания это минимальное значение, получаем карту глубины (каждый пиксель отображает расстояние от точки фотографирования до объекта), которая затем пересчитывается в облако точек, отображающее реальную поверхность. Подобные вычисления выполняются по нескольким направлениям, таким образом, статистические методы обработки позволяют исключить возможные выбросы в результирующем облаке точек.

Для обработки данных БПЛА появилась специальная настройка оптимизации этого автоматического алгоритма UAS.  Использование оптимизации увеличивает число участвующих моделей (стереопар) с 1 до 6. То есть для создания облака точек будут использованы несколько моделей для измерения одной точки (рис. 3). Логично, что при этом будет создано больше точек, но это потребует и значительно больше времени для обработки. Кроме того при использовании этого типа оптимизации MATCH-T DSM увеличивает минимальный угол засечки до 9°, то есть при создании облака точек не используются пары с коротким базисом, которые снижают результирующую высотную точность.

Остальные модули работают как обычно. То есть далее можно в интерактивном или автоматическом режиме выполнить редактирование, классификацию, фильтрацию полученного облака точек в модуле DTMaster и с помощью инструмента DTMToolkit. А затем, используя полученную ЦМР или цифровую модель местности (ЦММ), построить ортофото (истинное орто) и мозаику (истинную мозаику) с помощью модулей OrthoMaster и OrthoVista.

Стоит отметить, что все упомянутые модули ПК Inpho можно запускать с помощью пакетного задания — batch-файла (инструмент DTMToolkit может быть использован через командную строку, начиная с версии 5.6.0). То есть Inpho предлагает пользователям возможность создания однокнопочного решения типа «черный ящик».

Конечно, использование подхода не гарантирует, что теперь программа позволяет в полностью автоматическом режиме получить результаты топографической точности по нажатию одной кнопки. Разработчики по-прежнему советуют тщательно подходить ко всему процессу получения конечной продукции, начиная с проектирования съемки. Например, распределение опорных точек должно быть аналогичным традиционной аэросъемке. Здесь также нужно учесть некоторые специфические  требования, если вы надеетесь на качественный результат. Например, продольное перекрытие снимков должно составлять порядка 80–90%, чтобы в покрытии не было дыр в результате «болтанки» самолета в воздухе. Далее в работу включается оператор, который должен правильно определить проект, выбрать точности всех параметров, участвующих в уравнивании, принять решение о качестве уравненного блока/модели высот, отредактировать что-то вручную.  Но у такого подхода, когда оператор контролирует каждый этап обработки, есть противники. Относительно низкая стоимость съемки вытекает в обработку данных в дорогостоящем ПО, требующем специальных знаний.

Таким образом, учитывая специфику проектов и требования некоторых клиентов по обработке именно данных с БПЛА (то есть не всем нужны все функциональные возможности модулей Inpho), было принято решение по созданию отдельного продукта на основе имеющегося опыта компании.  Ð’ конце прошлого года компания анонсировала выход нового отдельного и самодостаточного программного продукта для обработки данных с БПЛА — UASMaster (рис. 4). Программа является своего рода мостиком между обработкой в режиме «черного ящика» для пользователя‑ не эксперта  и обработкой в более интерактивном режиме для пользователя‑фотограмметриста.

Интерфейс программы будет знаком пользователям стандартных модулей Inpho, иконки функций, названия инструментов и т.п. остались без изменений (рис. 4). Но все окна программы, что весьма ценно для новых пользователей и непрофессионалов, были дополнены новой вкладкой UAS, которая является своего рода инструкцией: последовательность использования инструментов сверху в низ. Дополнительно появилось окно заполнения статусов, для самоконтроля.

Как было сказано выше, при создании продукта использовался опыт классического Inpho, то есть фактически это тот же ПК  Inpho, но с ограниченными возможностями. Ограничения: максимальный проект из 2000 снимков, камера не более 40 мегапикселей, создание единого облака точек на проект и единой мозаики.

Внутри программы остается модульность. Создание проекта выполняется в окне UAS Applications Master (аналог Applications Master) — создание проекта, опции конвертирования проекта и снимков, загрузка всей исходной информации, формирование проекта. Программа сохранила подход Inpho для инструментов импорта данных в проект, то есть могут быть загружены практически любые данные (как с БПЛА самолетного типа, так и вертолетного). Нужно отметить, что разработчики тестировали продукт перед его релизом на различных данных, предоставленных партнерами компании Trimble, в том числе съемке с воздушного шара; или когда территория была отснята различными камерами (обработка велась в среде единого проекта). UAS Applications Master также является ядром программы для запуска последующих этапов обработки.

Фототриангуляция выполняется в окне UAS Measurement (аналог Photo Measurement Tool). Здесь произошли максимальные изменения. В последнее время  области компьютерного зрения и фотограмметрии идут рука об руку, и в результате в фотограмметрических программах появляются новые алгоритмы отождествления изображений, автоматического распознавания объектов и т.д. Компания Inpho также следит за последними тенденциями и инновациями, и таким образом в UASMaster был реализован алгоритм автоматического извлечения связующих точек по всей области перекрытия (а не только в зонах Ван Грубера) с помощью оператора SIFT. Это позволяет получать высококачественный результат взаимного ориентирования блока при минимальном вмешательстве оператора. Добавлены различные стратегии, в зависимости от полноты и качества исходной информации (учитывается разрешение снимков, точность и наличие информации от бортовых систем).  Можно извлекать связующие точки на исходном разрешении снимков Full Resolution (рекомендуется при размере пикселя более 4 мкм), на загрубленном в 2 раза разрешении Half Resolution (при небольших размерах пикселя), низком разрешении Low Resolution (для грубого уточнения ЭВО) и уточнить угловые ЭВО Half Resolution Approx 2D (для блоков с неизвестными или очень грубыми ЭВО) (рис. 5).

Чем аргументированы варианты извлечения точек на разных уровнях пирамиды? Представьте себе, что съемка выполнялась на высоте 70 м с помощью камеры SonyNex (БПЛА UX5), размер пикселя на местности GSD составит 2 см. Для меньших сенсоров (пиксели меньше) это значение будет намного меньше. Учитывая качество изображений, не стоит ожидать точность < 2 см в пространстве объекта, хотя теоретически обработка на исходном разрешении Full Resolution должна давать именно подпиксельную точность. Поэтому для небольших сенсоров мы рекомендуем выполнять обработку с загрубленным в два раза разрешением  Half Resolution, так обработка будет выполнена гораздо быстрее и результирующая точность будет сопоставима с результатом обработки на исходном разрешении Full Resolution.

После измерения опорных точек доступно уравнивание с параллельной калибровкой камеры (рис. 6). Опять же в зависимости от полноты исходной информации (какие параметры камеры были известны) можно выбрать соответствующую стратегию обработки. Калибровка камеры с помощью метода первого приближения First Approximation используется при отсутствии информации о дисторсии камеры. Уравнивание с калибровкой позволяет получить первую модель дисторсии камеры, и, следовательно, уточнить проекции опорных точек (проще измерить). Экстенсивная Extensive калибровка должна быть выполнена для всех камер, независимо от ее качества. Для этой калибровки требуется предварительная модель дисторсии для ее уточнения. Будет выполнено пять последовательных калибровок. Уточнение Refine следует использовать, если после калибровки в режиме Extensive были измерены дополнительные опорные точки. Новые опорные точки могут оказывать влияние на модель камеры и, следовательно, должны быть учтены в калибровке.

Опционально можно выполнять уравнивание блока по одной из трех доступных стратегий. Все три варианта уравнивания являются необязательными. Они необходимы только при повторном измерении точек, после проверки измерений или для изменения параметров уравнивания. Метод по умолчанию Default следует использовать только в случае, если ваша камера была откалибрована, и вы измерили новые или повторно измерили некоторые связующие или опорные точки. Метод Weak следует использовать, если ваша камера не откалибрована или конфигурация блока неустойчива, например, для предварительного поиска ошибочных измерений опорных точек. Метод Weak Approx.2D может использоваться для снимков, для которых не было измерено автоматических связующих точек, и которые должны быть подключены к остальной части блока после выполнения ручных измерений (рис. 7).

По сути, встроенные алгоритмы являются гарантом получения надежных результатов даже оператором без знания фотограмметрии и какого-либо опыта в обработке данных. Тем не менее, оставлены возможности интерактивного измерения связи для особо проблематичных областей (смаз какой-либо области проекта, большие области с однородной текстурой и т.п.). Ручное редактирование или создание новых измерений возможно в моно и стерео режиме; также доступны режимы полностью ручного, автоматического и полуавтоматического измерений. Инструменты анализа данных с помощью графических инструментов, как эллипсы ошибок, остаточные невязки и т.п., доступны в полном объеме.  Окно информации о статистической оценке также осталось без изменений. То есть пользователям доступен полный набор инструментов Inpho для экспертизы и редактирования уравненного блока (рис. 8). Кроме того, реализована новая интересная функция: в окне накидного монтажа инструмента UAS Measurement можно выделить несколько снимков, и при запуске какого-либо этапа обработки все вычисления будут выполнены только для этих снимков.

Нужно отдать должное разработчикам программы. Даже при наличии в проекте смазанных снимков, грубых значениях координат центров фотографирования, неполном определении камеры, небольшой матрице фотоаппарата и неоптимальном распределении опорных данных по площади проекта ожидаемая точность может составить вплоть до 0,7 пикселя.

После уравнивания блока можно переходить на этап создания конечных продуктов обработки: ЦМР/ЦММ и ортомозаик в окне UAS Edit (рис. 9). Создание высотных моделей выполняется по пирамидам изображений, с последовательным уточнением и увеличением степени детализации. При создании ЦМР используются два основных алгоритма отождествления: наименьших квадратов (МНК=LSM) и объектно-ориентированный (FBM). Возможно создание ЦМР с различным шагом сетки: Detailed (Детальная) — сетка с шагом 27*GSD по уровню 0; Smooth (Гладкая) —сетка с шагом 30*GSD по уровню 1; Smoother (Более гладкая) — сетка с шагом 30*GSD по уровню 2. При создании ЦММ используется метод CBM. Возможно автоматическое извлечение цветного облака точек, по которому потом рассчитывается модель высот, с плотностью до точки на пиксель. При этом скорость обработки составляет порядка 3 секунд на снимок, а результирующая точность по высоте составляет 1–2 пикселя. Для ЦММ также доступно настроить результирующую плотность: Dense (Плотная) — сетка с шагом 3*GSD по уровню 0, Medium (Средняя) — сетка с шагом 3*GSD по уровню 1, Sparse (Редкая) — сетка с шагом 3*GSD по уровню 2. Здесь используются уже протестированные в классическом Inpho и доказавшие свою эффективность и надежность алгоритмы интерполяции, фильтрации шумов и выбросов. Кроме того остались возможности редактирования и оцифровки структурных линий, объектов и Ñ‚.п. в 3D.

После создания модели высот следует создание ортофотомозаки с автоматическим выравниванием по цветам и возможностью отслеживания и заполнения невидимых областей (для создания истинных ортомозаик). При этом опять же используются многократно протестированные алгоритмы автоматического построения линий сшибки на основе объектно-ориентированного подхода. Для создания выровненной по цвету и интенсивности мозаики радиометрическая коррекция выполняется в автоматическом режиме как для отдельного снимка (удаление бликов, эффектов виньетирования), так и для группы снимков. Скорость обработки составляет порядка 4 секунд на снимок. Реализован очень удобный подход к использованию имеющейся в проекте высотной информации: WYSIWYG (What you see is was you get). То есть можно включать/отключать часть высотной информации и оценивать, как это повлияет на конечный результат обработки (рис. 10).

Стоит отметить, что в окне UAS Edit существует возможность определения области обработки с помощью полигона произвольной формы.

Ну и конечно, в программе есть возможность использования одной из двух возможных стратегий режима «черного ящика» Quick Processing. Если ваш проект имеет достаточно полное определение данных, можно запустить алгоритм Full Resolution. Для получения более грубого и общего решения используется алгоритм Preview. В результате вы  получите уравненный блок, матрицу высот и ортомозаику на весь проект.

Безусловно, при наличии соответствующих лицензий, проект можно экспортировать в стандартную среду Inpho для выполнения более сложных операций, на которые существуют ограничения в новой программе UASMaster, например, для деления на тайлы цифровых моделей рельефа в DTMToolkit или ортомозаик в OrthoVista, преобразования форматов высотных моделей и т.п.

Подводя итог всему вышесказанному, хочется еще раз напомнить, что компания Inpho и предлагаемые ею программные продукты надежно зарекомендовали себя на рынке фотограмметрических решений. Новая программа UASMaster — это отчасти абсолютно новое ПО, нацеленное на решение всех специфических задач по обработке данных  с БПЛА, но в то же время, в нем используется принцип наследия всего лучшего из существующих решений Inpho по обработке аэрофотосъемки в целом. Несмотря на кажущуюся сложность программы и множество функций, выполнять обработку может практически любой пользователь, даже не имеющий специального фотограмметрического образования.