Запросы по содержанию — новый шаг в геоинтеллектуальной обработке космической информации

Н.М. Ковалевская,  К.А. Боенко, Н.Н. Добрецов, А.Ю. Королюк

Современные базы данных и каталоги космических изображений насчитывают терабайты информации. На орбиту выводятся новые и новые спутники с высоким и сверхвысоким разрешением.  В этих условиях пространственный анализ каждого снимка занимает огромные временные ресурсы, и особенно актуальным становится решение задачи содержательного поиска.

В то же самое время мировое космическое сообщество начинает накапливать геоинтеллектуальный потенциал совершенно нового качества, предоставляя космические данные, связанные:

1. с природными и техногенными катастрофами (International Charter,  http://www.disasterscharter.org/home );
2. с чрезвычайными ситуациями (Crisis Event Service, http://www.digitalglobe.com/index.php/48/Products?product_id=26 ),
3. со специальными событиями каждой недели (ESA. Earth from Space: image of the week, http://www.esa.int/esaEO/SEM9UELY17E_index_0.html ) (рис. 1)

В следствие этого возникает вопрос — как научиться эффективно формализовать, хранить и использовать такую информацию, уникальную по представлению и по содержанию?

Важное отличие содержательного поиска в базах данных (БДИ) и в каталогах космических изображений (ККИ) от поиска в традиционных базах данных состоит в том, что процесс визуального поиска природных объектов и объектов антропогенного происхождения не может игнорировать законы зрительного восприятия.   Это значит, что при оценке визуального сходства/несходства объектов должны использоваться принципы функционирования зрительной системы.

На ранних стадиях восприятия визуальных объектов мозг преобразует нейронные сигналы, идущие из сетчатки, в простые элементы восприятия: линии, точки, контрастные элементы и т. д.  Существуют неоспоримые факты в нейробиологии, которые подтверждают, что мгновенное (первоначальное) выделение образа осуществляется благодаря контекстным влияниям в первичной зрительной коре головного мозга таким образом, что самые важные или самые «заметные» места на изображении вызывают более высокие нейронные отклики в восприятии [1].   Мгновенное  восприятие определяется и сходством, и контрастом локальных признаков. При этом нейронные импульсы  усиливаются, если окружающие элементы имеют контрастную ориентацию (рис. 2).

С другой стороны, при визуальном выделении образов с множеством мельчайших деталей реализуется совершенно иной уровень зрительного мышления — образное или  гештальт-восприятие.  Так, художник подсознательно использовал принцип группировки элементов: бусы, ожерелье, драгоценные камни  расположены так, что  воспринимаются общие признаки портрета (рис. 3).

Очевидно, что существуют такие зрительные процессы, благодаря которым устанавливаются пространственные соотношения объектов и создается общее восприятие визуального образа. При этом некоторый эскиз элементов образа вносит свой вклад в восприятие так, что выделяются наиболее заметные элементы.

Дальнейшее использование  эскизов вместо самих объектов позволяет игнорировать несущественные детали, тем самым процесс содержательного поиска и выделения найденных объектов становится гораздо более эффективным.

 Sketch-Модель

Рассматривая систему зрительного восприятия на предварительном этапе обработки и распознавания изображений, Марр определил первоначальный уровень восприятия визуальной информации  как некий  эскиз, представляющий структуру и изменение яркостей визуального образца  (рис. 4).

Для создания модели эскиза будем рассматривать визуальные образцы объектов на снимках высокого и сверхвысокого разрешения, как обладающие свойством пространственного самоподобия (во многих случаях это верно и для космических снимков среднего разрешения) в смысле некой повторяемости парных элементов, поддерживаемых одной и той же комбинацией положений на растре.

Вероятностное самоподобие однородного образца означает, что все возможные парные комбинации сигналов рассматриваются с различными вероятностями появления на этом образце.   То есть, если некоторая пара входит в состав пар сигналов, представляющих эскиз визуального образца, то соответствующая ей вероятность имеет значение, отличающееся от нулевого.

Тогда каждый более или менее визуально-однородный образец может получить несколько численных характеристик по заданным направлениям и на заданных расстояниях в соответствии с некоторой мерой сходства с независимым случайным полем (НСП) [2].   Очевидно, что  чем больше линейность, регулярность, направленность, шероховатость и т. д. образца, тем больше его визуальное отличие от НСП (рис. 5).

В этом случае два визуальных образца представляют одно и то же содержание, или относятся к представлению одного и того же класса естественных или антропогенных объектов, если они имеют близкие распределения матриц пар значений сигналов в парах одного и того же типа (рис. 6,7).

При этом размер матриц пар значений сигналов зависит от так называемого окна поиска эскиза: чем больше размер окна, тем более точной является оценка эскиза образца. С другой стороны, чем больше окно, тем медленнее осуществляется содержательный поиск.  Поэтому выбор размеров окна является эмпирическим результатом разумного компромисса между вычислительной стоимостью и детальностью эскиза (рис. 8).

Таким образом, при сравнении двух визуальных образцов нет необходимости сравнивать всю информацию, содержащуюся в них.  Сравнению подлежит лишь та существенная часть (Sketch), которая кодируется в зрительной памяти и мгновенно воспринимается зрительной системой человека.

Sketch-запросы по содержанию

Результаты содержательных Sketch-запросов полностью соответствуют психофизиологическому разделению визуальных данных на группы неявных признаков.  Кроме того, система оказывается способной к дообучению [2].

В качестве примера на рис. 9 приведены результаты первых пяти запросов в выбранной БДИ.  Хотя сама БДИ представляет достаточно сложный вариант  для визуального поиска в силу неоднозначности деления объектов на классы, результаты оказались весьма обнадеживающими.    90% запросов показывают правильный результат в качестве первого выбора поисковой системы.  Первые два результата оказываются верными для более 65% запросов.  И более 40% запросов показали верными первый, второй и третий результаты поиска.

Описанная поисковая система оказалась способной к нахождению новых признаков визуального сходства, согласующихся со зрительным восприятием.  Так, отдельные результатов поиска (помечены символом (!) на рис. 9)  хотя формально и показали несовпадения с классами запросных образцов, но, фактически, являются визуально сходными с запросным образцом по тому или иному визуальному признаку.  То есть, поисковая система способна к экспертному дообучению: каждый результат Sketch-запроса, помеченный символом (!), может быть объединен с соответствующим образцом для Sketch-поиска  в один класс по некоторым визуальным признакам, не учтенным экспертами в исходной классификации.

Эксперименты с образцами, взятыми со снимков сверхвысокого разрешения (Quickbird, 0,7м)  оказались еще более оптимистичными.  Поисковая Sketch-система «выбирала» результаты поиска следующим образом (рис. 10):

• в 100% случаев первый результат относился к тому же классу, что и запросный образец;
• в 60% случаев второй и последующий  результаты относились к тому же классу, что и запросный образец (кустарники, кустарники с редколесьем, дачи, поселки, покос и Ñ‚.д.).

Sketch-выделение участков на снимках сверхвысокого разрешения

Важным этапом содержательного поиска  в соответствии с заданными  визуальными характеристиками является выделение соответствующих участков на изображениях.

В частности, эксперименты со Sketch-выделением объектов на снимках спутников Quickbird (0,7м) и IKONOS (1м) показали что учет:

1. визуального восприятия структурно-яркостных характеристик объектов и
2. оценки уровня самоподобия образцов

приводит к результатам  «почти ручного» выделения; отличие не превышает 2% (рис.11, 12).

Заключение

С появлением снимков высокого и сверхвысокого разрешения процесс поиска и выделения искомых объектов встал на  принципиально новый уровень: вместо поэлементного анализа система должна научиться «мыслить»  целыми объектами, или частями объектов [3].   Это становится особенно актуальным, поскольку стандартные процедуры анализа и классификации спектральных свойств  пространственных объектов оказываются неэффективными.   В частности, лес, который может выглядеть спектрально однородным при среднем и низком разрешении, на снимке сверхвысокого разрешения оказывается состоящим из отдельных деревьев и их теней.

Современные технологии позволяют увидеть объекты территорий настолько близко из космоса, что становится возможным говорить о формальном описании таких визуальных характеристик, как шероховатость, контрастность, направленность, линейность, регулярность, зернистость и т. д.

С одной стороны, сложившаяся ситуация вынуждает разрабатывать новые подходы к обработке и анализу космических изображений, а с другой стороны — открываются новые перспективы геоинтеллектуализации визуальной обработки в существующих каталогах  космических снимков.

С этой целью разработана  специальная Sketch-модель, которая позволяет выделять наиболее представительные структурные сочетания элементов образца для содержательного поиска.  На основе этой модели реализуются эффективные запросы по содержанию в базах данных и каталогах космических изображений с возможностями последующего экспертного дообучения.

Теоретические основы подхода разрабатывались совместно с институтом Санта-Фе (США, штат Нью-Мексико) и лабораторией биоинженерии Пенсильванского университета (США, штат Пенсильвания).  Практические исследования проходили при использовании данных лаборатории геосистемных исследований Центрального сибирского ботанического сада СО РАН.   Разработка программного обеспечения осуществляется в лаборатории геоинформационных технологий и дистанционного зондирования института геологии и минералогии СО РАН им. В.С. Соболева.

Список литературы

 Julész B., Gilbert E., Shepp L. Inability of humans to discriminate between visual textures that agree in their second-order statistic–Revisitedю// Perception. 1973. Vol.2 . P.391–405.

1. Н.Ковалевская, К.Боенко. Оценка  характеристик запросов для содержательного поиска в базах данных космических изображений.// Вычислительные технологии. Нов-ск, издательство ИВТ СО РАН, 2008, т.13, №2. с.53-69.
2. Н.М.Ковалевская, К.А.Боенко, О.В.Ловцкая, Н.Н.Добрецов, А.Ю.Королюк.  Контекстное моделирование объектов земной поверхности с целью получения метаданных о содержании изображений.// Вычислительные технологии. Нов-ск, издательство ИВТ СО РАН, 2010, 16с.(в печати).