Запросы по содержанию — новый шаг в геоинтеллектуальной обработке космической информации

0

Н.М. Ковалевская,  К.А. Боенко, Н.Н. Добрецов, А.Ю. Королюк

Современные базы данных и каталоги космических изображений насчитывают терабайты информации. На орбиту выводятся новые и новые спутники с высоким и сверхвысоким разрешением.  В этих условиях пространственный анализ каждого снимка занимает огромные временные ресурсы, и особенно актуальным становится решение задачи содержательного поиска.

В то же самое время мировое космическое сообщество начинает накапливать геоинтеллектуальный потенциал совершенно нового качества, предоставляя космические данные, связанные:

  1. с природными и техногенными катастрофами (International Charter,  http://www.disasterscharter.org/home );
  2. с чрезвычайными ситуациями (Crisis Event Service, http://www.digitalglobe.com/index.php/48/Products?product_id=26 ),
  3. со специальными событиями каждой недели (ESA. Earth from Space: image of the week, http://www.esa.int/esaEO/SEM9UELY17E_index_0.html ) (рис. 1)
Рис.1. Радарный снимок пустыни Гоби. Спутник Envisat, 23 июля 2010 г.
Рис.1. Радарный снимок пустыни Гоби. Спутник Envisat, 23 июля 2010 г.

В следствие этого возникает вопрос — как научиться эффективно формализовать, хранить и использовать такую информацию, уникальную по представлению и по содержанию?

Важное отличие содержательного поиска в базах данных (БДИ) и в каталогах космических изображений (ККИ) от поиска в традиционных базах данных состоит в том, что процесс визуального поиска природных объектов и объектов антропогенного происхождения не может игнорировать законы зрительного восприятия.   Это значит, что при оценке визуального сходства/несходства объектов должны использоваться принципы функционирования зрительной системы.

На ранних стадиях восприятия визуальных объектов мозг преобразует нейронные сигналы, идущие из сетчатки, в простые элементы восприятия: линии, точки, контрастные элементы и т. д.  Существуют неоспоримые факты в нейробиологии, которые подтверждают, что мгновенное (первоначальное) выделение образа осуществляется благодаря контекстным влияниям в первичной зрительной коре головного мозга таким образом, что самые важные или самые «заметные» места на изображении вызывают более высокие нейронные отклики в восприятии [1].   Мгновенное  восприятие определяется и сходством, и контрастом локальных признаков. При этом нейронные импульсы  усиливаются, если окружающие элементы имеют контрастную ориентацию (рис. 2).

Рис.2 Ранние этапы зрительного восприятия текстур
Рис.2 Ранние этапы зрительного восприятия текстур

С другой стороны, при визуальном выделении образов с множеством мельчайших деталей реализуется совершенно иной уровень зрительного мышления — образное или  гештальт-восприятие.  Так, художник подсознательно использовал принцип группировки элементов: бусы, ожерелье, драгоценные камни  расположены так, что  воспринимаются общие признаки портрета (рис. 3).

Рис.3. Визуальное выделение образов с множеством мельчайших деталей
Рис.3. Визуальное выделение образов с множеством мельчайших деталей

Очевидно, что существуют такие зрительные процессы, благодаря которым устанавливаются пространственные соотношения объектов и создается общее восприятие визуального образа. При этом некоторый эскиз элементов образа вносит свой вклад в восприятие так, что выделяются наиболее заметные элементы.

Дальнейшее использование  эскизов вместо самих объектов позволяет игнорировать несущественные детали, тем самым процесс содержательного поиска и выделения найденных объектов становится гораздо более эффективным.

 Sketch-Модель

 

Рис.4. Визуальные образцы и соответствующие эскизы
Рис.4. Визуальные образцы и соответствующие эскизы

Рассматривая систему зрительного восприятия на предварительном этапе обработки и распознавания изображений, Марр определил первоначальный уровень восприятия визуальной информации  как некий  эскиз, представляющий структуру и изменение яркостей визуального образца  (рис. 4).

Для создания модели эскиза будем рассматривать визуальные образцы объектов на снимках высокого и сверхвысокого разрешения, как обладающие свойством пространственного самоподобия (во многих случаях это верно и для космических снимков среднего разрешения) в смысле некой повторяемости парных элементов, поддерживаемых одной и той же комбинацией положений на растре.

Вероятностное самоподобие однородного образца означает, что все возможные парные комбинации сигналов рассматриваются с различными вероятностями появления на этом образце.   То есть, если некоторая пара входит в состав пар сигналов, представляющих эскиз визуального образца, то соответствующая ей вероятность имеет значение, отличающееся от нулевого.

Тогда каждый более или менее визуально-однородный образец может получить несколько численных характеристик по заданным направлениям и на заданных расстояниях в соответствии с некоторой мерой сходства с независимым случайным полем (НСП) [2].   Очевидно, что  чем больше линейность, регулярность, направленность, шероховатость и т. д. образца, тем больше его визуальное отличие от НСП (рис. 5).

Рис.5. Визуальное сравнение образцов с НСП
Рис.5. Визуальное сравнение образцов с НСП

В этом случае два визуальных образца представляют одно и то же содержание, или относятся к представлению одного и того же класса естественных или антропогенных объектов, если они имеют близкие распределения матриц пар значений сигналов в парах одного и того же типа (рис. 6,7).

Рис. 6. Визуальные образцы изображения хвойного леса на снимках с разным разрешением
Рис. 6. Визуальные образцы изображения хвойного леса на снимках с разным разрешением
Рис. 7. Визуальные образцы объектов на мультиспектральных снимках со спутника QuickDird
Рис. 7. Визуальные образцы объектов на мультиспектральных снимках со спутника QuickDird

При этом размер матриц пар значений сигналов зависит от так называемого окна поиска эскиза: чем больше размер окна, тем более точной является оценка эскиза образца. С другой стороны, чем больше окно, тем медленнее осуществляется содержательный поиск.  Поэтому выбор размеров окна является эмпирическим результатом разумного компромисса между вычислительной стоимостью и детальностью эскиза (рис. 8).

Рис.8. Зависимость детальности эскиза от окна поиска
Рис.8. Зависимость детальности эскиза от окна поиска

Таким образом, при сравнении двух визуальных образцов нет необходимости сравнивать всю информацию, содержащуюся в них.  Сравнению подлежит лишь та существенная часть (Sketch), которая кодируется в зрительной памяти и мгновенно воспринимается зрительной системой человека.

Sketch-запросы по содержанию

Результаты содержательных Sketch-запросов полностью соответствуют психофизиологическому разделению визуальных данных на группы неявных признаков.  Кроме того, система оказывается способной к дообучению [2].

В качестве примера на рис. 9 приведены результаты первых пяти запросов в выбранной БДИ.  Хотя сама БДИ представляет достаточно сложный вариант  для визуального поиска в силу неоднозначности деления объектов на классы, результаты оказались весьма обнадеживающими.    90% запросов показывают правильный результат в качестве первого выбора поисковой системы.  Первые два результата оказываются верными для более 65% запросов.  И более 40% запросов показали верными первый, второй и третий результаты поиска.

Рис. 9. Пример результатов содержательного Sketch-поиска
Рис. 9. Пример результатов содержательного Sketch-поиска

Описанная поисковая система оказалась способной к нахождению новых признаков визуального сходства, согласующихся со зрительным восприятием.  Так, отдельные результатов поиска (помечены символом (!) на рис. 9)  хотя формально и показали несовпадения с классами запросных образцов, но, фактически, являются визуально сходными с запросным образцом по тому или иному визуальному признаку.  То есть, поисковая система способна к экспертному дообучению: каждый результат Sketch-запроса, помеченный символом (!), может быть объединен с соответствующим образцом для Sketch-поиска  в один класс по некоторым визуальным признакам, не учтенным экспертами в исходной классификации.

Эксперименты с образцами, взятыми со снимков сверхвысокого разрешения (Quickbird, 0,7м)  оказались еще более оптимистичными.  Поисковая Sketch-система «выбирала» результаты поиска следующим образом (рис. 10):

  • в 100% случаев первый результат относился к тому же классу, что и запросный образец;
  • в 60% случаев второй и последующий  результаты относились к тому же классу, что и запросный образец (кустарники, кустарники с редколесьем, дачи, поселки, покос и т.д.).
Рис.10. Результаты поиска в БДИ сверхвысокого разрешения
Рис.10. Результаты поиска в БДИ сверхвысокого разрешения

Sketch-выделение участков на снимках сверхвысокого разрешения

Важным этапом содержательного поиска  в соответствии с заданными  визуальными характеристиками является выделение соответствующих участков на изображениях.

В частности, эксперименты со Sketch-выделением объектов на снимках спутников Quickbird (0,7м) и IKONOS (1м) показали что учет:

  1. визуального восприятия структурно-яркостных характеристик объектов и
  2. оценки уровня самоподобия образцов

приводит к результатам  «почти ручного» выделения; отличие не превышает 2% (рис.11, 12).

Рис.11. Результаты выделения на фрагменте снимка IKONOS (1м): слева — ручное выделение, справа — Sketch-выделение.
Рис.11. Результаты выделения на фрагменте снимка IKONOS (1м):
слева — ручное выделение, справа — Sketch-выделение
Рис.12. Результаты выделения фрагмента снимка QuickBird (0,7м): слева — ручное выделение, справа — Sketch-выделение
Рис.12. Результаты выделения фрагмента снимка QuickBird (0,7м):
слева — ручное выделение, справа — Sketch-выделение

Заключение

С появлением снимков высокого и сверхвысокого разрешения процесс поиска и выделения искомых объектов встал на  принципиально новый уровень: вместо поэлементного анализа система должна научиться «мыслить»  целыми объектами, или частями объектов [3].   Это становится особенно актуальным, поскольку стандартные процедуры анализа и классификации спектральных свойств  пространственных объектов оказываются неэффективными.   В частности, лес, который может выглядеть спектрально однородным при среднем и низком разрешении, на снимке сверхвысокого разрешения оказывается состоящим из отдельных деревьев и их теней.

Современные технологии позволяют увидеть объекты территорий настолько близко из космоса, что становится возможным говорить о формальном описании таких визуальных характеристик, как шероховатость, контрастность, направленность, линейность, регулярность, зернистость и т. д.

С одной стороны, сложившаяся ситуация вынуждает разрабатывать новые подходы к обработке и анализу космических изображений, а с другой стороны — открываются новые перспективы геоинтеллектуализации визуальной обработки в существующих каталогах  космических снимков.

С этой целью разработана  специальная Sketch-модель, которая позволяет выделять наиболее представительные структурные сочетания элементов образца для содержательного поиска.  На основе этой модели реализуются эффективные запросы по содержанию в базах данных и каталогах космических изображений с возможностями последующего экспертного дообучения.

Теоретические основы подхода разрабатывались совместно с институтом Санта-Фе (США, штат Нью-Мексико) и лабораторией биоинженерии Пенсильванского университета (США, штат Пенсильвания).  Практические исследования проходили при использовании данных лаборатории геосистемных исследований Центрального сибирского ботанического сада СО РАН.   Разработка программного обеспечения осуществляется в лаборатории геоинформационных технологий и дистанционного зондирования института геологии и минералогии СО РАН им. В.С. Соболева.

Список литературы

 Julész B., Gilbert E., Shepp L. Inability of humans to discriminate between visual textures that agree in their second-order statistic–Revisitedю// Perception. 1973. Vol.2 . P.391–405.

  1. Н.Ковалевская, К.Боенко. Оценка  характеристик запросов для содержательного поиска в базах данных космических изображений.// Вычислительные технологии. Нов-ск, издательство ИВТ СО РАН, 2008, т.13, №2. с.53-69.
  2. Н.М.Ковалевская, К.А.Боенко, О.В.Ловцкая, Н.Н.Добрецов, А.Ю.Королюк.  Контекстное моделирование объектов земной поверхности с целью получения метаданных о содержании изображений.// Вычислительные технологии. Нов-ск, издательство ИВТ СО РАН, 2010, 16с.(в печати).