Н.М. Ковалевская, К.А. Боенко, Н.Н. Добрецов, А.Ю. Королюк
Современные базы данных и каталоги космических изображений насчитывают терабайты информации. На орбиту выводятся новые и новые спутники с высоким и сверхвысоким разрешением. В этих условиях пространственный анализ каждого снимка занимает огромные временные ресурсы, и особенно актуальным становится решение задачи содержательного поиска.
В то же самое время мировое космическое сообщество начинает накапливать геоинтеллектуальный потенциал совершенно нового качества, предоставляя космические данные, связанные:
- с природными и техногенными катастрофами (International Charter, http://www.disasterscharter.org/home );
- с чрезвычайными ситуациями (Crisis Event Service, http://www.digitalglobe.com/index.php/48/Products?product_id=26 ),
- со специальными событиями каждой недели (ESA. Earth from Space: image of the week, http://www.esa.int/esaEO/SEM9UELY17E_index_0.html ) (рис. 1)
В следствие этого возникает вопрос — как научиться эффективно формализовать, хранить и использовать такую информацию, уникальную по представлению и по содержанию?
Важное отличие содержательного поиска в базах данных (БДИ) и в каталогах космических изображений (ККИ) от поиска в традиционных базах данных состоит в том, что процесс визуального поиска природных объектов и объектов антропогенного происхождения не может игнорировать законы зрительного восприятия. Это значит, что при оценке визуального сходства/несходства объектов должны использоваться принципы функционирования зрительной системы.
На ранних стадиях восприятия визуальных объектов мозг преобразует нейронные сигналы, идущие из сетчатки, в простые элементы восприятия: линии, точки, контрастные элементы и т. д. Существуют неоспоримые факты в нейробиологии, которые подтверждают, что мгновенное (первоначальное) выделение образа осуществляется благодаря контекстным влияниям в первичной зрительной коре головного мозга таким образом, что самые важные или самые «заметные» места на изображении вызывают более высокие нейронные отклики в восприятии [1]. Мгновенное восприятие определяется и сходством, и контрастом локальных признаков. При этом нейронные импульсы усиливаются, если окружающие элементы имеют контрастную ориентацию (рис. 2).
С другой стороны, при визуальном выделении образов с множеством мельчайших деталей реализуется совершенно иной уровень зрительного мышления — образное или гештальт-восприятие. Так, художник подсознательно использовал принцип группировки элементов: бусы, ожерелье, драгоценные камни расположены так, что воспринимаются общие признаки портрета (рис. 3).
Очевидно, что существуют такие зрительные процессы, благодаря которым устанавливаются пространственные соотношения объектов и создается общее восприятие визуального образа. При этом некоторый эскиз элементов образа вносит свой вклад в восприятие так, что выделяются наиболее заметные элементы.
Дальнейшее использование эскизов вместо самих объектов позволяет игнорировать несущественные детали, тем самым процесс содержательного поиска и выделения найденных объектов становится гораздо более эффективным.
Sketch-Модель
Рассматривая систему зрительного восприятия на предварительном этапе обработки и распознавания изображений, Марр определил первоначальный уровень восприятия визуальной информации как некий эскиз, представляющий структуру и изменение яркостей визуального образца (рис. 4).
Для создания модели эскиза будем рассматривать визуальные образцы объектов на снимках высокого и сверхвысокого разрешения, как обладающие свойством пространственного самоподобия (во многих случаях это верно и для космических снимков среднего разрешения) в смысле некой повторяемости парных элементов, поддерживаемых одной и той же комбинацией положений на растре.
Вероятностное самоподобие однородного образца означает, что все возможные парные комбинации сигналов рассматриваются с различными вероятностями появления на этом образце. То есть, если некоторая пара входит в состав пар сигналов, представляющих эскиз визуального образца, то соответствующая ей вероятность имеет значение, отличающееся от нулевого.
Тогда каждый более или менее визуально-однородный образец может получить несколько численных характеристик по заданным направлениям и на заданных расстояниях в соответствии с некоторой мерой сходства с независимым случайным полем (НСП) [2]. Очевидно, что чем больше линейность, регулярность, направленность, шероховатость и т. д. образца, тем больше его визуальное отличие от НСП (рис. 5).
В этом случае два визуальных образца представляют одно и то же содержание, или относятся к представлению одного и того же класса естественных или антропогенных объектов, если они имеют близкие распределения матриц пар значений сигналов в парах одного и того же типа (рис. 6,7).
При этом размер матриц пар значений сигналов зависит от так называемого окна поиска эскиза: чем больше размер окна, тем более точной является оценка эскиза образца. С другой стороны, чем больше окно, тем медленнее осуществляется содержательный поиск. Поэтому выбор размеров окна является эмпирическим результатом разумного компромисса между вычислительной стоимостью и детальностью эскиза (рис. 8).
Таким образом, при сравнении двух визуальных образцов нет необходимости сравнивать всю информацию, содержащуюся в них. Сравнению подлежит лишь та существенная часть (Sketch), которая кодируется в зрительной памяти и мгновенно воспринимается зрительной системой человека.
Sketch-запросы по содержанию
Результаты содержательных Sketch-запросов полностью соответствуют психофизиологическому разделению визуальных данных на группы неявных признаков. Кроме того, система оказывается способной к дообучению [2].
В качестве примера на рис. 9 приведены результаты первых пяти запросов в выбранной БДИ. Хотя сама БДИ представляет достаточно сложный вариант для визуального поиска в силу неоднозначности деления объектов на классы, результаты оказались весьма обнадеживающими. 90% запросов показывают правильный результат в качестве первого выбора поисковой системы. Первые два результата оказываются верными для более 65% запросов. И более 40% запросов показали верными первый, второй и третий результаты поиска.
Описанная поисковая система оказалась способной к нахождению новых признаков визуального сходства, согласующихся со зрительным восприятием. Так, отдельные результатов поиска (помечены символом (!) на рис. 9) хотя формально и показали несовпадения с классами запросных образцов, но, фактически, являются визуально сходными с запросным образцом по тому или иному визуальному признаку. То есть, поисковая система способна к экспертному дообучению: каждый результат Sketch-запроса, помеченный символом (!), может быть объединен с соответствующим образцом для Sketch-поиска в один класс по некоторым визуальным признакам, не учтенным экспертами в исходной классификации.
Эксперименты с образцами, взятыми со снимков сверхвысокого разрешения (Quickbird, 0,7м) оказались еще более оптимистичными. Поисковая Sketch-система «выбирала» результаты поиска следующим образом (рис. 10):
- в 100% случаев первый результат относился к тому же классу, что и запросный образец;
- в 60% случаев второй и последующий результаты относились к тому же классу, что и запросный образец (кустарники, кустарники с редколесьем, дачи, поселки, покос и т.д.).
Sketch-выделение участков на снимках сверхвысокого разрешения
Важным этапом содержательного поиска в соответствии с заданными визуальными характеристиками является выделение соответствующих участков на изображениях.
В частности, эксперименты со Sketch-выделением объектов на снимках спутников Quickbird (0,7м) и IKONOS (1м) показали что учет:
- визуального восприятия структурно-яркостных характеристик объектов и
- оценки уровня самоподобия образцов
приводит к результатам «почти ручного» выделения; отличие не превышает 2% (рис.11, 12).
слева — ручное выделение, справа — Sketch-выделение
слева — ручное выделение, справа — Sketch-выделение
Заключение
С появлением снимков высокого и сверхвысокого разрешения процесс поиска и выделения искомых объектов встал на принципиально новый уровень: вместо поэлементного анализа система должна научиться «мыслить» целыми объектами, или частями объектов [3]. Это становится особенно актуальным, поскольку стандартные процедуры анализа и классификации спектральных свойств пространственных объектов оказываются неэффективными. В частности, лес, который может выглядеть спектрально однородным при среднем и низком разрешении, на снимке сверхвысокого разрешения оказывается состоящим из отдельных деревьев и их теней.
Современные технологии позволяют увидеть объекты территорий настолько близко из космоса, что становится возможным говорить о формальном описании таких визуальных характеристик, как шероховатость, контрастность, направленность, линейность, регулярность, зернистость и т. д.
С одной стороны, сложившаяся ситуация вынуждает разрабатывать новые подходы к обработке и анализу космических изображений, а с другой стороны — открываются новые перспективы геоинтеллектуализации визуальной обработки в существующих каталогах космических снимков.
С этой целью разработана специальная Sketch-модель, которая позволяет выделять наиболее представительные структурные сочетания элементов образца для содержательного поиска. На основе этой модели реализуются эффективные запросы по содержанию в базах данных и каталогах космических изображений с возможностями последующего экспертного дообучения.
Теоретические основы подхода разрабатывались совместно с институтом Санта-Фе (США, штат Нью-Мексико) и лабораторией биоинженерии Пенсильванского университета (США, штат Пенсильвания). Практические исследования проходили при использовании данных лаборатории геосистемных исследований Центрального сибирского ботанического сада СО РАН. Разработка программного обеспечения осуществляется в лаборатории геоинформационных технологий и дистанционного зондирования института геологии и минералогии СО РАН им. В.С. Соболева.
Список литературы
Julész B., Gilbert E., Shepp L. Inability of humans to discriminate between visual textures that agree in their second-order statistic–Revisitedю// Perception. 1973. Vol.2 . P.391–405.
- Н.Ковалевская, К.Боенко. Оценка характеристик запросов для содержательного поиска в базах данных космических изображений.// Вычислительные технологии. Нов-ск, издательство ИВТ СО РАН, 2008, т.13, №2. с.53-69.
- Н.М.Ковалевская, К.А.Боенко, О.В.Ловцкая, Н.Н.Добрецов, А.Ю.Королюк. Контекстное моделирование объектов земной поверхности с целью получения метаданных о содержании изображений.// Вычислительные технологии. Нов-ск, издательство ИВТ СО РАН, 2010, 16с.(в печати).
