Ð’. М. Котов, Ð. Ð. РуÑакович
Сбор, Ð¿Ñ€ÐµÐ´Ð²Ð°Ñ€Ð¸Ñ‚ÐµÐ»ÑŒÐ½Ð°Ñ Ð¾Ð±Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ° и анализ данных, полученных при диÑтанционном зондировании Земли (ДЗЗ) Ñ Ð¿Ð¾Ð¼Ð¾Ñ‰ÑŒÑŽ коÑмичеÑких радиолокаторов Ñ Ñинтезированной апертурой (РСÐ), ÑвÑзаны Ñ Ð½Ð°ÐºÐ¾Ð¿Ð»ÐµÐ½Ð¸ÐµÐ¼ и обработкой информации, объемы которой в деÑÑтки тыÑÑч раз превышают Ñредний уровень потребноÑтей и доÑтигают деÑÑтков терабайт в год.
С 1990-Ñ… гг. прошлого ÑÑ‚Ð¾Ð»ÐµÑ‚Ð¸Ñ Ð¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ñ‚ÐµÐ»Ð¸ имеют возможноÑть получать данные коÑмичеÑких аппаратов, имеющих РСР(Envisat, RADARSAT, TerraSAR, COSMO-SkyMed), уже Ñобран большой архив таких данных [1].
Ð’ наÑтоÑщее Ð²Ñ€ÐµÐ¼Ñ Ð¸ в РоÑÑии в рамках Федеральной коÑмичеÑкой программы ведетÑÑ Ñ€Ð°Ð·Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ° коÑмичеÑких аппаратов («Метеор-М â„–3», «Ðркон-2М»), оÑнащенных многофункциональной Ð Ð¡Ð Ñ Ð°ÐºÑ‚Ð¸Ð²Ð½Ð¾Ð¹ фазированной антенной решеткой, характериÑтики которой ÑоответÑтвуют характериÑтикам Ñовременных РСР[2].
Традиционные подходы к разработке инфраÑтруктуры и обработки таких объемов данных (получивших название «большие данные») не годÑÑ‚ÑÑ. Ðеобходимы новые подходы к обработке и анализу данных Ð´Ð»Ñ Ñовременных РСÐ, в том чиÑле и Ñ€ÐµÐ°Ð»Ð¸Ð·Ð°Ñ†Ð¸Ñ Ð¸Ð½Ñ‚ÐµÑ€Ð°ÐºÑ‚Ð¸Ð²Ð½Ð¾Ð³Ð¾ взаимодейÑÑ‚Ð²Ð¸Ñ Ð² режиме удаленного доÑтупа Ð´Ð»Ñ Ð¼Ð½Ð¾Ð³Ð¾ÑƒÑ€Ð¾Ð²Ð½ÐµÐ²Ð¾Ð¹, раÑпределенной географичеÑки вычиÑлительной ÑиÑтеме обработки данных.
ÐÐ½Ð°Ð»Ð¾Ð³Ð¸Ñ‡Ð½Ð°Ñ Ð¿Ñ€Ð¾Ð±Ð»ÐµÐ¼Ð° ÑтоÑла и в облаÑти ÑкÑпериментальной физики выÑоких Ñнергий еще в 90-е годы прошлого ÑÑ‚Ð¾Ð»ÐµÑ‚Ð¸Ñ Ð¿Ñ€Ð¸ формировании программы иÑÑледований крупнейшего проекта ÑовременноÑти в облаÑти фундаментальной науки: Ñозданию Большого адронного коллайдера (БÐК) в ЕвропейÑком центре Ñдерных иÑÑледований (ЦЕРÐ), г. Женева, ШвейцариÑ.
Ð’ результате многолетней работы большого коллектива физиков, инженеров и программиÑтов в ЦЕРÐе была разработана, отлажена, запущена и уÑпешно работает второй год в режиме реальных измерений на пучках уÑÐºÐ¾Ñ€Ð¸Ñ‚ÐµÐ»Ñ Ð‘ÐК ÑиÑтема Ñбора и обработки данных ÑкÑперимента ATLAS БÐК, объединÑÑŽÑ‰Ð°Ñ Ð² единую ÑиÑтему вÑе компоненты обработки, ÑƒÐ¿Ñ€Ð°Ð²Ð»ÐµÐ½Ð¸Ñ Ð¸ передачи Больших данных (Ñто передача и Ñ„Ð¸Ð»ÑŒÑ‚Ñ€Ð°Ñ†Ð¸Ñ Ð² реальном времени 100 Gb/s и офлайн обработка и анализ ÑкÑпериментальных данных объемом в деÑÑтки петабайт в год) [3].
Объединенный инÑтитут Ñдерных иÑÑледований (ОИЯИ) ÑвлÑетÑÑ ÑƒÑ‡Ð°Ñтником программы иÑÑледований на БÐК. Важной ÑоÑтавлÑющей такого учаÑÑ‚Ð¸Ñ Ð² обработке и анализе данных, получаемых в ÑкÑпериментах на БÐК ÑвлÑетÑÑ Ñоздание в ОИЯИ ÑиÑтемы удаленного доÑтупа реального времени (СУДРВ) и Ð¸Ð½Ñ‚ÐµÐ³Ñ€Ð°Ñ†Ð¸Ñ ÐµÐµ в глобальную ÑервиÑ-ориентированную архитектуру ГРИД-ÑиÑтемы Ñбора и обработки данных ÑкÑпериментов на БÐК. [4]
Ðа ÑÐµÐ³Ð¾Ð´Ð½Ñ Ð½Ðµ ÑущеÑтвует технологии, обеÑпечивающей необходимую функциональноÑть и ÑффективноÑть обработки таких потоков и объемов ÑкÑпериментальных данных в одной ÑиÑтеме. ПоÑтому ÑиÑтема Ñбора и обработки ÑкÑперимента ATLAS БÐК была разделена на два уровнÑ: онлайн — Ñбор и Ð¿Ñ€ÐµÐ´Ð²Ð°Ñ€Ð¸Ñ‚ÐµÐ»ÑŒÐ½Ð°Ñ Ð¾Ð±Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ° и офлайн — Ð¿Ð¾Ð»Ð½Ð°Ñ Ð¾Ð±Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ° и анализ. (риÑ. 1, 2)


Офлайн-обработка требует необычно больших вычиÑлительных реÑурÑов (примерно 100 000 Ñамых мощных на ÑÐµÐ³Ð¾Ð´Ð½Ñ Ð¿Ñ€Ð¾Ñ†ÐµÑÑоров или 150 Kcores) и была реализована в ГРИД-ÑиÑтеме (риÑ.3).

ÐŸÐ¾ÐºÐ°Ð·Ð°Ð½Ð½Ð°Ñ Ð² левом верхнем углу на риÑ. 3. ÑиÑтема DAQ и еÑть онлайн ÑоÑтавлÑÑŽÑ‰Ð°Ñ ÑиÑтемы по Ñбору и предварительной обработке входных данных. Опыт разработки и реализации ÑиÑтемы Ñбора и обработки данных ÑкÑпериментов на БÐК может быть иÑпользован при Ñоздании ÑиÑтем обработки данных в ÑиÑтемах ДЗЗ, и в чаÑтноÑти Ð´Ð»Ñ Ð´Ð°Ð½Ð½Ñ‹Ñ…, полученных Ñ Ð¿Ð¾Ð¼Ð¾Ñ‰ÑŒÑŽ коÑмичеÑких радиолокаторов Ñ Ñинтезированной апертурой.
Ð¡Ð¾Ð²Ñ€ÐµÐ¼ÐµÐ½Ð½Ð°Ñ Ð°Ñ€Ñ…Ð¸Ñ‚ÐµÐºÑ‚ÑƒÑ€Ð° наземной географичеÑки раÑпределенной ÑиÑтемы обработки данных SAR (Synthetic Aperture Radar), Ð¿Ñ€ÐµÐ´Ð»Ð°Ð³Ð°ÐµÐ¼Ð°Ñ Ð•Ð²Ñ€Ð¾Ð¿ÐµÐ¹Ñким коÑмичеÑким агентÑтвом (ESA), также имеет уровень предварительной обработки входных данных, необходимоÑть которой определÑетÑÑ Ð¾ÑобенноÑтью форматов и Ñтруктурой данных SAR Ð´Ð»Ñ Ð²Ñ‹Ð¿Ð¾Ð»Ð½ÐµÐ½Ð¸Ñ Ð² поÑледующем полного цикла обработки информации Ñ SAR в пакетном режиме. Кроме того, Ñтруктура радарных данных позволÑет проводить Ñффективный анализ на уровне первичной обработки радиолокационных изображений, Ð¾Ð¿ÐµÑ€Ð¸Ñ€ÑƒÑ Ð¸Ð·Ð¾Ð±Ñ€Ð°Ð¶ÐµÐ½Ð¸ÐµÐ¼ в целом как образом, Ð´Ð»Ñ Ð±Ñ‹Ñтрого Ð¾Ð¿Ð¾Ð·Ð½Ð°Ð½Ð¸Ñ Ð¸ анализа некоторого клаÑÑа объектов и их характериÑтик в интерактивном режиме.
ESA в октÑбре 2007 г. заключило договор Ñ ÐºÐ°Ð½Ð°Ð´Ñкой фирмой Array Systems Computing на разработку инÑтрументального программного обеÑÐ¿ÐµÑ‡ÐµÐ½Ð¸Ñ Ð¸ Ñ 2010 г. поÑтавлÑет комплект программного обеÑÐ¿ÐµÑ‡ÐµÐ½Ð¸Ñ Ñ Ð¾Ñ‚ÐºÑ€Ñ‹Ñ‚Ñ‹Ð¼ иÑходным кодом NEST (Next ESA SAR Toolbox) [5], включающего в ÑÐµÐ±Ñ Ñ„ÑƒÐ½ÐºÑ†Ð¸Ð¾Ð½Ð°Ð»ÑŒÐ½Ð¾Ñть вÑех предыдущих верÑий инÑтрументального ПО BEST, BEAM и др. СоÑтав пакета NEST, компоненты и потоки данных приведены на риÑ. 4.

По уÑловиÑм техничеÑкого Ð·Ð°Ð´Ð°Ð½Ð¸Ñ ESA инÑтрументарий NEST предназначен Ð´Ð»Ñ Ð¿Ð¾Ð¼Ð¾Ñ‰Ð¸ в подготовке Ñлементов ÑиÑтемы обработки данных SAR, но не ÑвлÑетÑÑ SAR процеÑÑором или готовой ÑиÑтемой обработки SAR данных в полном технологичеÑком цикле.
ВмеÑте Ñ Ñ‚ÐµÐ¼, NEST, как программа Ñ Ð¾Ñ‚ÐºÑ€Ñ‹Ñ‚Ñ‹Ð¼ иÑходным кодом, или как принÑто обозначать Ñто движение в РоÑÑии – Ñвободное программное обеÑпечение (СПО) имеет четыре Ñвободы, в чаÑтноÑти разрешает не только изучать и Ñвободно изменÑть такие программы («нулеваÑ» и «перваÑ» Ñвободы СПО), но и Ñвободно раÑпроÑтранÑть как копии программы (Â«Ð²Ñ‚Ð¾Ñ€Ð°Ñ Ñвобода») так и Ñвободно раÑпроÑтранÑть измененные верÑии – Ñ Ñ‚ÐµÐ¼, чтобы принеÑти пользу вÑему ÑообщеÑтву (Â«Ñ‚Ñ€ÐµÑ‚ÑŒÑ Ñвобода»). Может быть поÑтому функционал извеÑтных на рынке программных продуктов Ð´Ð»Ñ Ð¾Ð±Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ¸ радарных данных практичеÑки идентичны.
Однако Ñовременные тенденции, а тем более будущее развитие программ глобального мониторинга окружающей Ñреды невозможно без широкого международного ÑотрудничеÑтва, и поÑтому Ñамым Ñффективным ÑпоÑобом реализации возможноÑтей NEST ÑвлÑетÑÑ ÐµÐ³Ð¾ иÑпользование в ÑоÑтаве PaaS (Platform as a Service), имеющей также открытый код, Ð´Ð»Ñ Ñ€Ð°Ð·Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ¸, теÑтированиÑ, Ñ€Ð°Ð·Ð²ÐµÑ€Ñ‚Ñ‹Ð²Ð°Ð½Ð¸Ñ Ð¸ поддержки полномаÑштабной ÑиÑтемы Ñбора и обработки данных Ñ ÐºÐ¾ÑмичеÑких локаторов РСÐ, реализующей полный технологичеÑкий цикл обработки радарных данных. ПредполагаетÑÑ Ð² ÑоÑтаве PaaS реализовать набор инÑтрументов Ð´Ð»Ñ Ð¾Ñ‚Ð¾Ð±Ñ€Ð°Ð¶ÐµÐ½Ð¸Ñ Ð¸ чаÑтичной обработки радарных Ñнимков в Ñреде ArcGIS.
Ð’ качеÑтве оÑновы Ð´Ð»Ñ Ñ€Ð°Ð·Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ¸ прототипа подобной PaaS предлагаетÑÑ Ð¸Ñпользовать ÑиÑтему удаленного доÑтупа реального времени (СУДРВ) ОИЯИ. СУДРВ предÑтавлÑет Ñобой композитный ÑÐµÑ€Ð²Ð¸Ñ Ð“Ð Ð˜Ð”-ÑиÑтемы и ÑвлÑетÑÑ Ñ„Ñ€Ð°Ð³Ð¼ÐµÐ½Ñ‚Ð¾Ð¼ общей ÑиÑтемы обработки данных ÑкÑперимента ATLAS БÐК [6]. СоглаÑно планам Ñ€Ð°Ð·Ð²Ð¸Ñ‚Ð¸Ñ Ð¸Ð½Ñ„Ð¾Ñ€Ð¼Ð°Ñ†Ð¸Ð¾Ð½Ð½Ð¾Ð¹ инфраÑтруктуры ÑкÑпериментов БÐК ЦЕРРи в ÑоответÑтвии Ñ ÐºÐ¾Ð½Ñ†ÐµÐ¿Ñ†Ð¸ÐµÐ¹ «облачных вычиÑлений», где вÑе еÑть Ð¡ÐµÑ€Ð²Ð¸Ñ (XaaS), СУДРВ ОИЯИ будет применÑтьÑÑ ÐºÐ°Ðº PaaS Ð´Ð»Ñ Ð´Ð°Ð»ÑŒÐ½ÐµÐ¹ÑˆÐµÐ³Ð¾ Ñ€Ð°Ð·Ð²Ð¸Ñ‚Ð¸Ñ ÑиÑтемы обработки данных ÑкÑперимента ATLAS на БÐК.
Кроме того, в ÑоответÑтвии Ñ ÐºÐ¾Ð½Ñ†ÐµÐ¿Ñ†Ð¸ÐµÐ¹ «Открытой инновационной лаборатории» ÑкÑперимента ATLAS-LAB (ATLAB), на рабочем Ñовещании ЦЕРÐ-ОИЯИ «Brainstorming workshop on applications from ATLAS using EU-funding for R&D-upgrades» в г. Дубне 24 октÑÐ±Ñ€Ñ 2010 г по обÑуждению доклада ОИЯИ «Real Time remote access system for ATLAS» было поддержано предложение о возможноÑти прикладного иÑÐ¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ð½Ð¸Ñ Ð¡Ð£Ð”Ð Ð’ ОИЯИ в облаÑти коÑмичеÑкого мониторинга, проводимых ÑовмеÑтно Ñ Ð¦Ð•Ð Ð Ð¿Ñ€Ð¸ поддержке ESA.
Ð’ наÑтоÑщее Ð²Ñ€ÐµÐ¼Ñ Ð¾Ð±ÑуждаетÑÑ Ð²Ð¾Ð·Ð¼Ð¾Ð¶Ð½Ð¾Ñть Ð²ÐºÐ»ÑŽÑ‡ÐµÐ½Ð¸Ñ Ð¿Ð°Ñ€Ñ‚Ð½ÐµÑ€Ñтва ЦЕРÐ-ОИЯИ в ÑоÑтав миÑÑии ÑодейÑÑ‚Ð²Ð¸Ñ Ð¿Ñ€Ð¾Ð³Ñ€Ð°Ð¼Ð¼Ñ‹ Global Monitoring for Environment and Security (GMES). Программа GMES, Ð¿Ñ€Ð¾Ð²Ð¾Ð´Ð¸Ð¼Ð°Ñ Ð•Ð²Ñ€Ð¾Ð¿ÐµÐ¹Ñким агентÑтвом окружающей Ñреды (European Environment Agency, EEA) в партнерÑтве Ñ ESA, предполагает Ñоздание единой ÑиÑтемы, объединÑющей данные наблюдений на Ñуше, море и в атмоÑфере Ñ Ð´Ð°Ð½Ð½Ñ‹Ð¼Ð¸ коÑмичеÑкого мониторинга, от уÑпешного иÑÐ¿Ð¾Ð»ÑŒÐ·Ð¾Ð²Ð°Ð½Ð¸Ñ ÐºÐ¾Ñ‚Ð¾Ñ€Ñ‹Ñ… в значительной Ñтепени будет завиÑеть уÑпех программы в целом.
ОÑновой коÑмичеÑкой ÑоÑтавлÑющей GMES будут не только Ñпутники Sentinel, Ñпециально Ñоздаваемые Ð´Ð»Ñ Ñтой программы (оператор ESA), но и другие национальные и международные Ñпутниковые ÑиÑтемы ДЗЗ, партнерÑтво Ñ ÐºÐ¾Ñ‚Ð¾Ñ€Ñ‹Ð¼Ð¸ будет оформлено как миÑÑии ÑодейÑÑ‚Ð²Ð¸Ñ GMES(GMES Contributing Missions (GCMs)).
Структура программного обеÑÐ¿ÐµÑ‡ÐµÐ½Ð¸Ñ Ð¡Ð£Ð”Ð Ð’ и NEST иÑпользует объектно-ориентированный подход Ð¿Ñ€Ð¾ÐµÐºÑ‚Ð¸Ñ€Ð¾Ð²Ð°Ð½Ð¸Ñ Ð¸ ÑоответÑтвует Ñтандарту PSS05 ESA. Объединение NEST и СУДРВ в единую платформу обеÑпечит интеграцию NEST в общую ÑиÑтему ГРИД-обработки данных ÑкÑпериментов БÐК, а значит и возможноÑть отладки в поÑледующем и offline режима обработки данных коÑмичеÑкого мониторинга в географичеÑки раÑпределенной вычиÑлительной ÑиÑтеме ГРИД-обработки и партнерÑтво Ñ ÑƒÑ‡Ð°Ñтием ESA и ЦЕРÐ.
Следует отметить, что кроме инÑÑ‚Ñ€ÑƒÐ¼ÐµÐ½Ñ‚Ð°Ñ€Ð¸Ñ NEST, отражающего Ñпецифику обработки радарных данных, Ð¿Ñ€ÐµÐ´Ð»Ð°Ð³Ð°ÐµÐ¼Ð°Ñ Ð¿Ð»Ð°Ñ‚Ñ„Ð¾Ñ€Ð¼Ð° PaaS будет обеÑпечивать также доÑтуп к ÑервиÑам Ñбора и обработки данных, необходимых Ð´Ð»Ñ Ñ„ÑƒÐ½ÐºÑ†Ð¸Ð¾Ð½Ð¸Ñ€Ð¾Ð²Ð°Ð½Ð¸Ñ NEST в ÑоÑтаве СУДРВ.
Ð’ качеÑтве базового Ñдра предлагаемой ÑиÑтемы удаленного доÑтупа Ð´Ð»Ñ Ñбора и обработки коÑмичеÑкой радиолокационной информации предполагаетÑÑ Ð¸Ñпользовать набор компонентов из СиÑтемы Ñбора и обработки данных в реальном времени ÑкÑперимента ATLAS БÐК [7].
Ð˜Ð½Ñ‚ÐµÐ³Ñ€Ð°Ñ†Ð¸Ñ Ð¸Ð½Ñтрументального пакета NEST ESA и ÑиÑтемы удаленного доÑтупа СУДРВ ОИЯИ позволит Ñоздать развитую платформу (PaaS) Ð´Ð»Ñ Ñ€Ð°Ð·Ñ€Ð°Ð±Ð¾Ñ‚ÐºÐ¸ прототипов (макетов) ÑиÑтем предварительной обработки радарных данных коÑмичеÑких локаторов Ñ Ñинтезированной апертурой выÑокого Ñ€Ð°Ð·Ñ€ÐµÑˆÐµÐ½Ð¸Ñ Ð¸ отладки их в уÑловиÑÑ… реальной работы в большой географичеÑки раÑпределенной вычиÑлительной ГРИД-ÑиÑтеме обработки данных ÑкÑпериментов на БÐК.
СпиÑок литературы:
- Обзор Ñовременных радиолокационных данных ДЗЗ и методик их обработки Ñ Ð¸Ñпользованием программного комплекÑа SARSCAPE Кантемиров Ю.И., ÐšÐ¾Ð¼Ð¿Ð°Ð½Ð¸Ñ Â«Ð¡Ð¾Ð²Ð·Ð¾Ð½Ð´Â».
- КоÑтюк Е. Ð., Веремчук Ю. Ð., ДениÑов П. Ð’. ПерÑпективные технологии обработки коÑмичеÑкой радиолокационной информации в ÐКПОРОператора КС ДЗЗ // V ÐœÐµÐ¶Ð´ÑƒÐ½Ð°Ñ€Ð¾Ð´Ð½Ð°Ñ ÐºÐ¾Ð½Ñ„ÐµÑ€ÐµÐ½Ñ†Ð¸Ñ Â«ÐšÐ¾ÑмичеÑÐºÐ°Ñ Ñъемка — на пике выÑоких технологий».
- Mapelli L. Spanning from Data Acquisition to GRID — Today and a view of tomorrow. // XXIII International Symposium on Nuclear Electronics & Computing NEC’2011.
- Ð’. Ð’. Кореньков, Ð’. М. Котов, Ð. Ð. РуÑакович, Ð. Ð’. Яковлев. СиÑтема удаленного доÑтупа реального времени (СУДРВ), как композитный ÑÐµÑ€Ð²Ð¸Ñ Ñ€Ð°Ñпределенной ГРИД-ÑиÑтемы обработки данных ÑкÑпериментов на Большом Ðдронном Коллайдере (БÐК) // Параллельные вычиÑлительные технологии (ПаВТ’2010): Труды международной научной конференции (Уфа, 29 марта – 2 Ð°Ð¿Ñ€ÐµÐ»Ñ 2010 г.)
- Software Architecture Document (SAD) for the Next ESA SAR Toolbox (NEST) (ARR-NEST-RS07-016); http://www.array.ca/nest/Software_Architecture_Document_v2.0.pdf
- Ð’. Ð’. Кореньков, Ð’. М. Котов, Ð. Ð. РуÑакович, Ð. Ð’. Яковлев. Модель и Ñ‚ÐµÑ…Ð½Ð¾Ð»Ð¾Ð³Ð¸Ñ Ð¸Ð½Ñ‚ÐµÐ³Ñ€Ð°Ñ†Ð¸Ð¸ online-ÑервиÑов ÑкÑперимента ATLAS на Большом Ðдронном Коллайдере (БÐК) и ÑервиÑов ГРИД-инфраÑтруктуры // Параллельные вычиÑлительные технологии (ПаВТ’2011): труды международной научной конференции (МоÑква, 28 марта – 1 Ð°Ð¿Ñ€ÐµÐ»Ñ 2011 г.)
- ATLAS High-Level Trigger, Data Acquisition and Controls. Technical Design Report (ATLAS TDR-016); http://atlas-proj-hltdaqdcs-tdr.web.cern.ch/atlas-proj-hltdaqdcs-tdr/tdr-v1-r4/PDF/TDR.pdf