Том 29, номер 09, статья № 8

pdf Кашницкий А. В., Лупян Е. А., Балашов И. В., Константинова А. М. Технология создания инструментов обработки и анализа данных свехбольших распределенных спутниковых архивов. // Оптика атмосферы и океана. 2016. Т. 29. № 09. С. 772–777. DOI: 10.15372/AOO20160908.
Скопировать ссылку в буфер обмена
Аннотация:

Значительное увеличение в последние годы объемов данных, поступающих от систем спутниковых наблюдений Земли, делает все более актуальной задачу разработки новых технологий, позволяющих организовать эффективную работу со сверхбольшими, распределенными, постоянно пополняющимися архивами, обеспечивающими не только возможности эффективного поиска и выбора данных, но и их обработку. В настоящей статье рассмотрены возможности разработанных в Институте космических исследований РАН технологий, позволяющих создавать различные инструменты обработки и обеспечивающих использование для проведения анализа спутниковой информации распределенных вычислительных ресурсов центров обработки, архивации и представления данных дистанционного зондирования. Описаны преимущества и возможности предлагаемых подходов, приводятся примеры реализации инструментов для распределенной обработки данных, поступающих от различных спутниковых систем дистанционного зондирования. Приведенные примеры ориентированы на то, чтобы продемонстрировать возможности использования разработанных инструментов для решения задач анализа различных явлений, в том числе возникающих в атмосфере и на поверхности океана.

Ключевые слова:

дистанционное зондирование, информационные системы, распределенная обработка данных, обработка спутниковых данных, сверхбольшие архивы данных, технологии работы с данными, дистанционные методы наблюдений атмосферы и океана

Список литературы:


1. Лупян Е.А., Саворский В.П., Шокин Ю.И., Алексанин А.И., Назиров Р.Р., Недолужко И.В., Панова О.Ю. Современные подходы и технологии организации работы с данными дистанционного зондирования Земли для решения научных задач // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9, № 5. С. 21–44.
2. Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Кашницкий А.В., Кобец Д.А., Крашенинникова Ю.С., Мазуров А.А., Назиров Р.Р., Прошин А.А., Сычугов И.Г., Толпин В.А., Уваров И.А., Флитман Е.В. Создание технологий построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12, № 5. С. 53–75.
3. Кашницкий А.В., Балашов И.В., Лупян Е.А., Толпин В.А., Уваров И.А. Создание инструментов для удаленной обработки спутниковых данных в современных информационных системах // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12, № 1. С. 156–170.
4. Шокин Ю.И., Добрецов Н.Н., Мамаш Е.А., Кихтенко В.А., Воронина П.В., Смирнов В.В., Чубаров Д.Л. Информационная система приема, обработки и доступа к спутниковым данным и ее применение для решения задач мониторинга окружающей среды // Вычислительные технологии. 2015. Т. 20, № 5. С. 157–174.
5. Недолужко И.В., Бабяк П.В., Тарасов Г.В., Ерёменко В.С. Инфраструктура приема, распределенной обработки и поставки спутниковых данных в Центре коллективного пользования Регионального спутникового мониторинга ДВО РАН // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9, № 3. С. 324–331.
6. Ramapriyan H.K., Behnke J., Sofinowski E., Lowe D., Esfandiari M.A. Evolution of the earth observing system (EOS) data and information system (EOSDIS) // Standard-Based Data and Information Systems for Earth Observation / Eds. Di Liping, H.K. Ramapriyan. 2010. P. 63–92.
7. Acker J.G., Leptoukh G. Online analysis enhances use of NASA earth science data // Eos. Transactions American Geophysical Union. 2007. V. 88, N 2. P. 14–17.
8. Gorelick N. Google Earth Engine // EGU General Assembly Conference Abstracts. 2013. V. 15. P. 11997.
9. Балашов И.В., Бурцев М.А., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А. Построение архивов результатов обработки спутниковых данных для систем динамического формирования производных информационных продуктов // Современные проблемы дистанционного зондирования Земли из космоса. 2008. Т. 5, № 1. С. 26–32.
10. Ефремов В.Ю., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Оптимизированная система хранения и представления географически привязанных спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2007. Т. 4, № 1. С. 125–132.
11. Толпин В.А., Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Уваров И.А., Флитман Е.В. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (система GEOSMIS) // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8, № 3. С. 93–108.
12. Neteler M., Bowman M.H., Landa M., Metz M. GRASS GIS: A multi-purpose open source GIS // Environmental Modelling & Software. 2012. V. 31. P. 124–130.
13. He J., Zha Y., Zhang J., Gao J. Aerosol indices derived from MODIS data for indicating aerosol-induced air pollution // Remote Sens. 2014. V. 6, N 2. P. 1587–1604.
14. Marshak A., Knyazikhin Y., Davis A.B., Wiscombe W., Pilewskie P. Cloud – vegetation interaction: Use of Normalized Difference Cloud Index for estimation of cloud optical thickness // Geophys. Res. Lett. 2000. V. 27, N 12. P. 1695–1698.
15. Лупян Е.А., Савин И.Ю., Барталев С.А., Толпин В.А., Балашов И.В., Плотников Д.Е. Спутниковый сервис мониторинга состояния растительности («ВЕГА») // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8, № 1. С. 190–198.
16. Барталев С.А., Ершов Д.В., Коровин Г.Н., Котельников Р.В., Лупян Е.А., Щетинский В.Е. Основные возможности и структура информационной системы дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса. 2010. Т. 7, № 2. С. 97–105.
17. Лупян Е.А., Барталев С.А., Ершов Д.В., Котельников Р.В., Балашов И.В., Бурцев М.А., Егоров В.А., Ефремов В.Ю., Жарко В.О., Ковганко К.А., Колбудаев П.А., Крашенинникова Ю.С., Прошин А.А., Мазуров А.А., Уваров И.А., Стыценко Ф.В., Сычугов И.Г., Флитман Е.В., Хвостиков С.А., Шуляк П.П. Организация работы со спутниковыми данными в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12, № 5. С. 222–250.
18. Лупян Е.А., Милехин О.Е., Антонов В.Н., Крамарева Л.С., Бурцев М.А., Балашов И.В., Толпин В.А., Соловьев В.И. Система работы с объединенными информационными ресурсами, получаемыми на основе спутниковых данных в центрах НИЦ «ПЛАНЕТА» // Метеорол. и гидрол. 2014. № 12. С. 89–97.
19. Лупян Е.А., Матвеев А.А., Уваров И.А., Бочарова Т.Ю., Лаврова О.Ю., Митягина М.И. Спутниковый сервис See the Sea – инструмент для изучения различных явлений на поверхности океана // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9, № 2. С. 251–262.
20. Ефремов В.Ю., Гирина О.А., Крамарева Л.С., Лупян Е.А., Маневич А.Г., Мельников Д.В., Матвеев А.М., Прошин А.А., Сорокин А.А., Флитман Е.В. Создание информационного сервиса «Дистанционный мониторинг активности вулканов Камчатки и Курил» // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9, № 5. С. 155–170.
21. Лупян Е.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12, № 5. С. 263–284.