Применение нейронных сетей для повышения пространственного разрешения мультиспектральных изображений, полученных аппаратом Sentinel-2
ВВЕДЕНИЕ
Актуальность. На сегодняшний день остро стоит вопрос об оперативном предоставлении актуальной и наиболее полной пространственной информации для принятия оптимальных управленческих решений. Наиболее эффективным инструментом для решения многих задач в данной области являются данные дистанционного зондирования Земли (ДЗЗ). Современный этап развития ДЗЗ из космоса характеризуется стремительным ростом числа действующих на орбите спутников и одновременным увеличением пространственного и временного разрешения данных, что приводит к взрывному росту их объема. С одной стороны, это позволяет существенно расширить круг задач, решаемых на основе данных ДЗЗ, в том числе для мониторинга, а с другой стороны, возникает необходимость в разработке новых алгоритмов, обеспечивающих автоматизированное распознавание объектов на спутниковых снимках.
Один из широко распространенных подходов к увеличению разрешения мультиспектрального изображения реализуется с использованием нейронный сетей, т. к. выполнение анализа при помощи математических моделей и использование жестких алгоритмов обработки изображений весьма ресурсоемко из-за необходимости длительной отладки и тестирования конечного программного продукта, по причине множества нечетких требований, зависящих от конкретной ситуации или особенностей изображения. Использование нейросетевых моделей оправдывает себя, как с точки зрения открытых интеллектуальных ресурсов, единой терминологии, большей научной базы, возможности обучения и переобучения, легкой передачи моделей между различными платформами, легкой настройке и масштабирования для решения множества аналитических задач, имеющих размытые (неявно сформулированные, или имеющие большие погрешности) исходные данные через закладывание этих требований формированием набора данных для обучения модели.
Оглавление
Перечень условных обозначений и сокращений 4
ВВЕДЕНИЕ 5
ГЛАВА 1. КОСМИЧЕСКИЙ МОНИТОРИНГ И ОБЗОР ОРБИТАЛЬНОЙ ГРУППИРОВКИ АППАРАТОВ – SENTINEL 8
1.1. Система космического мониторинга 8
1.2 Группировка спутников Sentinel – 2 12
Выводы по главе 1 17
ГЛАВА 2. НЕЙРОННЫЕ СЕТИ 19
2.1 Общие сведения о нейронных сетях 19
2.2 Сверточные нейронные сети 24
2.3 Библиотека Keras 30
2.3.1 Основные термины применяемы в среде Keras 31
2.3.2 Роль библиотек для машинного обучения 33
2.3.3 Особенности Keras 33
2.3.4 Преимущества Keras 34
2.3.5 Недостатки Keras 36
Выводы по 2 главе 37
ГЛАВА 3. ПРИМЕНЕНИЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ПОВЫШЕНИЯ ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ КОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ, ПОЛУЧЕННЫХ АППАРАТАМИ ТИПА – SENTINEL-2 39
3.1 Исходные данные 39
3.2 Обучение модели 43
3.3 Этап предварительной обработки 45
3.4 Экспериментальное исследование 46
Выводы по 3 главе 54
ЗАКЛЮЧЕНИЕ 55
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 56
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Малинников В.А., Стеценко А.Ф., Алтынов А.Е., Попов С.М. - Мониторинг природной среды аэрокосмическими средствами // Издательство МИИГАиК. Москва. 2009.
2. Владимиров А.В., Салихов Р.С., Сеник Н.А. - Космическая система оперативного мониторинга техногенных и природных чрезвычайных ситуаций на базе КК «Канопус-В» и белорусского космического аппарата // Вопросы электромеханики. Труды ВНИИЭМ. - 2008. Т.105. №6. С. 49-57
3. Геопространственное агентство «Иннотер» [Электронный ресурс] // URL https://innoter.com/sputniki/envisat/ (дата обращения 14.05.2022)
4. Мышляков С.Г. «Возможности радарных снимков Sentinel-1 для решения задач сельского хозяйства [Электронный ресурс] // URL https://sovzond.ru/upload/iblock/531/16-24.pdf (дата обращения 02.05.2022)
5. Е.А. Балдина, К.А. Трошко, Н.Р. Николаев Радиолокационные данные Sentinel-1 и возможности их обработки для дешифрирования форм рельефа острова Котельный., Известия высших учебных заведений. геодезия и аэрофотосъемка, № 3, 2016 [Электронный ресурс] // URL https://istina.msu.ru/media/publications/article/779/e0e/26060488/Kotelny_Sentinel1.pdf (дата обращения 10.04.2022)
6. The European Space Agency [Электронный ресурс] // URL https://www.esa.int/Applications/Observing_the_Earth/Copernicus/Sentinel-2/Introducing_Sentinel-2 (дата обращения 14.05.2022)
7. The European Space Agency [Электронный ресурс] // URL https://sentinel.esa.int/web/sentinel/missions/sentinel-3 (дата обращения 15.04.2022)
8. The European Space Agency [Электронный ресурс] // URL https://sentinel.esa.int/web/sentinel/missions/Sentinel-4/objectives (дата обращения 15.04.2022)
9. The ESA Earth Observation Portal (eo Portal) [Электронный ресурс] // URL https://directory.eoportal.org/web/eoportal/satellite-missions/c-missions/copernicus-sentinel-5 (дата обращения 14.05.2022)
10. Официальный сайт NASA [Электронный ресурс] // URL https://blogs.nasa.gov/sentinel-6/tag/sentinel-6/ (дата обращения 14.05.2022)
11. The European Space Agency [Электронный ресурс] // URL https://sentinels.copernicus.eu/web/sentinel/missions/sentinel-2/satellite-description (дата обращения 14.05.2022)
12. Геопространственное агенство «Иннотер» [Электронный ресурс] // URL https://innoter.com/sputniki/sentinel-2a-2b/ (дата обращения 12.04.2022)
13. Дворкин Б.А. «Европейская программа GMES и перспективная группировка спутников ДЗЗ Sentinel» [Электронный ресурс] // URL https://sovzond.ru/upload/iblock/6b2/2dvorkin_evropeiskaya_programma_gmes.pdf (дата обращения 16.04.2022)
14. The European Space Agency [Электронный ресурс] // URL https://sentinel.esa.int/web/sentinel/missions/sentinel-2/ground-segment (дата обращения 16.04.2022)
15. База знаний Timeweb Community [Электронный ресурс] // URL https://timeweb.com/ru/community/articles/chto-takoe-iskusstvennyy-intellekt (дата обращения 01.05.2022)
16. Гафаров Ф.М Г12 Искусственные нейронные сети и приложения: учеб. пособие / Ф.М. Гафаров, А.Ф. Галимянов. – Казань: Изд-во Казан. ун-та, 2018. – 121 с.
17. Библиотека программиста PROGLIB [Электронный ресурс] // URL https://proglib.io/p/about-neural-networks (дата обращения 17.04.2022)
18. Хабр «Рекуррентные нейронные сети (RNN) с Keras» [Электронный ресурс] // URL https://habr.com/ru/post/487808/ (дата обращения 17.04.2022)
19. Neurohive «Рекуррентные нейронные сети: типы, обучение, примеры и применение» [Электронный ресурс] // URL https://neurohive.io/ru/osnovy-data-science/rekurrentnye-nejronnye-seti/ (дата обращения 17.04.2022)
20. N+1 «Азбука ИИ: Рекуррентные нейросети» [Электронный ресурс] // URL https://nplus1.ru/material/2016/11/04/recurrent-networks (дата обращения 17.04.2022)
21. DMI Ingate «Нейронные сети: какие бывают и как их используют бренды» [Электронный ресурс] // URL https://blog.ingate.ru/detail/neyronnye-seti-kakie-byvayut-i-kak-ikh-ispolzuyut-brendy/ (дата обращения 17.04.2022)
22. Medium «Коллекция нейронных сетей: 12 базовых» [Электронный ресурс] // URL https://medium.com/@bigdataschool/коллекция-нейронных-сетей-12-базовых-8a3f92959ec8 (дата обращения 18.04.2022)
23. Нейронные сети [Электронный ресурс] // URL https://neural.radkopeter.ru/chapter/основы-инс/ (дата обращения 18.04.2022)
24. Python-School «Топ – 12 видов нейронных сетей: базовые виды и их применение» [Электронный ресурс] // URL https://python-school.ru/blog/types-of-neural-nets/ (дата обращения 18.04.2022)
25. Круглов, В. В. Искусственные нейронные сети. Теория и практика / В.В. Круглов, В.В. Борисов. – М.: Горячая линия – Телеком, 2019. – 382 c.
26. Латыпова, Рамиля Нейронные сети / Рамиля Латыпова. – М.: LAP Lambert Academic Publishing, 2018. – 422 c.
27. Олескин, А. В. Сетевые структуры в биосистемах и человеческом обществе / А.В. Олескин. – М.: Едиториал УРСС, Либроком, 2018. – 304 c.
28. Всемирный Клубъ-Музей-Лекторий «Маски, Лики, Фигуры и энергоартефакты мира» «Нейросеть и искусственный интеллект» [Электронный ресурс] // URL https://mif-mira.ru/akademicheskie-sredy/post/nejroset-i-iskusstvennyj-intellekt (дата обращения 10.04.2022)
29. Омату, Сигеру Нейроуправление и его приложения. Книга 2 / Сигеру Омату. – М.: Радиотехника, 2019. – 325 c.
30. Редько, В.Г. Подходы к моделированию мышления / В.Г. Редько. – Москва: Мир, 2017. – 657 c.
31. Редько, В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики / В.Г. Редько. – Москва: ИЛ, 2017. – 224 c.
32. Irani, M., Peleg, S., 1990. Super Resolution from Image Sequences. Ieee, 115–120.
33. Huang, T., Yang, J., 2010. Image super-resolution: Historical overview and future challenges. Super-resolution imaging, 19-52.
34. Johnson, J., Alahi, A., Fei-Fei, L., 2016. Perceptual losses for real-time style transfer and super-resolution. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 9906 LNCS, 694 –711.
35. Singh, S., 2018. Enhanced Deep Image Super-Resolution. 2018 International Conference on Advances in Computing, Communications and Informatics (ICACCI), 1207–1211.
36. Zhao, L., Sun, Q., Zhang, Z., 2017. Single Image Super Resolution Based on Deep Learning Features and Dictionary Model. IEEE Access, 5(Cccv), 17126–17135.
Спутниковые изображения высокого, а последнее десятилетие и сверхвысокого разрешения всегда пользуются большим спросом у потребителей ввиду большей детализации и точности, которые они предлагают, а также из-за широкого диапазона областей в которых они могут быть применены. В последнее время орбитальная группировка увеличила численность работающих спутников, предлагающих изображения с высоким и сверхвысоким разрешением, но они по-прежнему остаются в меньшей пропорции по сравнению с существующими спутниками с более низким пространственным разрешением. Дороговизна и большой спрос на съемку делают зачастую не доступными данные о поверхности большинству пользователей. Выходом из сложившейся ситуации может быть сравнительно недорогая аэрофотосъемка с беспилотных летательных аппаратов, промышленная аэросъемка с применением самолетов. У всех этих способов есть, как плюсы, так и минусы. Зачастую минусы перевешивают, и пользователи оказываются в сложной ситуации дефицита данных ДЗЗ. В современном мире произошел титанический сдвиг в области компьютерных технологий. Особенно сильный рывок сделали компьютерные системы за последние двадцать лет. Развитие вычислительной техники и появление алгоритмов искусственного интеллекта позволяют генерировать новую информацию до этого не доступную. Так анализ зарубежной научной публицистики показал, что с 2012 года начинаются попытки применения нейронных сетей для целей повышения пространственного разрешения изображений [32]. В данной работе будет проведен эксперимент по повышению пространственного разрешения спутниковых изображений, полученных сенсорами аппарата Sentinel-2. Работа будет проведена с применением алгоритмов искусственного интеллекта путем глубокого обучения сверточных нейронных сетей.