(49-3) 11 * << * >> * Русский * English * Содержание * Все выпуски

Оценка эффективности ансамбля нейросетей для маскирования облачности по данным спектрорадиометра AHI космического аппарата Himawari-8/9
А.И. Андреев 1,2, С.И. Мальковский 1, М.О. Кучма 1,2, Ю.А. Шамилова 2

1 Вычислительный центр Дальневосточного отделения Российской академии наук,
680000, Россия, г. Хабаровск, ул. Ким Ю Чена, д. 65;
2 Дальневосточный центр федерального государственного бюджетного учреждения
«Научно-исследовательский центр космической гидрометеорологии «Планета»,
680000, Россия, г. Хабаровск, ул. Ленина, д. 18

  PDF, 1586 kB

DOI: 10.18287/2412-6179-CO-1525

Страницы: 451-460.

Аннотация:
В работе исследуется метод расчета маски облачности, основанный на использовании нескольких сверточных нейросетевых классификаторов с применением метода бутстрэпинга. Разработанный на его основе алгоритм позволяет обнаруживать облачность на спутниковых изображениях спектрорадиометра Advanced Himawari Imager, установленного на геостационарные космические аппараты Himawari-8 и 9, независимо от условий наблюдения и освещения на территории Азиатско-Тихоокеанского региона. Точность полученных результатов оценена с использованием маски облачности, предоставляемой Национальным управлением океанических и атмосферных исследований США, NOAA. Численная оценка и визуальный анализ показали достаточно высокую точность разработанного алгоритма, в том числе в сравнении с ранее представленной авторами версией классификатора. Среднее значение f1-меры в сравнении с масками NOAA составляет от 75% в сумеречное время суток до 85% в дневное время, что позволяет использовать предложенный алгоритм для расчета различной тематической продукции гидрометеорологического назначения.

Ключевые слова:
AHI, Himawari, облачность, маска, нейронная сеть, бутстрэпинг, ансамбль классификаторов.

Благодарности
Исследование выполнено за счет гранта Российского научного фонда № 23-77-00011, https://rscf.ru/project/23-77-00011/. В работе использовались ресурсы Центра коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений Института космических исследований Российской академии наук для решения задач изучения и мониторинга окружающей среды (ЦКП «ИКИ-Мониторинг»).

Цитирование:
Андреев, А.И. Оценка эффективности ансамбля нейросетей для маскирования облачности по данным спектрорадиометра AHI космического аппарата Himawari-8/9 / А.И. Андреев, С.И. Мальковский, М.О. Кучма, Ю.А. Шамилова // Компьютерная оптика. – 2025. – Т. 49, № 3. – С. 451-460. – DOI: 10.18287/2412-6179-CO-1525.

Citation:
Andreev AI, Malkovsky SI, Kuchma MO, Shamilova YA. An ensemble method for cloud mask calculation based on data from the AHI instrument onboard the Himawari-8/9 satellite using convolutional neural networks. Computer Optics 2025; 49(3): 451-460. DOI: 10.18287/2412-6179-CO-1525.

References:
  1. Guide to instruments and methods of observations: Volume IV – Space-based observations. Geneva: World Meteorological Organization; 2021. Source: <https://library.wmo.int/ru/records/item/68662-guide-to-instruments-and-methods-of-observation?language_id=28&back=&offset=628>.
  2. Mahajan S, Fataniya B. Cloud detection methodologies: Variants and development – A review. Complex Intell Syst 2020; 6(2): 251-261. DOI: 10.1007/s40747-019-00128-0.
  3. Li Z, Shen H, Weng Q, Zhang Y, Dou P, Zhang L. Cloud and cloud shadow detection for optical satellite imagery: Features, algorithms, validation, and prospects. ISPRS J Photogramm Remote Sens 2022; 188: 89-108. DOI: 10.1016/j.isprsjprs.2022.03.020.
  4. Sun L, Wei J, Wang J, Mi X, Guo Y, Lv Y, Yang Y, Gan P, Zhou X, Jia C, Tian X. A universal dynamic threshold cloud detection algorithm (UDTCDA) supported by a prior surface reflectance database. J Geophys Res Atmos 2016; 121(12): 7172-7196. DOI: 10.1002/2015JD024722.
  5. Volkova EV. Comparison of two threshold methods for cloud cover parameters estimation using SEVIRI/Meteosat-9 data [In Russian]. Sovremmennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2011; 8(4): 54-60.
  6. Zhuge X, Zou X. Test of a modified infrared-only ABI cloud mask algorithm for AHI radiance observations. J Appl Meteorol Climatol 2016; 55(11): 2529-2546. DOI: 10.1175/JAMC-D-16-0254.1.
  7. Imai T, Yoshida R. Algorithm theoretical basis for Himawari-8 cloud mask product. Meteorological Satellite Center Technical Note 2016; 61: 1-17.
  8. Lyapustin A, Wang Y, Frey R. An automatic cloud mask algorithm based on time series of MODIS measurements. J Geophys Res Atmos 2008; 113(D16). DOI: 10.1029/2007JD009641. Source: <https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2007JD009641>.
  9. Derrien M, Le Gléau H. Improvement of cloud detection near sunrise and sunset by temporal-differencing and region-growing techniques with real-time SEVIRI. Int J Remote Sens 2010; 31(7): 1765-1780. DOI: 10.1080/01431160902926632.
  10. Mateo-Garcia G, Gomez-Chova L, Camps-Valls G. Convolutional neural networks for multispectral image cloud masking. 2017 IEEE Int Geoscience and Remote Sensing Symposium (IGARSS) 2017: 2255-2258. DOI: 10.1109/IGARSS.2017.8127438.
  11. Bloshchinskiy VD, Kuchma MO, Andreev AI, Sorokin AA. Snow and cloud detection using a convolutional neural network and low-resolution data from the Electro-L No. 2 Satellite. J Appl Remote Sens 2020; 14(3): 034506. DOI: 10.1117/1.JRS.14.034506.
  12. Chu X, Ilyas IF, Krishnan S. Data cleaning: Overview and emerging challenges. Proc 2016 Int Conf on Management of Data 2016: 2201-2206. DOI: 10.1145/2882903.2912574.
  13. Kilpatrick KA, Podesta G, Williams E, Walsh S, Minnett PJ. Alternating decision trees for cloud masking in MODIS and VIIRS NASA sea surface temperature products. J Atmos Oceanic Tech 2019; 36(3): 387-407. DOI: 10.1175/JTECH-D-18-0103.1.
  14. Liu C, Yang S, Di D, Yang Y, Zhou C, Hu X, Sohn BJ. A machine learning-based cloud detection algorithm for the Himawari-8 spectral image. Adv Atmos Sci 2022; 39(12): 1994-2007. DOI: 10.1007/s00376-021-0366-x.
  15. Tan Z, Liu C, Ma S, Wang X, Shang J, Wang J, Ai W, Yan W. Detecting multilayer clouds from the geostationary advanced Himawari imager using machine learning techniques. IEEE Trans Geosci Remote Sens 2021; 60: 4103112. DOI: 10.1109/TGRS.2021.3087714.
  16. Breiman L. Random forests. Mach Learn 2001; 45(1): 5-32. DOI: 10.1023/A:1010933404324.
  17. Nzuva S, Nderu L. The superiority of the ensemble classification methods: A comprehensive review. Journal of Information Engineering & Applications 2019; 9(5): 43-53. DOI: 10.7176/JIEA/9-5-05.
  18. Phung VH, Rhee EJ. A high-accuracy model average ensemble of convolutional neural networks for classification of cloud image patches on small datasets. Appl Sci 2019; 9(21): 4500. DOI: 10.3390/app9214500.
  19. Drönner J, Korfhage N, Egli Sm Mühling M, Thies B, Bendix J, Freisleben B, Seeger B. Fast cloud segmentation using convolutional neural networks. Remote Sens 2018; 10(11): 1782. DOI: 10.3390/rs10111782.
  20. Zhang J, et al. Ensemble meteorological cloud classification meets internet of dependable and controllable things. IEEE Internet Things J 2020; 8(5): 3323-3330. DOI: 10.1109/JIOT.2020.3043289.
  21. Bhagwat RU, Shankar BU. A novel multilabel classification of remote sensing images using XGBoost. 2019 IEEE 5th Int Conf for Convergence in Technology (I2CT) 2019: 1-5. DOI: 10.1109/I2CT45611.2019.9033768.
  22. Jafarzadeh H, et al. Bagging and boosting ensemble classifiers for classification of multispectral, hyperspectral and PolSAR data: a comparative evaluation. Remote Sens 2021; 13(21): 4405. DOI: 10.3390/rs13214405.
  23. Shao Z, Ahmad MN, Javed A. Comparison of random forest and XGBoost classifiers using integrated optical and SAR features for mapping urban impervious surface. Remote Sens 2024; 16(4): 665. DOI: 10.3390/rs16040665.
  24. Kuchma MO, Voronin BB. Creating a training sample for a convolutional neural network in the task of thematic processing of satellite images [In Russian]. In Book: Voronin VV, et al., eds. Information technologies of the 21st century. Habarovsk: Pacific National University Publisher; 2020: 187-191.
  25. Andreev AI, Shamilova YA. Cloud detection from the Himawari-8 Satellite data using a convolutional neural network. Izvestiya, Atmospheric and Oceanic Physics 2021; 57(9): 1162-1170. DOI: 10.1134/S0001433821090401.
  26. Ackerman SA, Strabala KI, Menzel WP, Frey RA, Moeller CC, Gumley LE. Discriminating clear sky from clouds with MODIS. J Geophys Res Atmos 1998; 103(D24): 32141-32157. DOI: 10.1029/1998JD200032.
  27. Liu Y, Key JR, Frey RA, Ackerman SA, Menzel WP. Nighttime polar cloud detection with MODIS. Remote Sens Environ 2004; 92(2): 181-194. DOI: 10.1016/j.rse.2004.06.004.
  28. Reguiegue M, Chouireb F. Automatic day time cloud detection over land and sea from MSG SEVIRI images using three features and two artificial intelligence approaches. Signal Image Video Process 2018; 12(1): 189-196. DOI: 10.1007/s11760-017-1145-0.
  29. Shang H, Chen L, Letu H, Zhao M, Li S, Bao S. Development of a daytime cloud and haze detection algorithm for Himawari-8 satellite measurements over central and eastern China. J Geophys Res Atmos 2017; 122(6): 3528-3543. DOI: 10.1002/2016JD025659.
  30. Zhang CW, Zhuge XY, Yu F. Development of a high spatiotemporal resolution cloud-type classification approach using Himawari-8 and CloudSat. Int J Remote Sens 2019; 40: 6464-6481. DOI: 10.1080/01431161.2019.1594438.
  31. He Q. Night-time cloud detection for FY-3A/VIRR using multispectral thresholds. Int J Remote Sens 2013; 34(8): 2876-2887. DOI: 10.1080/01431161.2012.755275.
  32. Frey RA, Ackerman SA, Liu Y, Strabala KI, Zhang H, Key JR, Wang X. Cloud detection with MODIS. Part I: Improvements in the MODIS cloud mask for collection 5. J Atmos Oceanic Tech 2008; 25(7): 1057-1072. DOI: 10.1175/2008JTECHA1052.1.
  33. Hocking J, Francis PN, Saunders R. Cloud detection in Meteosat second generation imagery at the Met Office. Meteorol Appl 2011; 18(3): 307-323. DOI: 10.1002/met.239.
  34. Heidinger A, Straka W. Algorithm theoretical basis document NOAA Enterprise Cloud Mask. NOAA NESDIS Center for Satellite Applications and Research 2020: 73.
  35. Lee H, Song J. Introduction to convolutional neural network using Keras; an understanding from a statistician. Commun Stat Appl Methods 2019; 26(6): 591-610. DOI: 10.29220/CSAM.2019.26.6.591.
  36. Breiman L. Bagging predictors. Mach Learn 1996; 24(2): 123-140. DOI: 10.1007/BF00058655.
  37. Breiman L. Heuristics of instability and stabilization in model selection. The Annals of Statistics 1996; 24(6): 2350-2383. DOI: 10.1214/aos/1032181158.
  38. Kingma DP, Ba J. Adam: A method for stochastic optimization. arXiv Preprint. 2014. Source: <https://arxiv.org/abs/1412.6980>. DOI: 10.48550/arXiv.1412.6980.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20