(45-4) 11 * << * >> * Русский * English * Содержание * Все выпуски

Система признаков для расширенного суперпиксельного представления изображений
А.А. Егорова 1, В.В. Сергеев 1,2

1 Самарский национальный исследовательский университет имени академика С.П. Королёва,
443086, Россия, г. Самара, Московское шоссе, д. 34,
2 ИСОИ РАН – филиал ФНИЦ «Кристаллография и фотоника» РАН,
443001, Россия, г. Самара, ул. Молодогвардейская, д. 151

 PDF, 1441 kB

DOI: 10.18287/2412-6179-CO-876

Страницы: 562-574.

Аннотация:
Как правило, при решении прикладных задач анализа и обработки изображений на основе суперпиксельного представления используется малый набор признаков суперпикселей. Расширение описания суперпикселей может повысить качество обрабатывающих алгоритмов. В статье предлагается набор из 25 базовых признаков суперпикселей, характеризующих их форму, яркость, геометрические параметры и положение на плоскости. Предлагаемые признаки отвечают требованиям низкой сложности вычисления в процессе сегментации изображения и достаточности для решения широкого класса прикладных задач. На их основе представлена модификация известного подхода к формированию суперпикселей, которая заключается в быстрой первичной суперпиксельной сегментации изображения со строгим предикатом однородности, обеспечивающим получение суперпикселей, с высокой точностью сохраняющих информацию исходного растрового изображения, и последующем укрупнении суперпикселей при более мягких предикатах однородности. Экспериментально показано, что такой подход позволяет существенно сократить число элементов изображения, что способствует снижению сложности обрабатывающих алгоритмов, а расширенные суперпиксели более точно соответствуют содержательным областям изображения.

Ключевые слова:
суперпиксельная сегментация, признак, моментные инварианты, полиномиальная аппроксимация.

Благодарности
Работа выполнена при поддержке гранта РФФИ (№ 19-37-90116), а также Министерства науки и высшего образования РФ в рамках выполнения работ по Государственному заданию ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26).

Цитирование:
Егорова, А.А. Система признаков для расширенного суперпиксельного представления изображений / А.А. Егорова, В.В. Сергеев // Компьютерная оптика. – 2021. – Т. 45, № 4. – С. 562-574. – DOI: 10.18287/2412-6179-CO-876.

Citation:
Egorova AA, Sergeyev VV. Extended set of superpixel features. Computer Optics 2021; 45(4): 562-574. DOI: 10.18287/2412-6179-CO-876.

Литература:
  1. Введение в цифровую обработку изображений / Л.П. Ярославский. – М.: Советское радио, 1979. – 312 с.
  2. Pratt, W.K. Digital image processing / W.K. Pratt. – 4th ed. – Hoboken, NJ: John Wiley & Sons, Inc., 2007. – 812 p.
  3. Обработка изображений в автоматизированных системах научных исследований / В.А. Виттих, В.В. Сергеев, В.А. Сойфер. – М.: Наука, 1982. – 214 с.
  4. Алгоритмы машинной графики и обработки изображений / Т. Павлидис. – М.: Радио и связь, 1986. – 400 с.
  5. Методы компьютерной обработки изображений / М.В. Гашников и др.; под ред. В.А. Сойфера. – Изд. 2-е, испр. – М.: Физматлит, 2003. – 784 с.
  6. Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. – London: Pearson, 2018. – 1168 p.
  7. Achanta, R. SLIC superpixels compared to state-of-the-art superpixel methods / Achanta [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2012. – Vol. 34, Issue 11. – P. 2274-2282.
  8. Stutz, D. Superpixels: An evaluation of the state-of-the-art / D. Stutz, A. Hermans, B. Leibe // Computer Vision and Image Understanding. – 2018. – Vol. 166. – P. 1-27.
  9. Felzenszwalb, P.F. Efficient graph-based image segmentation / P.F. Felzenszwalb, D.P. Huttenlocher // International Journal of Computer Vision. – 2004. – Vol. 59, Issue 2. – P. 167-181.
  10. Vedaldi, A. Quick shift and kernel methods for mode seeking / A. Vedaldi, S. Soatto // Proceedings of the European Conference on Computer Vision. – 2008. – P. 705-718.
  11. Levinshtein, A. Turbopixels: Fast superpixels using geometric flows / A. Levinshtein [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2009. – Vol. 31, Issue 12. – P. 2290-2297.
  12. Veksler, O. Superpixels and supervoxels in an energy optimization framework / O. Veksler, Y. Boykov, P. Mehrani. – In: Computer Vision – ECCV 2010 / ed. by K. Daniilidis, P. Maragos, N. Paragios. – Berlin, Heidelberg: Springer-Verlag, 2010. – P. 211-224.
  13. Блохинов, Ю.Б. Разработка алгоритма семантической сегментации аэрофотоснимков реального времени / Ю.Б. Блохинов, В.А. Горбачев, Ю.О. Ракутин, А.Д. Никитин // Компьютерная оптика. – 2018. – Т. 42, № 1. – С. 141-148. – DOI: 10.18287/2412-6179-2018-42-1-141-148.
  14. Liu, M. Entropy rate superpixel segmentation / M. Liu [et al.] // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. – 2011. – P. 2097-2104.
  15. Wang, J. VCells: Simple and efficient superpixels using edge-weighted centroidal Voronoi tessellations / J. Wang, X. Wang // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2012. – Vol. 34, Issue 6. – P. 1241-1247.
  16. Conrad, C. Contour-relaxed superpixels / C. Conrad, M. Mertz, R. Mester. – In: Energy minimization methods in computer vision and pattern recognition / ed. by A. Heyden, F. Kahl, C. Olsson, M. Oskarsson, X.-C. Tai. – Heidelberg: Springer, 2013. – P. 280-293.
  17. Shen, J. Lazy random walks for superpixel segmentation / J. Shen, Y. Du, W. Wang, X. Li // IEEE Transactions on Image Processing. – 2014. – Vol. 23, Issue 4. – P. 1451-1462.
  18. Neubert, P. Compact watershed and preemptive SLIC: On improving trade-offs of superpixel segmentation algorithms / P. Neubert, P. Protzel // 2014 22nd International Conference on Pattern Recognition. – 2014. – P. 996-1001.
  19. Van den Bergh, M. SEEDS: Superpixels extracted via energy-driven sampling / M. Van den Bergh [et al.] // International Journal of Computer Vision. – 2015. – Vol. 111, Issue 3. – P. 298-314.
  20. Li, Z. Superpixel segmentation using linear spectral clustering / Z. Li, J. Chen // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2015. – P. 1356-1363.
  21. Wei, X. Superpixel hierarchy / X. Wei [et al.] // IEEE Transactions on Image Processing. – 2018. – Vol. 27, Issue 10. – P. 4838-4849.
  22. Fu, K. A survey on image segmentation / K. Fu, J. Mui // Pattern Recognition. – 1981. – Vol. 13, Issue 1. – P. 3-16.
  23. Денисов, Д.А. Сегментация изображений на ЭВМ / Д.А. Денисов, В.А. Низовкин // Зарубежная радиоэлектроника. – 1985. – № 10. – C. 5-31.
  24. Haralick, R. Image segmentation techniques / R. Haralick, L. Shapiro // Computer Vision, Graphics and Image Processing. – 1985. – Vol. 29. Issue 2. – P. 100-132.
  25. Pal, N. A review on image segmentation techniques / N. Pal, S. Pal // Pattern Recognition. – 1993. – Vol. 26, Issue 9. – P. 1277-1294.
  26. Mehnert, A. An improved seeded region growing algorithm / A. Mehnert, O. Jackway // Pattern Recognition Letters. – 1997. – Vol. 18, Issue 10. – P. 1065-1071.
  27. Чукин, Ю.В. Структуры данных для представления изображений / Ю.В. Чукин // Зарубежная радиоэлектроника. – 1983. – № 8. – С. 35-47.
  28. Wang, M. Superpixel segmentation: A benchmark / M. Wang [et al.] // Signal processing: Image Communication. – 2017. – Vol. 56. – P. 28-39.
  29. Neubert, P. Superpixel benchmark and comparison / P. Neubert, P. Protzel // Forum Bildverarbeitung. – 2012. – P. 1-12.
  30. Schick, A. An evaluation of the compactness of superpixels / A. Schick, M. Fischer, R. Stiefelhagen // Pattern Recognition Letters. – 2014. – Vol. 43. – P. 71-80.
  31. Schick, A. Measuring and evaluating the compactness of superpixels / A. Schick, M. Fischer, R. Stiefelhagen // Proceedings of the International Conference on Pattern Recognition. – 2012. – P. 930-934.
  32. Сергеев, В.В. Имитационная модель изображения и метод сжатия данных / В.В Сергеев, В.А Сойфер // Автоматика и вычислительная техника. – 1978. – Т. 12, № 3. – С. 76-78.
  33. Сергеев, В.В. Метод сжатия видеоданных с использованием критерия равномерного приближения / В.В Сергеев // Вопросы кибернетики. Кодирование и передача информации в вычислительных сетях. – 1978. – № 42. – С. 146-149.
  34. Csillik, O. Fast segmentation and classification of very high resolution remote sensing data using SLIC superpixels / O. Csillik // Remote Sensing. – 2017. – Vol. 9, Issue 3. – P. 1-19.
  35. Li, S. Multi-scale superpixel spectral-spatial classification of hyperspectral images / S. Li [et al.] // International Journal of Remote Sensing. – 2016. – Vol. 37, Issue 20. – P. 4905-4922.
  36. Левчук, В.А. Методика количественного описания биомедицинских изображений на основе словарей суперпикселов / В.А. Левчук, В.А. Ковалев // Информатика. – 2016. – Т. 1. – С. 49-57.
  37. Lucks, L. Superpixel-wise assessment of building damage from aerial images / L. Lucks [et al.] // Proceedings of the 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. – 2019. – Vol. 4. – P. 211-220.
  38. Gould, S. Multi-class segmentation with relative location prior / S. Gould [et al.] // International Journal of Computer Vision. – 2008. – Vol. 80. – P. 300-316.
  39. Barnard, K. Matching words and pictures / K. Barnard [et al.] // Journal of Machine Learning Research. – 2003. – Vol. 3, Issue 2. – P. 1107-1135.
  40. Hoiem, D. Geometric context from a single image / D. Hoiem, A.A. Efros, M. Hebert // Tenth IEEE International Conference on Computer Vision (ICCV'05). – 2005. – Vol. 1. – P. 654-661.
  41. Tighe, J. SuperParsing: Scalable nonparametric image parsing with superpixels / J. Tighe, S. Lazebnik // International Journal of Computer Vision. – 2010. – Vol. 101, Issue 2. – P. 352-365.
  42. Malisiewicz, T. Recognition by association via learning per-exemplar distances / T. Malisiewicz, A.A. Efros // 2008 IEEE Conference on Computer Vision and Pattern Recognition. – 2008. – P. 1-8.
  43. Hoiem, D. Recovering occlusion boundaries from a single image / D. Hoiem [et al.] // 2007 IEEE 11th International Conference on Computer Vision. – 2007. – P. 1-8.
  44. Cheng, J. Superpixel classification for initialization in model based optic disc segmentation / J. Cheng, J. Liu, Y. Xu // Annual International Conference of the IEEE Engineering in Medicine and Biology Society. – 2012. – P. 1450-1453.
  45. Pont-Tuset, J. Multiscale combinatorial grouping for image segmentation and object proposal generation / J. Pont-Tuset [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2016. – Vol. 39, Issue 1. – P. 128-140.
  46. Ильясова, Н.Ю. Алгоритмы автоматической кластеризации изображения микрочастиц / Н.Ю. Ильясова, А.В. Устинов, А.Г. Храмов // Компьютерная оптика. – 1993. – Вып. 13. – С. 39-46.
  47. Абрамов, Н.С. Распознавание на основе инвариантных моментов / Н.С. Абрамов, В.М. Хачумов // Вестник РУДН. Серия Математика. Информатика. Физика. – 2014. – № 2. – C. 142-149.
  48. Распознавание и цифровая обработка изображений / Б.В. Анисимов, В.Д. Курганов, В.К. Злобин. – М.: Высшая школа, 1983. – 295 с.
  49. Hu, M.K. Visual pattern recognition by moment invariants / M.K. Hu // IRE Transactions on Information Theory. – 1962. – Vol. 8, Issue 2. – P. 179-187.
  50. Maitra, S. Moment invariants / S. Maitra // Proceedings of the IEEE. – 1979. – Vol. 67, Issue 4. – P. 697-699.
  51. Глумов, Н.И. Построение и применение моментных инвариантов для обработки изображений в скользящем окне / Н.И. Глумов // Компьютерная оптика. – 1995. – Вып. 14-15, Часть 1. – С. 46-54.
  52. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений / А.Ю. Линник. – М.: Физматлит, 1962. – 349 c.
  53. Liu, T. Image segmentation using hierarchical merge tree / T. Liu, M. Seyedhosseini, T. Tasdizen // IEEE Transactions on Image Processing. – 2016. – Vol. 25, Issue 10. – P. 4596-4607.
  54. Setyanto, A. Hierarchical visual content modelling and query based on trees / A. Setyanto, J. Woods // Electronic Letters on Computer Vision and Image Analysis. – 2016. – Vol. 15, Issue 2. – P. 40-42.
  55. Jiao, X. An unsupervised image segmentation method combining graph clustering and high-level feature representation / X. Jiao, Y. Chen, R. Dong // Neurocomputing. – 2020. – Vol. 409. – P. 83-92.
  56. Galvão, F.L. Image segmentation using dense and sparse hierarchies of superpixels / F.L. Galvão [et al.] // Pattern Recognition. – 2020. – Vol. 108. – P. 1-14.
  57. Treméau, A. Regions adjacency graph applied to color image segmentation / A. Treméau, P. Colantoni // IEEE Transactions on Image Processing. – 2000. – Vol. 9, Issue 4. – P. 735-744.
  58. Harary, F. Graph theory / F. Harary. – Boston: Addison-Wesley, 1971. – 274 p.
  59. Ren, Z. Image Segmentation by cascaded region agglomeration / Z. Ren, G. Shakhnarovich // 2013 IEEE Conference on Computer Vision and Pattern Recognition. – 2013. – P. 2011-2018.
  60. Wang, K. End-to-end trainable network for superpixel and image segmentation / K. Wang, L. Li, J. Zhang // Pattern Recognition Letters. – 2020. – Vol. 140. – P. 135-142.
  61. Chang, K. Machine learning based image segmentation / K. Chang. – Paris: Université PSL, 2019. – 153 p.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: journal@computeroptics.ru; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20