Вестник НГУ
Серия: Информационные технологии

Научный журнал, основан в 2003 году

ISSN 2410-0420 (Online), ISSN 1818-7900 (Print)

Switch to
English

Все выпуски >> Содержание журнала: Том 14, Выпуск № 3 (2016)

Применение массово-параллельных технологий для организации потоковой обработки радарных данных
Вадим Петрович Потапов, Семен Евгеньевич Попов, Михаил Александрович Костылев

Институт вычислительных технологий СО РАН
УДК : 004.042

Аннотация
Представлен современный подход к созданию распределенного программного комплекса на базе массовопараллельной технологии Apache Spark для потоковой пре- и постобработки радарных снимков. Отличительной особенностью системы является возможность работы в режиме реального времени с большими объемами потоковых данных, а также возможность применения существующих алгоритмов не предназначенных для распределенной обработки на множестве узлов без изменения реализации алгоритма. В работе приводится сравнение технологий распределенных вычислений, представлено общее описание кластера и механизма выполнения задач преи постпроцессинга радарных данных, также приведены особенности имплементации конкретных задач в рамках предложенного подхода. В заключении приведены результаты тестирования разработанных алгоритмов на демонстрационном кластере.

Ключевые слова
Apache Spark, Apache Hadoop, распределенные информационные системы, радарная интерферометрия, алгоритмы обработки

Цитирование:
Потапов В. П., Попов С. Е., Костылев М. А. Применение массово-параллельных технологий для организации потоковой обработки радарных данных // Вестник НГУ Серия: Информационные технологии. - 2016. - Том 14, Выпуск № 3. - С. 69-80. - ISSN 1818-7900.

Полный текст публикации

Просмотр в формате PDF

Список цитируемой литературы
1. Елизаветин И. В., Шувалов Р. И., Буш В. А. Принципы и методы радиолокационной съемки для целей формирования цифровой модели местности // Геодезия и картография. 2009. № 1. С. 39–45.
2. Ferretti A., Monti-Guarnieri A., Prati C., Rocca F., Massonnet D. InSAR Principles: Guidelines for SAR Interferometry Processing and Interpretation. ESA Publications. 2007. TM-19.
3. Zhengxiao Li, James Bethel. Image coregistration in sar interferometry // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. 37. Part B1. Beijing, 2008. Р. 433–438.
4. Massonnet D., Feigl K. L. Radar interferometry and its application to changes in the earth’s surface // Reviews of Geophysics. 1998. Vol. 36 (4). P. 441–500.
5. Costantini M., Farina A., Zirilli F. A fast phase unwrapping algorithm for SAR interferometry // IEEE Trans. GARS. 1999.Vol. 37. No. 1. P. 452–460.
6. Mistry P., Braganza S., Kaeli D., Leeser M. Accelerating phase unwrapping and affine transformations for optical quadrature microscopy using CUDA // Proc. of 2nd Workshop on General Purpose Processing on Graphics Processing Units, GPGPU 2009. Washington, DC, USA, 2009.
7. Karasev P. A., Campbell D. P., Richards M. A. Obtaining a 35x Speedup in 2D Phase Unwrapping Using Commodity Graphics Processors // Radar Conference. 2007 IEEE. P. 574–578.
8. Верба В. С., Неронский Л. Б., Осипов И. Г., Турук В. Э. Радиолокационные системы землеобзора космического базирования. М.: Радиотехника, 2010. 675 с.
9. Zhenhua Wu, Wenjing Ma, Guoping Long, Yucheng Li, Yucheng Li, Yucheng Li. High Performance Two-Dimensional Phase Unwrapping on GPUs // Proc. of the 11th ACM Conference on Computing Frontiers – CF '14. 2014.
10. Shi Xin-Liang, Xie Xiao-Chun. GPU acceleration of range alignment based on minimum entropy criterion // Radar Conference 2013, IET International. 14-16 April 2013. P. 1–4.
11. Guerriero A., Anelli1 V. W., Pagliara1 A., Nutricato R., Nitti D. O. High performance GPU implementation of InSAR time-consuming algorithm kernels // Proc. of the 1st Workshop on the State of the art and Challenges Of Research Efforts at POLIBA. 2014. p. 383
12. Fan Zhang, Bing-nan Wang, Mao-sheng Xiang. Accelerating InSAR raw data simulation on GPU using CUDA. Geoscience and Remote Sensing Symposium (IGARSS), 2010 IEEE International. 25–30 July 2010. P. 2932–2935.
13. Marinkovic, P. S., Hanssen, R. F., Kampes, B. M. Utilization of Parallelization Algorithms in InSAR/PS-InSAR Processing // Proceedings of the 2004 Envisat ERS Symposium (ESA SP572). 6–10 September 2004. P. 1–7
14. Gao Sheng, Zeng Qi-ming, Jiao Jian, Liang Cun-ren, Tong Qing-xi. Parallel processing of InSAR interferogram filtering with CUDA programming // Science of Surveying and Mapping. 2015. No. 1. P. 54–68.
15. Феоктистов А. А., Захаров А. И., Гусев М. А., Денисов П. В. Исследование возможностей метода малых базовых линий на примере модуля SBaS программного пакета SARScape и данных РСА ASAR/ENVISat и PALSAR/ALOS. Часть 1. Ключевые моменты метода // Журнал радиоэлектроники. 2015. № 9. С. 1–26.
16. Reyes-Ortiz J. L., Oneto L., Anguita D. Big Data Analytics in the Cloud: Spark on Hadoop vs MPI/OpenMP on Beowulf // INNS Conference on Big Data 2015 Program San Francisco. 8–10 August 2015. P. 121–130
17. Prakasam Kannan. Beyond Hadoop MapReduce Apache Tez and Apache Spark. San Jose State University. URL: http://www.sjsu.edu/people/robert.chun/courses/CS259Fall2013/s3/F.pdf (дата обращения 02.08.2016).
18. Потапов В. П., Попов С. Е. Высокопроизводительный алгоритм роста регионов для развертки интерферометрической фазы на базе технологии CUDA // Программная инженерия. 2016. № 2. C. 61–74. DOI: 10.17587/prin.7.61-74

Информация о публикации
Вестник НГУ Серия: Информационные технологии, Том 14, Выпуск № 3 (2016).
Год издания: 2016
ISSN: 1818-7900 (Print), ISSN 2410-0420 (Online)
Издатель: Федеральное государственное автономное образовательное учреждение высшего образования "Новосибирский национальный исследовательский государственный университет"
Ссылка на репозиторий


|Головная| |Все выпуски| |Информация для авторов| |Редакционнный Совет| |Этические принципы| |Редакционная политика| |Контакты| |Оплата публикации| |Политика свободного доступа| |Старый сайт журнала|

inftech@vestnik.nsu.ru
© 2006-2018, Новосибирский государственный университет.