Automatic Thematic Maps Using Multiple Sensors

Geographic Information Systems (GIS) are automated systems whose purpose is to store, analyze and manipulate geographic data. They help decision-making on various issues related to public policies for environmental and urban monitoring. In addition, they are important tools in economic activities of agriculture and mineral extraction. In this context, Remote Sensing Images (ISRs) have been used as one of the most important data sources, especially with regard to the creation of thematic maps. This process is usually modeled as a supervised classification problem in which the system needs to learn the patterns of interest provided by the user and assign a class to the rest of the regions of the image. Many challenges are associated with the very nature of ISRs in which it can be highlighted: (1) they are georeferenced images, that is, each pixel has an associated geographic coordinate; (2) they generally encode much more than information in the visible spectrum (R,G,B), which requires the development of specific algorithms to describe patterns; (3) data can vary in spatial resolution by changing the level of detail of the patterns and; (4) many applications tend to require spatiotemporal data analysis, with multiple images of the study site over time. Thus, it is very common to have images obtained from different sensors, which could improve the quality of the generated thematic maps. However, this requires the creation of techniques capable of encoding and properly combining the different properties of the images. Thus, this project proposes the development of robust techniques for representing regions in remote sensing images that can encode features extracted from different data sources, such as: (1) spatiotemporal descriptors; (2) spectro-spatial descriptors; and (3) context-based descriptors. It is also intended to develop a framework capable of exploring the diversity of these different types of characteristics to achieve high degrees of accuracy in the creation of thematic maps.


Full Title: GeoFusion– Automatic creation of thematic maps using data from multiple sensors. Funding: Brazilian National Council for Scientific and Technological Development (CNPq). Duration: 2014-2017.


Related Publications:

  • K. Nogueira, O. A. B. Penatti and J. A. dos Santos. Towards better exploiting convolutional neural networks for remote sensing scene classification. Pattern Recognition, 61, 539-556, 2017. [PDF]
  • J. Almeida, J. A. dos Santos, W. O. Miranda, B. Alberton, L. P. C. Morellato, and R. da S. Torres. Phenological Visual Rhythms: Compact Representations for Fine-Grained Plant Species Identification. Pattern Recognition Letters, v. 81, p. 90-100, 2016. [DOI]

  • R. Baeta, K. Nogueira, D. Menotti, J. A. dos Santos. Learning Deep Features on Multiple Scales for Coffee Crop Recognition. In: 2017 30th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2017, Niterói. [PDF]
  • E. Ferreira, A. A. Araujo, J. A. dos Santos. A Boosting-Based Approach for Remote Sensing Multimodal Image Classification. In: 2016 29th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2016, Sao José dos Campos.
  • T. Santana, K. Nogueira, A. M. C. Machado, J. A. dos Santos. Deep Contextual Description of Superpixels for Aerial Urban Scenes Classification. In: International Geoscience & Remote Sensing Symposium (IGARSS 2017), 2017, Fort Worth. [PDF]
  • K. Nogueira, J. A. dos Santos, L. Cancian, B. Borges, T. S. F. Silva, P. Morelatto, Torres, R. da S. Torres. Semantic segmentation on vegetation images acquired by unmanned aerial vehicles using an ensemble of convnets. In: International Geoscience & Remote Sensing Symposium (IGARSS 2017), 2017, Fort Worth. [PDF]

[In portuguese] Sistemas de Informação Geográfica (SIGs) são sistemas automatizados cuja finalidade é armazenar, analisar e manipular dados geográficos. Eles auxiliam a tomada de decisões em diversas questões relacionadas a políticas públicas de monitoramento ambiental e urbano. Além disso, são ferramentas importantes em atividades econômicas de agropecuária e extração mineral. Nesse contexto, Imagens de Sensoriamento Remoto (ISRs) têm sido usadas como uma das mais importantes fonte de dados, principalmente com relação à criação de mapas temáticos. Esse processo é geralmente modelado como um problema de classificação supervisionada em que o sistema precisa aprender os padrões de interesse fornecidos pelo usuário e atribuir uma classe ao restante das regiões da imagem. Muitos desafios estão associados à própria natureza das ISRs em que pode-se ressaltar: (1) são imagens georreferenciadas, ou seja cada pixel possui uma coordenada geográfica associada; (2) geralmente codificam muito mais que informação no espectro visível (R,G,B), o que exige o desenvolvimento de algoritmos específicos para descrever padrões; (3) os dados podem variar quanto à resolução espacial alterando o nível de detalhe dos padrões e; (4) muitas aplicações tendem a exigir análise de dados espaço-temporais, com várias imagens do local de estudo ao longo do tempo. Assim, é muito frequente ter imagens obtidas a partir de diferentes sensores, o que poderia melhorar a qualidade dos mapas temáticos gerados. No entanto, isso exige a criação de técnicas capazes de codificar e combinar adequadamente as diferentes propriedades das imagens. Desse modo, esse projeto propõe o desenvolvimento de técnicas robustas para representação de regiões em imagens de sensoriamento remoto que consigam codificar características extraídas de diferentes fontes de dados, como: (1) descritores espaço-temporais; (2) descritores espectro-espaciais; e (3) descritores baseados no contexto. Pretende-se ainda desenvolver um arcabouço capaz de explorar a diversidade desses diferentes tipos de características para alcançar altos graus de acurácia na criação de mapas temáticos.