Deep Representations for Large-Scale Geo-Mapping

This project aims to address the problem of pattern recognition for the creation of thematic maps via supervised learning in large sets of images from small annotated data sets. The research focuses on efforts on three main fronts: (1) new methods for feature learning; (2) knowledge transfer algorithms to explore existing image bases as a starting point for pattern recognition and reduce the need for new samples noted by expert users; (3) new approaches for learning and fusing representations from multiple resolutions in space, time, and the electromagnetic spectrum.

Full Title: Multimaps – Learning Deep Representations for Large-Scale Geographic Mapping. Funding: Brazilian National Council for Scientific and Technological Development (CNPq). Duration: 2018-current.

[In Portuguese] A criação de mapas temáticos utilizando Imagens de Sensoriamento Remoto (ISRs) como fonte de dados geralmente é modelada como um problema de classificação supervisionada. Muitos desafios computacionais estão associados à natureza das ISRs em que pode-se ressaltar: (1) são imagens georreferenciadas, ou seja cada pixel possui uma coordenada geográfica associada; (2) geralmente codificam muito mais que informação no espectro visível (R,G,B), o que exige o desenvolvimento de abordagens específicas para descrever padrões; (3) os dados podem variar quanto à resolução espacial alterando o nível de detalhe dos padrões e; (4) muitas aplicações tendem a exigir análise de dados espaço-temporais, com várias imagens do local de estudo ao longo do tempo. Assim, é muito frequente ter imagens obtidas a partir de diferentes sensores, o que pode melhorar a qualidade dos mapas temáticos gerados, mas exige a criação de técnicas capazes de codificar e combinar adequadamente as diferentes propriedades das imagens. Nesse contexto, o desenvolvimento de técnicas baseadas em aprendizado profundo têm sido revolucionário mas tem uma limitação: geralmente requerem muitas amostras para treinamento. A anotação de pixels na maioria das aplicações de ISRs depende de usuários especialistas, é custosa e inviável em algumas situações. Assim, a dificuldade de criação de grandes conjuntos de dados anotados para classificação supervisionada limita o uso da maioria das abordagens do estado da arte em reconhecimento de padrões por meio de aprendizado supervisionado. Desse modo, este projeto visa tratar o problema de reconhecimento de padrões para criação de mapas temáticos via aprendizado supervisionado em grandes conjuntos de imagens a partir de pequenos conjuntos de dados anotados. A pesquisa focará esforços em três frentes principais: (1) novos métodos para aprendizado de características com foco em propriedades de imagens de sensoriamento remoto; (2) algoritmos para transferência de conhecimento para explorar bases de imagens existentes como ponto de partida para reconhecimento de padrões e reduzir a necessidade de novas amostras anotadas por usuários especialistas; e (3) novas abordagens para aprendizado e fusão de representações a partir de múltiplas resoluções no espaço, tempo e espectro eletromagnético.

Related Publications:

  • Oliveira, H., Silva, C., Machado, G. L., Nogueira, K., & dos Santos, J. A. (2020). Fully convolutional open set segmentation. Mach Learn (2021) (Early). [PDF]
  • Nogueira, K., Dalla Mura, M., Chanussot, J., Schwartz, W. R., & Dos Santos, J. A. (2019). Dynamic multicontext segmentation of remote sensing images based on convolutional networks. IEEE Transactions on Geoscience and Remote Sensing57(10), 7503-7520. [PDF]
  • Ferreira, E., Oliveira, H., Alvim, M. S., & dos Santos, J. A. (2018, November). A Comparative Study on Unsupervised Domain Adaptation for Coffee Crop Mapping. In Iberoamerican Congress on Pattern Recognition (pp. 72-80). Springer, Cham. [PDF]
  • Nogueira, K., dos Santos, J. A., Menini, N., Silva, T. S., Morellato, L. P. C., & Torres, R. D. S. (2019). Spatio-Temporal Vegetation Pixel Classification by Using Convolutional Networks. IEEE Geoscience and Remote Sensing Letters16(10), 1665-1669. [PDF]
  • Pereira, M. B., & dos Santos, J. A. (2020, March). An End-to-end Framework For Low-Resolution Remote Sensing Semantic Segmentation. In 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS) (pp. 6-11). IEEE. [PDF]