Author: Jefersson dos Santos

  • Dense Labeling of Remote Sensing Images in the Wild

    Dense Labeling of Remote Sensing Images in the Wild

    This project address the challenges for the effective use of supervised learning in dense pixel labeling in real-world applications by increasing the robustness of the models.

    Full Title: Dense Labeling of Remote Sensing Images in the Wild . Funding: R$ 500,000,00, Instituto Serrapilheira. Duration: 2021-current.

    Our work in the media: (in portuguese):

  • AI Methodologies For Environmental Monitoring

    AI Methodologies For Environmental Monitoring

    This research project aims to develop methodologies in the selection process of audit objects related to the environmental area of interest of audition institutions in Latin America, through the Latin American and Caribbean Organization of Supreme Audit Institutions (OLACEFS). Actions focus on the use of machine learning methods, in particular Deep Learning with a focus on satellite image processing. The objective is to develop and evaluate methodologies in two applications: (1) monitoring of ore tailings dams; and (2) identification of deforestation in the Amazon region using radar.

    Full Title: Development of AI methodologies for audit objects related to the environmental monitoring. Funding: Organization of Latin American and Caribbean Supreme Audit Institutions (OLACEFS). Duration: 2020-2021.

    Related Publications:

    • Ferreira, E., Brito, M., Balaniuk, R., Alvim, M. S., & dos Santos, J. A. (2020, March). BrazilDAM: A benchmark dataset for tailings dam detection. In 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS) (pp. 339-344). IEEE. [PDF]
    • Pereira, M. B., & dos Santos, J. A. (2020, March). An End-to-end Framework For Low-Resolution Remote Sensing Semantic Segmentation. In 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS) (pp. 6-11). IEEE. [PDF]

    Products:

    Our work in the media: (in portuguese):

    [Abstract In Portuguese] Este projeto de pesquisa visa o desenvolvimento de metodologias no processo de seleção de objetos de auditoria relacionados à área ambiental de interesse de órgãos de controle da América Latina, por meio da Organização Latino-Americana e do Caribe de Entidades Fiscalizadoras Superiores (OLACEFS). As ações focam no uso de métodos de aprendizagem de máquina, em particular Deep Learning com foco em processamento de imagens de satélite. O objetivo é desenvolver e avaliar metodologias em duas aplicações: (1) monitoramento de barragens de rejeitos de minérios; e (2) identificação de desmatamentos na região amazônica por meio de radar.

  • Diagnosis Aid Using Chest X-Ray and Deep Learning

    Diagnosis Aid Using Chest X-Ray and Deep Learning

    The CADCOVID-19 project aims to develop an online system to assist in the diagnosis of COVID-19 using artificial intelligence and computer vision techniques.

    This is not another generic project trying to apply deep learning for covid-19 diagnosis. The ideia is to create a system based on a novel technology developed in our lab called Conditional Domain Adaptation Generative Adversarial Networks (CoDAGANs). CODAGANs are very effective in learning to segment from multiple image domains.

    Official webpage of the project: http://www.cadcovid19.dcc.ufmg.br/

    Products:

    Related Publications:

    • Oliveira, H. N., Ferreira, E., & Dos Santos, J. A. (2020). Truly generalizable radiograph segmentation with conditional domain adaptation. IEEE Access, 8, 84037-84062. [PDF]
    • Oliveira, H., Mota, V., Machado, A. M., & dos Santos, J. A. (2020). From 3D to 2D: Transferring knowledge for rib segmentation in chest X-rays. Pattern Recognition Letters, 140, 10-17. [PDF]

    Our work in the media: (in portuguese):

  • Automatic Thematic Maps Using Multiple Sensors

    Automatic Thematic Maps Using Multiple Sensors

    Geographic Information Systems (GIS) are automated systems whose purpose is to store, analyze and manipulate geographic data. They help decision-making on various issues related to public policies for environmental and urban monitoring. In addition, they are important tools in economic activities of agriculture and mineral extraction. In this context, Remote Sensing Images (ISRs) have been used as one of the most important data sources, especially with regard to the creation of thematic maps. This process is usually modeled as a supervised classification problem in which the system needs to learn the patterns of interest provided by the user and assign a class to the rest of the regions of the image. Many challenges are associated with the very nature of ISRs in which it can be highlighted: (1) they are georeferenced images, that is, each pixel has an associated geographic coordinate; (2) they generally encode much more than information in the visible spectrum (R,G,B), which requires the development of specific algorithms to describe patterns; (3) data can vary in spatial resolution by changing the level of detail of the patterns and; (4) many applications tend to require spatiotemporal data analysis, with multiple images of the study site over time. Thus, it is very common to have images obtained from different sensors, which could improve the quality of the generated thematic maps. However, this requires the creation of techniques capable of encoding and properly combining the different properties of the images. Thus, this project proposes the development of robust techniques for representing regions in remote sensing images that can encode features extracted from different data sources, such as: (1) spatiotemporal descriptors; (2) spectro-spatial descriptors; and (3) context-based descriptors. It is also intended to develop a framework capable of exploring the diversity of these different types of characteristics to achieve high degrees of accuracy in the creation of thematic maps.

    Full Title: GeoFusion– Automatic creation of thematic maps using data from multiple sensors. Funding: Brazilian National Council for Scientific and Technological Development (CNPq). Duration: 2014-2017.

    Related Publications:

    • K. Nogueira, O. A. B. Penatti and J. A. dos Santos. Towards better exploiting convolutional neural networks for remote sensing scene classification. Pattern Recognition, 61, 539-556, 2017. [PDF]

    • J. Almeida, J. A. dos Santos, W. O. Miranda, B. Alberton, L. P. C. Morellato, and R. da S. Torres. Phenological Visual Rhythms: Compact Representations for Fine-Grained Plant Species Identification. Pattern Recognition Letters, v. 81, p. 90-100, 2016. [DOI]

    • R. Baeta, K. Nogueira, D. Menotti, J. A. dos Santos. Learning Deep Features on Multiple Scales for Coffee Crop Recognition. In: 2017 30th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2017, Niterói. [PDF]
    • E. Ferreira, A. A. Araujo, J. A. dos Santos. A Boosting-Based Approach for Remote Sensing Multimodal Image Classification. In: 2016 29th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2016, Sao José dos Campos.
    • T. Santana, K. Nogueira, A. M. C. Machado, J. A. dos Santos. Deep Contextual Description of Superpixels for Aerial Urban Scenes Classification. In: International Geoscience & Remote Sensing Symposium (IGARSS 2017), 2017, Fort Worth. [PDF]
    • K. Nogueira, J. A. dos Santos, L. Cancian, B. Borges, T. S. F. Silva, P. Morelatto, Torres, R. da S. Torres. Semantic segmentation on vegetation images acquired by unmanned aerial vehicles using an ensemble of convnets. In: International Geoscience & Remote Sensing Symposium (IGARSS 2017), 2017, Fort Worth. [PDF]

    [In portuguese] Sistemas de Informação Geográfica (SIGs) são sistemas automatizados cuja finalidade é armazenar, analisar e manipular dados geográficos. Eles auxiliam a tomada de decisões em diversas questões relacionadas a políticas públicas de monitoramento ambiental e urbano. Além disso, são ferramentas importantes em atividades econômicas de agropecuária e extração mineral. Nesse contexto, Imagens de Sensoriamento Remoto (ISRs) têm sido usadas como uma das mais importantes fonte de dados, principalmente com relação à criação de mapas temáticos. Esse processo é geralmente modelado como um problema de classificação supervisionada em que o sistema precisa aprender os padrões de interesse fornecidos pelo usuário e atribuir uma classe ao restante das regiões da imagem. Muitos desafios estão associados à própria natureza das ISRs em que pode-se ressaltar: (1) são imagens georreferenciadas, ou seja cada pixel possui uma coordenada geográfica associada; (2) geralmente codificam muito mais que informação no espectro visível (R,G,B), o que exige o desenvolvimento de algoritmos específicos para descrever padrões; (3) os dados podem variar quanto à resolução espacial alterando o nível de detalhe dos padrões e; (4) muitas aplicações tendem a exigir análise de dados espaço-temporais, com várias imagens do local de estudo ao longo do tempo. Assim, é muito frequente ter imagens obtidas a partir de diferentes sensores, o que poderia melhorar a qualidade dos mapas temáticos gerados. No entanto, isso exige a criação de técnicas capazes de codificar e combinar adequadamente as diferentes propriedades das imagens. Desse modo, esse projeto propõe o desenvolvimento de técnicas robustas para representação de regiões em imagens de sensoriamento remoto que consigam codificar características extraídas de diferentes fontes de dados, como: (1) descritores espaço-temporais; (2) descritores espectro-espaciais; e (3) descritores baseados no contexto. Pretende-se ainda desenvolver um arcabouço capaz de explorar a diversidade desses diferentes tipos de características para alcançar altos graus de acurácia na criação de mapas temáticos.

  • Pattern recognition using small annotated data sets

    Pattern recognition using small annotated data sets

    This project proposes the development of new approaches to deal with pattern recognition in applications that require the processing of large sets of images but which have restrictions regarding the number of labeled samples available. The research focus efforts on: (1) the study and development of techniques for transferring knowledge from pre-existing bases as a way to enrich the initial sample set; (2) the study of image indexing algorithms and structures to ensure scalability of the developed approaches; and (3) developing approaches based on active learning to assist expert users in annotating relevant samples.

    Full Title: LittleBigData – Pattern recognition in large image databases using small annotated data sets. Funding: Minas Gerais Research Foundation (FAPEMIG). Duration: 2018-current.

    [In Portuguese] A área de reconhecimento de padrões em imagens vêm obtendo diversos avanços nos últimos anos. O desenvolvimento de tecnologias como as abordagens baseadas em aprendizado profundo (deep learning) têm estabelecido o estado da arte em diversas aplicações de Visão Computacional. No entanto, essas abordagens necessitam de grandes conjuntos de amostras para treinamento e isso impossibilita seu uso direto para resolver problemas em áreas mais específicas como medicina, forense digital, agricultura ou biodiversidade. A anotação de amostras nas principais aplicações dessas áreas deve ser feita por usuários especialistas (médicos, peritos, pesquisadores, etc). Esse processo geralmente é custoso e até mesmo inviável em diversas ocasiões. Detecção de câncer, por exemplo, depende do diagnóstico e do registro preciso de diversos pacientes ao longo dos anos para a obtenção de um conjunto de amostras representativo. Em aplicações agrícolas e de biodiversidade é comum a necessidade de deslocar equipes de especialistas em áreas de difícil acesso para anotar adequadamente uma determinada espécie de planta. Desse modo, esse projeto propõe o desenvolvimento de novas abordagens para lidar com o reconhecimento de padrões em aplicações que requerem o processamento de grande conjuntos de imagens mas que possuem restrição com relação à quantidade de amostras disponíveis. A pesquisa focará esforços nas seguintes frentes visando mitigar os problemas do aprendizado supervisionado à partir de poucas amostras em grandes bases de imagens: (1) estudo e desenvolvimento de técnicas para transferência de conhecimento de bases pré existentes como forma de enriquecer o conjunto de amostras inicial; (2) estudo de algoritmos e estruturas de indexação de imagens para garantir escalabilidade das abordagens desenvolvidas; e (3) desenvolvimento de abordagens baseadas em aprendizado ativo para auxiliar usuários especialistas na anotação de amostras relevantes.

    Related Publications:

    • Oliveira, H., Silva, C., Machado, G. L., Nogueira, K., & dos Santos, J. A. (2020). Fully convolutional open set segmentation. Mach Learn (2021) (Early). [PDF]
    • Oliveira, H. N., Ferreira, E., & Dos Santos, J. A. (2020). Truly generalizable radiograph segmentation with conditional domain adaptation. IEEE Access, 8, 84037-84062. [PDF]
    • Oliveira, H., Mota, V., Machado, A. M., & dos Santos, J. A. (2020). From 3D to 2D: Transferring knowledge for rib segmentation in chest X-rays. Pattern Recognition Letters, 140, 10-17. [PDF]
    • Ferreira, E., Oliveira, H., Alvim, M. S., & dos Santos, J. A. (2018, November). A Comparative Study on Unsupervised Domain Adaptation for Coffee Crop Mapping. In Iberoamerican Congress on Pattern Recognition (pp. 72-80). Springer, Cham. [PDF]
    • Nogueira, K., dos Santos, J. A., Menini, N., Silva, T. S., Morellato, L. P. C., & Torres, R. D. S. (2019). Spatio-Temporal Vegetation Pixel Classification by Using Convolutional Networks. IEEE Geoscience and Remote Sensing Letters, 16(10), 1665-1669. [PDF]
  • Deep Representations for Large-Scale Geo-Mapping

    Deep Representations for Large-Scale Geo-Mapping

    This project aims to address the problem of pattern recognition for the creation of thematic maps via supervised learning in large sets of images from small annotated data sets. The research focuses on efforts on three main fronts: (1) new methods for feature learning; (2) knowledge transfer algorithms to explore existing image bases as a starting point for pattern recognition and reduce the need for new samples noted by expert users; (3) new approaches for learning and fusing representations from multiple resolutions in space, time, and the electromagnetic spectrum.

    Full Title: Multimaps – Learning Deep Representations for Large-Scale Geographic Mapping. Funding: Brazilian National Council for Scientific and Technological Development (CNPq). Duration: 2018-current.

    [In Portuguese] A criação de mapas temáticos utilizando Imagens de Sensoriamento Remoto (ISRs) como fonte de dados geralmente é modelada como um problema de classificação supervisionada. Muitos desafios computacionais estão associados à natureza das ISRs em que pode-se ressaltar: (1) são imagens georreferenciadas, ou seja cada pixel possui uma coordenada geográfica associada; (2) geralmente codificam muito mais que informação no espectro visível (R,G,B), o que exige o desenvolvimento de abordagens específicas para descrever padrões; (3) os dados podem variar quanto à resolução espacial alterando o nível de detalhe dos padrões e; (4) muitas aplicações tendem a exigir análise de dados espaço-temporais, com várias imagens do local de estudo ao longo do tempo. Assim, é muito frequente ter imagens obtidas a partir de diferentes sensores, o que pode melhorar a qualidade dos mapas temáticos gerados, mas exige a criação de técnicas capazes de codificar e combinar adequadamente as diferentes propriedades das imagens. Nesse contexto, o desenvolvimento de técnicas baseadas em aprendizado profundo têm sido revolucionário mas tem uma limitação: geralmente requerem muitas amostras para treinamento. A anotação de pixels na maioria das aplicações de ISRs depende de usuários especialistas, é custosa e inviável em algumas situações. Assim, a dificuldade de criação de grandes conjuntos de dados anotados para classificação supervisionada limita o uso da maioria das abordagens do estado da arte em reconhecimento de padrões por meio de aprendizado supervisionado. Desse modo, este projeto visa tratar o problema de reconhecimento de padrões para criação de mapas temáticos via aprendizado supervisionado em grandes conjuntos de imagens a partir de pequenos conjuntos de dados anotados. A pesquisa focará esforços em três frentes principais: (1) novos métodos para aprendizado de características com foco em propriedades de imagens de sensoriamento remoto; (2) algoritmos para transferência de conhecimento para explorar bases de imagens existentes como ponto de partida para reconhecimento de padrões e reduzir a necessidade de novas amostras anotadas por usuários especialistas; e (3) novas abordagens para aprendizado e fusão de representações a partir de múltiplas resoluções no espaço, tempo e espectro eletromagnético.

    Related Publications:

    • Oliveira, H., Silva, C., Machado, G. L., Nogueira, K., & dos Santos, J. A. (2020). Fully convolutional open set segmentation. Mach Learn (2021) (Early). [PDF]
    • Nogueira, K., Dalla Mura, M., Chanussot, J., Schwartz, W. R., & Dos Santos, J. A. (2019). Dynamic multicontext segmentation of remote sensing images based on convolutional networks. IEEE Transactions on Geoscience and Remote Sensing, 57(10), 7503-7520. [PDF]
    • Ferreira, E., Oliveira, H., Alvim, M. S., & dos Santos, J. A. (2018, November). A Comparative Study on Unsupervised Domain Adaptation for Coffee Crop Mapping. In Iberoamerican Congress on Pattern Recognition (pp. 72-80). Springer, Cham. [PDF]
    • Nogueira, K., dos Santos, J. A., Menini, N., Silva, T. S., Morellato, L. P. C., & Torres, R. D. S. (2019). Spatio-Temporal Vegetation Pixel Classification by Using Convolutional Networks. IEEE Geoscience and Remote Sensing Letters, 16(10), 1665-1669. [PDF]
    • Pereira, M. B., & dos Santos, J. A. (2020, March). An End-to-end Framework For Low-Resolution Remote Sensing Semantic Segmentation. In 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS) (pp. 6-11). IEEE. [PDF]