Category: PastProjects

  • AI Methodologies For Environmental Monitoring

    AI Methodologies For Environmental Monitoring

    This research project aims to develop methodologies in the selection process of audit objects related to the environmental area of interest of audition institutions in Latin America, through the Latin American and Caribbean Organization of Supreme Audit Institutions (OLACEFS). Actions focus on the use of machine learning methods, in particular Deep Learning with a focus on satellite image processing. The objective is to develop and evaluate methodologies in two applications: (1) monitoring of ore tailings dams; and (2) identification of deforestation in the Amazon region using radar.

    Full Title: Development of AI methodologies for audit objects related to the environmental monitoring. Funding: Organization of Latin American and Caribbean Supreme Audit Institutions (OLACEFS). Duration: 2020-2021.

    Related Publications:

    • Ferreira, E., Brito, M., Balaniuk, R., Alvim, M. S., & dos Santos, J. A. (2020, March). BrazilDAM: A benchmark dataset for tailings dam detection. In 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS) (pp. 339-344). IEEE. [PDF]
    • Pereira, M. B., & dos Santos, J. A. (2020, March). An End-to-end Framework For Low-Resolution Remote Sensing Semantic Segmentation. In 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS) (pp. 6-11). IEEE. [PDF]

    Products:

    Our work in the media: (in portuguese):

    [Abstract In Portuguese] Este projeto de pesquisa visa o desenvolvimento de metodologias no processo de seleção de objetos de auditoria relacionados à área ambiental de interesse de órgãos de controle da América Latina, por meio da Organização Latino-Americana e do Caribe de Entidades Fiscalizadoras Superiores (OLACEFS). As ações focam no uso de métodos de aprendizagem de máquina, em particular Deep Learning com foco em processamento de imagens de satélite. O objetivo é desenvolver e avaliar metodologias em duas aplicações: (1) monitoramento de barragens de rejeitos de minérios; e (2) identificação de desmatamentos na região amazônica por meio de radar.

  • Diagnosis Aid Using Chest X-Ray and Deep Learning

    Diagnosis Aid Using Chest X-Ray and Deep Learning

    The CADCOVID-19 project aims to develop an online system to assist in the diagnosis of COVID-19 using artificial intelligence and computer vision techniques.

    This is not another generic project trying to apply deep learning for covid-19 diagnosis. The ideia is to create a system based on a novel technology developed in our lab called Conditional Domain Adaptation Generative Adversarial Networks (CoDAGANs). CODAGANs are very effective in learning to segment from multiple image domains.

    Official webpage of the project: http://www.cadcovid19.dcc.ufmg.br/

    Products:

    Related Publications:

    • Oliveira, H. N., Ferreira, E., & Dos Santos, J. A. (2020). Truly generalizable radiograph segmentation with conditional domain adaptation. IEEE Access, 8, 84037-84062. [PDF]
    • Oliveira, H., Mota, V., Machado, A. M., & dos Santos, J. A. (2020). From 3D to 2D: Transferring knowledge for rib segmentation in chest X-rays. Pattern Recognition Letters, 140, 10-17. [PDF]

    Our work in the media: (in portuguese):

  • Automatic Thematic Maps Using Multiple Sensors

    Automatic Thematic Maps Using Multiple Sensors

    Geographic Information Systems (GIS) are automated systems whose purpose is to store, analyze and manipulate geographic data. They help decision-making on various issues related to public policies for environmental and urban monitoring. In addition, they are important tools in economic activities of agriculture and mineral extraction. In this context, Remote Sensing Images (ISRs) have been used as one of the most important data sources, especially with regard to the creation of thematic maps. This process is usually modeled as a supervised classification problem in which the system needs to learn the patterns of interest provided by the user and assign a class to the rest of the regions of the image. Many challenges are associated with the very nature of ISRs in which it can be highlighted: (1) they are georeferenced images, that is, each pixel has an associated geographic coordinate; (2) they generally encode much more than information in the visible spectrum (R,G,B), which requires the development of specific algorithms to describe patterns; (3) data can vary in spatial resolution by changing the level of detail of the patterns and; (4) many applications tend to require spatiotemporal data analysis, with multiple images of the study site over time. Thus, it is very common to have images obtained from different sensors, which could improve the quality of the generated thematic maps. However, this requires the creation of techniques capable of encoding and properly combining the different properties of the images. Thus, this project proposes the development of robust techniques for representing regions in remote sensing images that can encode features extracted from different data sources, such as: (1) spatiotemporal descriptors; (2) spectro-spatial descriptors; and (3) context-based descriptors. It is also intended to develop a framework capable of exploring the diversity of these different types of characteristics to achieve high degrees of accuracy in the creation of thematic maps.

    Full Title: GeoFusion– Automatic creation of thematic maps using data from multiple sensors. Funding: Brazilian National Council for Scientific and Technological Development (CNPq). Duration: 2014-2017.

    Related Publications:

    • K. Nogueira, O. A. B. Penatti and J. A. dos Santos. Towards better exploiting convolutional neural networks for remote sensing scene classification. Pattern Recognition, 61, 539-556, 2017. [PDF]

    • J. Almeida, J. A. dos Santos, W. O. Miranda, B. Alberton, L. P. C. Morellato, and R. da S. Torres. Phenological Visual Rhythms: Compact Representations for Fine-Grained Plant Species Identification. Pattern Recognition Letters, v. 81, p. 90-100, 2016. [DOI]

    • R. Baeta, K. Nogueira, D. Menotti, J. A. dos Santos. Learning Deep Features on Multiple Scales for Coffee Crop Recognition. In: 2017 30th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2017, Niterói. [PDF]
    • E. Ferreira, A. A. Araujo, J. A. dos Santos. A Boosting-Based Approach for Remote Sensing Multimodal Image Classification. In: 2016 29th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2016, Sao José dos Campos.
    • T. Santana, K. Nogueira, A. M. C. Machado, J. A. dos Santos. Deep Contextual Description of Superpixels for Aerial Urban Scenes Classification. In: International Geoscience & Remote Sensing Symposium (IGARSS 2017), 2017, Fort Worth. [PDF]
    • K. Nogueira, J. A. dos Santos, L. Cancian, B. Borges, T. S. F. Silva, P. Morelatto, Torres, R. da S. Torres. Semantic segmentation on vegetation images acquired by unmanned aerial vehicles using an ensemble of convnets. In: International Geoscience & Remote Sensing Symposium (IGARSS 2017), 2017, Fort Worth. [PDF]

    [In portuguese] Sistemas de Informação Geográfica (SIGs) são sistemas automatizados cuja finalidade é armazenar, analisar e manipular dados geográficos. Eles auxiliam a tomada de decisões em diversas questões relacionadas a políticas públicas de monitoramento ambiental e urbano. Além disso, são ferramentas importantes em atividades econômicas de agropecuária e extração mineral. Nesse contexto, Imagens de Sensoriamento Remoto (ISRs) têm sido usadas como uma das mais importantes fonte de dados, principalmente com relação à criação de mapas temáticos. Esse processo é geralmente modelado como um problema de classificação supervisionada em que o sistema precisa aprender os padrões de interesse fornecidos pelo usuário e atribuir uma classe ao restante das regiões da imagem. Muitos desafios estão associados à própria natureza das ISRs em que pode-se ressaltar: (1) são imagens georreferenciadas, ou seja cada pixel possui uma coordenada geográfica associada; (2) geralmente codificam muito mais que informação no espectro visível (R,G,B), o que exige o desenvolvimento de algoritmos específicos para descrever padrões; (3) os dados podem variar quanto à resolução espacial alterando o nível de detalhe dos padrões e; (4) muitas aplicações tendem a exigir análise de dados espaço-temporais, com várias imagens do local de estudo ao longo do tempo. Assim, é muito frequente ter imagens obtidas a partir de diferentes sensores, o que poderia melhorar a qualidade dos mapas temáticos gerados. No entanto, isso exige a criação de técnicas capazes de codificar e combinar adequadamente as diferentes propriedades das imagens. Desse modo, esse projeto propõe o desenvolvimento de técnicas robustas para representação de regiões em imagens de sensoriamento remoto que consigam codificar características extraídas de diferentes fontes de dados, como: (1) descritores espaço-temporais; (2) descritores espectro-espaciais; e (3) descritores baseados no contexto. Pretende-se ainda desenvolver um arcabouço capaz de explorar a diversidade desses diferentes tipos de características para alcançar altos graus de acurácia na criação de mapas temáticos.

  • Deep Representations for Large-Scale Geo-Mapping

    Deep Representations for Large-Scale Geo-Mapping

    This project aims to address the problem of pattern recognition for the creation of thematic maps via supervised learning in large sets of images from small annotated data sets. The research focuses on efforts on three main fronts: (1) new methods for feature learning; (2) knowledge transfer algorithms to explore existing image bases as a starting point for pattern recognition and reduce the need for new samples noted by expert users; (3) new approaches for learning and fusing representations from multiple resolutions in space, time, and the electromagnetic spectrum.

    Full Title: Multimaps – Learning Deep Representations for Large-Scale Geographic Mapping. Funding: Brazilian National Council for Scientific and Technological Development (CNPq). Duration: 2018-current.

    [In Portuguese] A criação de mapas temáticos utilizando Imagens de Sensoriamento Remoto (ISRs) como fonte de dados geralmente é modelada como um problema de classificação supervisionada. Muitos desafios computacionais estão associados à natureza das ISRs em que pode-se ressaltar: (1) são imagens georreferenciadas, ou seja cada pixel possui uma coordenada geográfica associada; (2) geralmente codificam muito mais que informação no espectro visível (R,G,B), o que exige o desenvolvimento de abordagens específicas para descrever padrões; (3) os dados podem variar quanto à resolução espacial alterando o nível de detalhe dos padrões e; (4) muitas aplicações tendem a exigir análise de dados espaço-temporais, com várias imagens do local de estudo ao longo do tempo. Assim, é muito frequente ter imagens obtidas a partir de diferentes sensores, o que pode melhorar a qualidade dos mapas temáticos gerados, mas exige a criação de técnicas capazes de codificar e combinar adequadamente as diferentes propriedades das imagens. Nesse contexto, o desenvolvimento de técnicas baseadas em aprendizado profundo têm sido revolucionário mas tem uma limitação: geralmente requerem muitas amostras para treinamento. A anotação de pixels na maioria das aplicações de ISRs depende de usuários especialistas, é custosa e inviável em algumas situações. Assim, a dificuldade de criação de grandes conjuntos de dados anotados para classificação supervisionada limita o uso da maioria das abordagens do estado da arte em reconhecimento de padrões por meio de aprendizado supervisionado. Desse modo, este projeto visa tratar o problema de reconhecimento de padrões para criação de mapas temáticos via aprendizado supervisionado em grandes conjuntos de imagens a partir de pequenos conjuntos de dados anotados. A pesquisa focará esforços em três frentes principais: (1) novos métodos para aprendizado de características com foco em propriedades de imagens de sensoriamento remoto; (2) algoritmos para transferência de conhecimento para explorar bases de imagens existentes como ponto de partida para reconhecimento de padrões e reduzir a necessidade de novas amostras anotadas por usuários especialistas; e (3) novas abordagens para aprendizado e fusão de representações a partir de múltiplas resoluções no espaço, tempo e espectro eletromagnético.

    Related Publications:

    • Oliveira, H., Silva, C., Machado, G. L., Nogueira, K., & dos Santos, J. A. (2020). Fully convolutional open set segmentation. Mach Learn (2021) (Early). [PDF]
    • Nogueira, K., Dalla Mura, M., Chanussot, J., Schwartz, W. R., & Dos Santos, J. A. (2019). Dynamic multicontext segmentation of remote sensing images based on convolutional networks. IEEE Transactions on Geoscience and Remote Sensing, 57(10), 7503-7520. [PDF]
    • Ferreira, E., Oliveira, H., Alvim, M. S., & dos Santos, J. A. (2018, November). A Comparative Study on Unsupervised Domain Adaptation for Coffee Crop Mapping. In Iberoamerican Congress on Pattern Recognition (pp. 72-80). Springer, Cham. [PDF]
    • Nogueira, K., dos Santos, J. A., Menini, N., Silva, T. S., Morellato, L. P. C., & Torres, R. D. S. (2019). Spatio-Temporal Vegetation Pixel Classification by Using Convolutional Networks. IEEE Geoscience and Remote Sensing Letters, 16(10), 1665-1669. [PDF]
    • Pereira, M. B., & dos Santos, J. A. (2020, March). An End-to-end Framework For Low-Resolution Remote Sensing Semantic Segmentation. In 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS) (pp. 6-11). IEEE. [PDF]

  • Artificial Intelligence Systems for External Control

    Artificial Intelligence Systems for External Control

    [In Portuguese] As políticas de proteção ambiental e climática requerem complexas estruturas de governança ambiental. A ação estatal na área ambiental é implementada por órgãos públicos, instituições e empresas do setor privado. Conflitos de objetivos entre crescimento econômico, proteção ambiental e desenvolvimento social prejudicam uma implementação efetiva e eficiente das medidas de política ambiental e a abrangência dos objetivos de desenvolvimento sustentável.

    O Tribunal de Contas da União (TCU) e a Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH, por encargo do Ministério de Cooperação Economica e Desenvolvimento da Alemanha (BMZ), implementam conjuntamente o projeto ”Fortalecimento do controle externo na área ambiental – Auditorias Ambientais”. O projeto tem como objetivo permitir que o TCU do Brasil e outras Entidades Fiscalizadoras Superiores (EFS) da Organização Latino-americana e do Caribe de Entidades Fiscalizadoras Superiores (OLACEFS) cumpram efetivamente com sua missão institucional de aprimorar a Administração Pública, notadamente no que se refere a investimentos governamentais na área ambiental. O projeto atua em três campos de ação: 1) Fortalecimento dos processos de fiscalização; 2) Fortalecimento dos mecanismos de cooperação entre as EFS membros da OLACEFS e melhoria de seus serviços; e 3) Fortalecimento da comunicação interna, externa e com as partes interessadas, no âmbito do TCU e de outras EFS membros da OLACEFS.

    A Secretaria de Fiscalização de Infraestrutura Portuária e Ferroviária (SeinfraPortoFerrovia) do TCU é um ator importante na cooperação entre GIZ e o TCU, assim o projeto da GIZ decidiu apoiar a iniciativa Projeto GeoControle, em implantação no TCU pela SeinfraPortoFerrovia, já que as geotecnologias possuem alto potencial de promover a consideração de diferentes variáveis ambientais na hora de planejar, executar e dar seguimento às diferentes ações de controle externo. Isso se torna mais relevante se considerar o fato de que através das diferentes ferramentas se pode incorporar a dimensão ambiental nas várias áreas e setores de fiscalização de forma transversal.

    No processo de fiscalização, é fundamental que as informações obtidas sejam precisas e rastreáveis, buscando detectar eventuais inconsistências ou inexistência dos elementos presentes nos projetos e nas especificações técnicas. O Projeto GeoControle visa a pesquisa, desenvolvimento e capacitação do TCU com uma série de ferramentas baseadas na aplicação das geotecnologias para a modernização dos procedimentos de fiscalização. Em se tratando de georreferenciamento, dados estatísticos, orçamentários, ambientais, demográficos, dados relativos à saúde, educação, transporte, segurança, topografia, uso de solo, agricultura, além de, obviamente, obras públicas, podem ser georreferenciados e, portanto, objetos do Projeto GeoControle.

    O Projeto GeoControle tem sido desenvolvido em diversas fases que incluem parceria com pesquisadores de universidades brasileiras como a UnB e a UFMG. No contexto do Projeto GeoControle, o DCC-UFMG, por meio do PATREO, é responsável por desenvolver ferramentas para a automação da detecção de padrões de irregularidades por meio de Sistemas de Inteligência Artificial relacionados ao uso de tecnologias de sensoriamento remoto e geoprocessamento. As atividades de pesquisa e desenvolvimento incluem:

    1. Avaliar as técnicas de inteligência artificial para segmentação, detecção, classificação e identificação de padrões de possíveis irregularidades (não conformidades) presentes em imagens de sensoriamento remoto, indicando para o Tribunal os prós e os contras de cada uma delas, de modo que o TCU e a GIZ possam, fundamentadamente, definir qual será a base tecnológica para atender aos requisitos de desenvolvimento, integrado ao sistema ArcGIS;
    2. Avaliar o uso de imagens de satélite de baixa resolução, seu potencial e limite de evidenciação de potenciais irregularidades, principalmente no que se refere aos padrões de cobertura vegetal que deem suporte à classificação necessária para atendimento à fiscalização do projeto de regularização fundiária na Amazônia, o Projeto Terra Legal, e à aferição dos dados do Cadastro Ambiental Rural, além da avaliação temporal do desenvolvimento das obras da Ferrovia Nova Transnordestina;
    3. Avaliar o uso de imagens de alta resolução, seu potencial e limite de evidenciação para detecção e documentação de potenciais irregularidades, a partir de imagens coletadas pela constelação de satélites Plêiades já adquiridas pelo TCU;
    4. Pesquisar e desenvolver técnicas e metodologias de modo a permitir a automação da detecção de padrões de irregularidades com utilização das imagens de sensoriamento remoto nas atividades de Controle Externo e disponibilizá-las por meio de módulos integrados ao sistema ArcGIS.