Grandes quantidades de dados são necessárias para treinar modelos de aprendizado de máquina para executar tarefas de classificação de imagens, como identificar danos em fotos de satélite após um desastre natural. No entanto, esses dados nem sempre são fáceis de obter. Os conjuntos de dados podem custar milhões de dólares para serem gerados, se existirem dados utilizáveis ​​em primeiro lugar, e mesmo os melhores conjuntos de dados geralmente contêm vieses que afetam negativamente o desempenho de um modelo.
Para contornar alguns dos problemas apresentados pelos conjuntos de dados, pesquisadores do MIT desenvolveram um método para treinar um modelo de aprendizado de máquina que, em vez de usar um conjunto de dados, usa um tipo especial de modelo de aprendizado de máquina para gerar dados sintéticos extremamente realistas que podem treinar outro modelo para tarefas de visão a jusante.

Seus resultados mostram que um modelo de aprendizagem de representação contrastiva treinado usando apenas esses dados sintéticos é capaz de aprender representações visuais que rivalizam ou até superam aquelas aprendidas com dados reais.

Esse modelo especial de aprendizado de máquina, conhecido como modelo generativo, requer muito menos memória para armazenar ou compartilhar do que um conjunto de dados. O uso de dados sintéticos também tem o potencial de contornar algumas preocupações sobre privacidade e direitos de uso que limitam como alguns dados reais podem ser distribuídos. Um modelo generativo também pode ser editado para remover certos atributos, como raça ou gênero, que podem resolver alguns vieses que existem em conjuntos de dados tradicionais.

"Sabíamos que esse método acabaria funcionando; só precisávamos esperar que esses modelos generativos ficassem cada vez melhores. Mas ficamos especialmente satisfeitos quando mostramos que esse método às vezes é ainda melhor do que o real", diz Ali Jahanian, pesquisador do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) e principal autor do artigo.

Jahanian escreveu o artigo com os alunos de pós-graduação do CSAIL Xavier Puig e Yonglong Tian, ​​e o autor sênior Phillip Isola, professor assistente do Departamento de Engenharia Elétrica e Ciência da Computação. A pesquisa será apresentada na Conferência Internacional sobre Representações de Aprendizagem.

Gerando dados sintéticos

Uma vez que um modelo generativo tenha sido treinado em dados reais, ele pode gerar dados sintéticos que são tão realistas que são quase indistinguíveis dos reais. O processo de treinamento envolve mostrar ao modelo generativo milhões de imagens que contêm objetos em uma determinada classe (como carros ou gatos), e então ele aprende como é um carro ou gato para que possa gerar objetos semelhantes.

Essencialmente, acionando um botão, os pesquisadores podem usar um modelo generativo pré-treinado para produzir um fluxo constante de imagens únicas e realistas baseadas nas do conjunto de dados de treinamento do modelo, diz Jahanian.

Mas os modelos generativos são ainda mais úteis porque aprendem a transformar os dados subjacentes nos quais são treinados, diz ele. Se o modelo for treinado com imagens de carros, ele pode "imaginar" como um carro ficaria em diferentes situações - situações que não viu durante o treinamento - e então produzir imagens que mostram o carro em poses, cores ou tamanhos únicos.

Ter várias visualizações da mesma imagem é importante para uma técnica chamada aprendizado contrastivo, em que um modelo de aprendizado de máquina mostra muitas imagens não rotuladas para saber quais pares são semelhantes ou diferentes.

Os pesquisadores conectaram um modelo generativo pré-treinado a um modelo de aprendizado contrastivo de uma maneira que permitiu que os dois modelos trabalhassem juntos automaticamente. O aprendiz contrastivo poderia dizer ao modelo generativo para produzir diferentes visões de um objeto e, em seguida, aprender a identificar esse objeto de vários ângulos, explica Jahanian.

"Foi como conectar dois blocos de construção. Como o modelo generativo pode nos dar visões diferentes da mesma coisa, pode ajudar o método contrastivo a aprender melhores representações", diz ele.

Ainda melhor que o real

Os pesquisadores compararam seu método com vários outros modelos de classificação de imagens que foram treinados usando dados reais e descobriram que seu método teve um desempenho tão bom, e às vezes melhor, do que os outros modelos.

Uma vantagem de usar um modelo generativo é que ele pode, em teoria, criar um número infinito de amostras. Assim, os pesquisadores também estudaram como o número de amostras influenciou o desempenho do modelo. Eles descobriram que, em alguns casos, gerar um número maior de amostras únicas levou a melhorias adicionais.

"O legal desses modelos generativos é que outra pessoa os treinou para você. Você pode encontrá-los em repositórios online, para que todos possam usá-los. E você não precisa intervir no modelo para obter boas representações", diz Jahanian .

Mas ele adverte que existem algumas limitações no uso de modelos generativos. Em alguns casos, esses modelos podem revelar dados de origem, o que pode representar riscos de privacidade, e podem amplificar vieses nos conjuntos de dados em que são treinados se não forem auditados adequadamente.

Ele e seus colaboradores planejam abordar essas limitações em trabalhos futuros. Outra área que eles querem explorar é usar essa técnica para gerar casos de canto que podem melhorar os modelos de aprendizado de máquina. Casos de canto muitas vezes não podem ser aprendidos a partir de dados reais. Por exemplo, se os pesquisadores estão treinando um modelo de visão computacional para um carro autônomo, os dados reais não conteriam exemplos de um cachorro e seu dono correndo por uma estrada, então o modelo nunca aprenderia o que fazer nessa situação. Gerar esses dados de caso de canto sinteticamente pode melhorar o desempenho dos modelos de aprendizado de máquina em algumas situações de alto risco.

Os pesquisadores também querem continuar aprimorando os modelos generativos para que possam compor imagens ainda mais sofisticadas, diz ele.