Os simuladores de direção de hoje têm um grande problema:eles não parecem realistas o suficiente, principalmente objetos de fundo, como árvores e marcações de estradas. Mas os pesquisadores desenvolveram uma nova maneira de criar imagens fotorrealistas para simuladores, abrindo caminho para melhores testes de carros autônomos.
A computação gráfica convencional usa modelos detalhados, malhas e texturas para renderizar imagens 2D a partir de cenas 3D, um processo trabalhoso que produz imagens que muitas vezes não são realistas, principalmente em segundo plano. No entanto, usando uma estrutura de aprendizado de máquina chamada Generative Adversarial Network (GAN), os pesquisadores conseguiram treinar seu programa para gerar aleatoriamente ambientes realistas, melhorando a fidelidade visual do programa – o nível de representação que os gráficos de computador compartilham com a realidade.

Isso é especialmente importante ao testar como os humanos reagem quando estão em veículos autônomos ou, alternativamente, na estrada com eles.

"Quando as simulações de direção parecem jogos de computador, a maioria das pessoas não as leva a sério", disse Ekim Yurtsever, principal autor do estudo e pesquisador associado de engenharia elétrica e de computação na Ohio State University. "É por isso que queremos que nossas simulações sejam o mais parecidas possível com o mundo real."

O estudo foi publicado na revista IEEE Transactions on Intelligent Transportation Systems .

Os pesquisadores começaram com o CARLA, um simulador de direção de código aberto, como base. Eles então usaram um sintetizador de imagem baseado em GAN para renderizar os elementos de fundo, como edifícios, vegetação e até mesmo o céu, e combiná-los com objetos renderizados mais tradicionalmente.

Yurtsever disse que as simulações de direção continuarão a precisar de técnicas de renderização gráfica convencionais e trabalhosas para exibir os principais objetos de interesse, como carros próximos. Mas, usando inteligência artificial, o GAN pode ser treinado para gerar fundos e primeiros planos realistas usando dados do mundo real.

Um desses desafios que os pesquisadores enfrentaram foi ensinar seu programa a reconhecer padrões em seus ambientes, uma habilidade necessária para detectar e criar objetos como veículos, árvores e sombras, e distinguir esses objetos uns dos outros.

"A beleza disso é que esses padrões e texturas em nosso modelo não são projetados por engenheiros", disse Yurtsever. "Temos um modelo de reconhecimento de recursos, mas a rede neural aprende por si só."

Suas descobertas mostraram que misturar objetos em primeiro plano de forma diferente do cenário de fundo melhorou o fotorrealismo de toda a imagem.

No entanto, em vez de modificar uma simulação inteira de uma vez, o processo teve que ser feito quadro a quadro. Mas como não vivemos em um mundo quadro a quadro, o próximo passo do projeto será melhorar a consistência temporal do programa, em que cada quadro seja consistente com os anteriores e posteriores para que os usuários experimentem uma experiência perfeita e visualmente fascinante , disse Yurtsever.

O desenvolvimento de tecnologias fotorrealistas também pode ajudar os cientistas a estudar os meandros da distração do motorista e ajudar a melhorar os experimentos com motoristas reais, disse Yurtsever. E com acesso a conjuntos de dados maiores de cenas de beira de estrada, simulações de direção mais imersivas podem mudar a forma como humanos e IA começam a compartilhar a estrada.

"Nossa pesquisa é um passo extremamente importante na conceituação e teste de novas ideias", disse Yurtsever. “Nós nunca podemos substituir os testes do mundo real, mas se pudermos fazer simulações um pouco melhores, podemos ter uma visão melhor sobre como podemos melhorar os sistemas de direção autônoma e como interagimos com eles”. + Explorar mais

Technique enables real-time rendering of scenes in 3D