• Home
  • Química
  • Astronomia
  • Energia
  • Natureza
  • Biologia
  • Física
  • Eletrônicos
  • Pesquisadores usam peculiaridades faciais para desmascarar falsas profundas
    p À esquerda, Kate McKinnon, estrela do Saturday Night Live, faz o papel de Elizabeth Warren durante uma esquete, e à direita, A tecnologia de troca de rosto deepfake foi usada para sobrepor o rosto de Warren ao de McKinnon. Crédito:foto da UC Berkeley por Stephen McNally

    p Depois de assistir horas de vídeo do ex-presidente Barack Obama fazendo seu discurso semanal, Shruti Agarwal começou a notar algumas peculiaridades na maneira como Obama fala. p "Toda vez que ele diz 'Oi, todo o mundo, 'ele move sua cabeça para a esquerda ou para a direita, e então ele franze os lábios, "disse Agarwal, um estudante de graduação em ciência da computação na UC Berkeley.

    p Agarwal e seu orientador de tese Hany Farid, um novo professor no Departamento de Engenharia Elétrica e Ciência da Computação e na Escola de Informação da UC Berkeley, estão correndo para desenvolver ferramentas forenses digitais que podem desmascarar "deepfakes, "Vídeos hiper-realistas gerados por IA de pessoas fazendo ou dizendo coisas que nunca fizeram ou disseram.

    p Ver esses padrões no discurso de Obama real deu a Agarwal uma ideia.

    p "Percebi que há uma coisa comum entre todos esses deepfakes, e isso é que eles tendem a mudar a maneira como uma pessoa fala, "Agarwal disse.

    p O insight de Agarwal levou ela e Farid a criar a arma mais recente na guerra contra os deepfakes:uma nova abordagem forense que pode usar as características sutis de como uma pessoa fala, como os distintos acenos de cabeça e franzidos labiais de Obama, para reconhecer se um novo vídeo desse indivíduo é real ou falso.

    p Sua técnica, que Agarwal apresentou esta semana na conferência Computer Vision and Pattern Recognition em Long Beach, CA, pode ser usado para ajudar jornalistas, decisores políticos, e o público fica um passo à frente dos vídeos falsos de líderes políticos ou econômicos que podem ser usados ​​para marcar uma eleição, desestabilizar um mercado financeiro, ou até mesmo incitar a agitação civil e a violência.

    Pesquisadores da UC Berkeley e USC estão correndo para criar novas técnicas para detectar falsos profundos de líderes políticos. Este vídeo mostra dois exemplos de deepfakes, “Troca de rosto” e “sincronização labial, ”Que foram produzidos por cientistas da computação da USC para fins de pesquisa, e uma nova técnica que a equipe desenvolveu para localizá-los. Crédito:vídeo da UC Berkeley por Roxanne Makasdjian e Stephen McNally
    p "Imagine um mundo agora, onde não apenas as notícias que você lê podem ou não ser reais - esse é o mundo em que vivemos nos últimos dois anos, desde as eleições de 2016, mas onde as imagens e os vídeos que você vê podem ou não ser reais, "disse Farid, que começa seu mandato na UC Berkeley em 1º de julho. "Não se trata apenas desses últimos avanços na criação de imagens e vídeos falsos. É a injeção dessas técnicas em um ecossistema que já está promovendo notícias falsas, notícias sensacionais e teorias da conspiração. "

    p A nova técnica funciona porque todas as três técnicas de deepfake mais comuns - conhecidas como "sincronização labial, troca de rosto, "e" mestre de marionetes, "- envolva a combinação de áudio e vídeo de uma fonte com uma imagem de outra fonte, criando uma desconexão que pode ser descoberta por um observador atento - ou um modelo de computador sofisticado.

    p Usando a técnica de "troca de rosto", por exemplo, pode-se criar uma falsificação profunda de Donald Trump sobrepondo o rosto de Trump a um vídeo de Alec Baldwin fazendo uma representação de Trump, de modo que é quase como se Baldwin estivesse usando uma máscara Trump colante. Mas as expressões faciais de Baldwin ainda aparecerão através da máscara, Agarwal disse.

    p “A nova imagem criada terá as expressões e comportamento facial de Alec Baldwin, mas o rosto de Trump, "Agarwal disse.

    p Da mesma forma, em um deepfake "lip-sync", Algoritmos de IA pegam um vídeo existente de uma pessoa falando, e alterar os movimentos labiais no vídeo para corresponder ao de um novo áudio, onde o áudio pode ser um discurso mais antigo fora do contexto, um imitador falando, ou fala sintetizada. Ano passado, o ator e diretor Jordan Peele usou essa técnica para criar um vídeo viral de Obama dizendo coisas inflamadas sobre o presidente Trump.

    p Mas nesses vídeos, apenas os movimentos labiais são alterados, portanto, as expressões no resto do rosto podem não corresponder mais às palavras faladas.

    p Para testar a ideia, Agarwal e Farid reuniram vídeos de cinco grandes figuras políticas - Hillary Clinton, Barack Obama, Bernie Sanders, Donald Trump e Elizabeth Warren - e os executaram no kit de ferramentas de análise de comportamento facial de código aberto OpenFace2, que destacou tiques faciais, como sobrancelhas levantadas, rugas do nariz, a mandíbula cai e os lábios apertados.

    p O software de rastreamento OpenFace analisa um vídeo real do presidente Obama à esquerda, e um deepfake “lip-sync” à direita. Crédito:foto da UC Berkeley por Stephen McNally

    p Eles então usaram os resultados para criar o que a equipe chama de modelos "biométricos flexíveis", que correlacionam expressões faciais e movimentos de cabeça para cada líder político. Eles descobriram que cada líder tinha uma maneira distinta de falar e, quando usaram esses modelos para analisar vídeos reais e deepfakes criados por seus colaboradores na University of Southern California, eles descobriram que os modelos podiam distinguir com precisão o real do falso entre 92 e 96 por cento do tempo, dependendo do líder e da duração do vídeo.

    p "A ideia básica é que podemos construir esses modelos biométricos suaves de vários líderes mundiais, como candidatos presidenciais de 2020, e então, quando os vídeos começam a quebrar, por exemplo, podemos analisá-los e tentar determinar se pensamos que são reais ou não, "Farid disse.

    p Ao contrário de algumas técnicas forenses digitais, que identificam falsificações ao localizar artefatos de imagem deixados para trás durante o processo de fabricação, o novo método ainda pode reconhecer falsificações que foram alteradas por meio de processamento digital simples, como redimensionamento ou compactação.

    p Mas não é infalível. A técnica funciona bem quando aplicada a figuras políticas que fazem discursos e discursos formais porque tendem a se ater a comportamentos bem ensaiados nesses ambientes. Mas pode não funcionar tão bem para vídeos dessas pessoas em outros ambientes:por exemplo, Obama pode não fazer o mesmo aceno de cabeça característico ao cumprimentar seus amigos.

    p Os criadores do Deepfake também podem se tornar conhecedores desses padrões de fala e aprender a incorporá-los em seus vídeos de líderes mundiais, disseram os pesquisadores.

    p Agarwal diz que espera que a nova abordagem ajude a ganhar um pouco de tempo na corrida em constante evolução para detectar deepfakes.

    p "Estamos apenas tentando ganhar um pouco de vantagem neste jogo de gato e rato de detectar e criar novos deepfakes, "Agarwal disse.


    © Ciência https://pt.scienceaq.com