Uma visão geral da abordagem de Vechtomova et al. Primeiro, uma CNN é implementada para classificar artistas com base em imagens de espectrograma, aprendendo assim os embeddings do artista. Então, um VAE é treinado para reconstruir falas de letras de músicas, condicionado nos encaixes de artistas pré-treinados. Na hora da inferência, para gerar letras no estilo de um artista desejado, os pesquisadores extraem z do espaço latente e o decodificam condicionado à incorporação daquele artista. Crédito:Vechtomova et al.
Pesquisadores da Universidade de Waterloo, Canadá, desenvolveram recentemente um sistema para gerar letras de músicas que correspondem ao estilo de determinados artistas musicais. A abordagem deles, descrito em um artigo pré-publicado no arXiv, usa um autoencoder variacional (VAE) com embeddings de artistas e um classificador CNN treinado para prever artistas a partir de espectrogramas MEL de seus clipes de música.
"A motivação para este projeto veio do meu interesse pessoal, "Olga Vechtomova, um dos pesquisadores que realizou o estudo, disse TechXplore. "A música é uma paixão minha, e eu estava curioso para saber se uma máquina pode gerar linhas que soem como as letras dos meus artistas musicais favoritos. Enquanto trabalhava em modelos geradores de texto, meu grupo de pesquisa descobriu que as redes neurais podem gerar algumas linhas de texto impressionantes. O próximo passo natural para nós foi explorar se uma máquina poderia aprender a 'essência' do estilo lírico de um artista musical específico, incluindo escolha de palavras, temas e estrutura de frase, para gerar novas linhas de letras que soem como o artista em questão. "
O sistema desenvolvido por Vechtomova e seus colegas é baseado em um modelo de rede neural chamado autoencoder variacional (VAE), que pode aprender reconstruindo as linhas originais do texto. Em seu estudo, os pesquisadores treinaram seu modelo para gerar qualquer número de novos, linhas líricas diversas e coerentes.
“Para gerar linhas no estilo de um determinado artista, condicionamos a geração à incorporação de um artista (ou seja, um vetor multidimensional de números reais), aprendido por uma rede neural separada, que é treinado para classificar espectrogramas de clipes de áudio de música por artistas, "Vechtomova disse." Em seguida, usamos os embeddings do artista para condicionar a geração das linhas das letras no estilo de cada artista. A motivação por trás disso é que queremos que as diferenças entre os embeddings de artistas reflitam as diferenças em seus estilos líricos e musicais. "
Em uma série de avaliações preliminares, o sistema desenvolvido por Vechtomova e seus colegas teve um desempenho notável. Suas descobertas sugerem que os embeddings de artistas são úteis para gerar letras que combinam com o estilo de um artista. Muitas linhas geradas pelo modelo estavam inequivocamente alinhadas com o artista ao qual foi condicionado, refletindo os temas geralmente abordados em sua música.
Dois poemas gerados pelo sistema e incluídos na coleção enviada ao NeurIPS 2018 Workshop on ML for Creativity and Design. Vechtomova criou cada poema selecionando versos gerados pelo VAE e organizando-os de uma forma artisticamente significativa. Nenhuma edição foi feita nas linhas individuais, exceto para adicionar letras maiúsculas e sinais de pontuação. Crédito:Vechtomova.
"Embora as linhas geradas geralmente contenham as palavras de um artista, estes são usados de uma maneira nova e interessante, expressando pensamentos novos não encontrados nas letras originais, "Vechtomova explicou." Algumas das linhas geradas transmitem imagens poéticas novas e poderosas, expressa por meio de dispositivos estilísticos, como metáforas e oximoros, mantendo-se fiel ao estilo do artista. "
No futuro, o sistema criado por Vechtomova e seus colegas pode ser usado para inspirar artistas que estão compondo letras para novas canções. Em vez de substituir compositores líricos, os pesquisadores esperam que ele forneça novas idéias, que os artistas podem moldar, construir e desenvolver de forma independente.
"O sistema não pretende substituir um artista musical, mas para ser usado como fonte de inspiração durante o processo de composição, "Vechtomova disse." No mundo da música, isso pode ser análogo a um sintetizador que pode gerar um número infinito de sons, a partir do qual um artista cria uma música. De forma similar, essa ferramenta pode gerar um número infinito de linhas de romance que os artistas podem usar da maneira que quiserem para compor suas próprias letras. "
Como parte de um projeto diferente, Vechtomova usou o mesmo sistema para gerar poesia intrigante no estilo de diferentes artistas musicais. A coleção de poemas resultante foi aceita como uma obra de arte no NeurIPS 2018 Workshop on ML for Creativity and Design.
"No futuro, planejamos trabalhar em modelos que possam aprender novos temas e vocabulário de fontes adicionais, e usá-los para gerar letras no estilo de um determinado artista, "Vechtomova disse." Eu também gostaria de explorar como tal sistema poderia ser usado por artistas musicais como uma fonte de inspiração. "
© 2019 Science X Network
