Misturas visuais, que unem dois objetos de uma forma incomum, forma atraente, são uma técnica avançada de design gráfico usada em publicidade, marketing, e a mídia para chamar a atenção para uma mensagem específica. Esses casamentos visuais são projetados para precipitar um "aha!" momento no espectador que apreende uma ideia a partir da união de duas imagens. Por exemplo, misturar a imagem de uma laranja com a imagem do sol pode transmitir uma bebida com vitamina C.

Embora os designers gráficos profissionais sejam especializados em fazer combinações visuais, a maioria das pessoas não é tão hábil em construir essas imagens imaginativas. Para ajudar não profissionais a criar combinações visuais para suas notícias e PSAs, os cientistas da computação da Columbia Engineering desenvolveram o VisiBlends, um flexível, plataforma amigável que transforma a atividade criativa de brainstorming em uma função de pesquisa, e permite uma saída estatisticamente maior de imagens visualmente combinadas. A plataforma VisiBlends combina uma série de etapas humanas ou "microtarefas" com IA e técnicas computacionais. Crowd sourcing é um componente-chave do sistema, permitindo que grupos de pessoas colaborem, juntos ou fora do local.

"Para a pessoa média, parece que uma mistura visual requer inspiração criativa - um aha! momento - e que não existe uma fórmula exata para fazer um, "diz Lydia Chilton, professor assistente de ciência da computação, que liderou a equipe e apresentou o artigo hoje em Glasgow, REINO UNIDO, na Conferência ACM CHI 2019 sobre Fatores Humanos em Sistemas Computacionais, a principal conferência internacional de Interação Humano-Computador. "Queríamos desconstruir o processo de construção de combinações visuais e ver se havia uma maneira de torná-lo mais acessível às pessoas, acoplando o elemento humano com métodos computacionais."

Combinações visuais eficazes são difíceis de fazer porque precisam cumprir dois objetivos opostos:combinar dois objetos em um e, ao mesmo tempo, garantir que ambos sejam reconhecíveis. Chilton notou que, embora não haja uma estrutura óbvia de nível de superfície para combinações visuais, muitos têm uma estrutura abstrata comum, eles combinam dois objetos com uma forma semelhante. Depois de analisar centenas de misturas, a equipe estabeleceu uma abordagem baseada em princípios de reconhecimento de objetos visuais humanos. As pessoas usam muitos recursos visuais diferentes em diferentes estágios para reconhecer um objeto, incluindo a forma 3D simples do objeto, silhueta, profundidade, cor, e detalhes.

A forma é o recurso mais importante que as pessoas usam para reconhecer um objeto; secundariamente, eles usarão cores ou detalhes. Ao combinar objetos com base em formas compartilhadas, em seguida, misturando suas cores ou detalhes, pode-se enviar aos sistemas visuais mensagens conflitantes sobre o que o objeto é. As mensagens conflitantes são o que mantém os espectadores olhando para o objeto para descobrir o que é.

O processo VisiBlends começa com os usuários encontrando dois conceitos importantes da mensagem que desejam associar à mistura. Por exemplo, para o conceito de publicidade que combina McDonald's e "saudável, "os usuários poderiam escolher uma maçã e um hambúrguer como os dois conceitos a serem combinados. Para o título" Futebol perigoso para o desenvolvimento juvenil, "os usuários podem selecionar" futebol "e" perigoso "como os dois conceitos a serem combinados. Os conceitos devem ser amplos o suficiente para que haja variedade suficiente nos símbolos para encontrar partidas, e se não, os usuários podem precisar fazer um brainstorm para ampliar os conceitos.

Depois de fazer um brainstorming de associações com o conceito, os usuários precisam encontrar imagens de objetos que representem visualmente o conceito de forma simples, formas icônicas, e, em seguida, deve fazer anotações nas imagens quanto à sua forma e cobertura. Depois que os usuários têm uma coleção de imagens anotadas para ambos os conceitos, computadores são usados ​​para combinar imagens automaticamente e sintetizá-las em combinações com base no padrão de design.

Depois que as misturas foram sintetizadas, os usuários podem avaliar os resultados. Se não houver combinações bem-sucedidas, o processo precisa ser repetido para redirecionar o brainstorming para encontrar mais símbolos. Embora esse processo de design iterativo frequentemente produza novas restrições, a flexibilidade do fluxo de trabalho permite que os usuários se adaptem facilmente, movendo-se entre as tarefas e vendo o trabalho de seus colaboradores.

Chilton e sua equipe, que incluiu seu Ph.D. estudante Savvas Petridis e Maneesh Agrawala, o professor Forest Baskett de ciência da computação e diretor do Brown Institute for Media Innovation da Stanford University, questionou se ajudaria designers novatos a fazer combinações visuais melhores. Para testar isso, eles realizaram um estudo controlado para comparar quantas combinações de sucesso os usuários novatos poderiam fazer com e sem VisiBlends.

No estudo, VisiBlends produziu 10 vezes mais resultados criativos do que sessões de brainstorming não guiadas. Os usuários do VisiBlends tiveram uma taxa de sucesso de 96%, em oposição a uma taxa de 21% sem usar o sistema. Os pesquisadores também descobriram que o sistema tornou mais fácil para grupos situados em lugares diferentes gerar combinações colaborativas em microtarefas independentes e para grupos localizados em uma área trabalharem juntos em imagens mescladas.

"Foi muito emocionante, "Chilton diz, "ver que o uso de nossa ferramenta VisiBlends aumentou drasticamente o número de combinações visuais bem-sucedidas."

VisiBlends pega o processo geral de design e o adapta a um problema específico, com base em um padrão de design. "Mas o processo de design e a ideia de padrões de design são muito amplos", Chilton observa. "Agora estamos trabalhando na criação de fluxos de trabalho flexíveis para outros problemas, entendendo quais componentes estão na base da solução e qual padrão de design abstrato pode descrever melhor como esses componentes se encaixam. Por exemplo, muitas tarefas criativas têm padrões - as histórias têm enredos como a jornada do herói, a música tem progressões de acordes, as provas matemáticas têm técnicas de prova, software tem padrões de projeto, e até mesmo artigos acadêmicos têm uma estrutura abstrata que os orientadores repassam aos alunos. "

Não havia nenhum padrão de design existente para combinações visuais, portanto, a equipe teve que discernir o padrão examinando exemplos e testando teorias. Eles descobriram que, para encontrar padrões de design, eles precisavam ignorar os detalhes do nível da superfície e se concentrar nos elementos que são mais fundamentais para a cognição humana. "Para combinações visuais, a forma era importante para uma mistura, "Chilton acrescenta." Para um domínio como a escrita persuasiva, os princípios psicológicos dos estados emocionais podem ser os elementos-chave de um padrão de projeto. "

Chilton agora está explorando como estender sua abordagem a outros problemas de design criativo, explorando como sua equipe pode encontrar conexões entre dois campos de pesquisa e combiná-los em um para gerar novos resultados e acelerar a pesquisa interdisciplinar. Chilton observa que muitos resultados científicos surpreendentes na história vieram de uma técnica experimental em um campo, como física, e aplicá-lo em um campo diferente, como ciência da computação, que é parte de como surgiu o aprendizado profundo.

"Os impactos dos campos de mistura podem ser enormes, mas até agora, eles acontecem principalmente por acidente, "Ela diz." Podemos tornar o intercâmbio científico e as descobertas mais sistemáticos e acelerar o ritmo de descobertas. "