Pesquisadores do Idiap e da EPFL têm trabalhado com psicólogos para entender como as pessoas formam as primeiras impressões a partir das fotos. Eles se concentraram em como as pessoas respondem às propriedades disponíveis no Airbnb. Uma melhor análise do comportamento humano deve permitir que os cientistas programem máquinas capazes de tomar decisões mais "humanas".

Com apenas alguns cliques no TripAdvisor ou Airbnb, você pode reservar um apartamento romântico para um fim de semana fora com seu parceiro, ou um restaurante elegante para um almoço de negócios. As decisões rápidas envolvidas, baseado principalmente em imagens, estão longe de ser triviais, dada sua importância comercial e a revolução econômica representada pelo advento de sites de economia sob demanda como o Airbnb. Mas o que é uma imagem que nos leva a descrever um interior como "moderno", "colorido" ou "prático"? Para responder a essa pergunta, pesquisadores do Idiap Research Institute e da EPFL têm trabalhado com psicólogos da Universidade de Lausanne. Eles querem obter uma melhor compreensão das percepções e do comportamento dos usuários de mídia social e, em seguida, usar esse conhecimento para programar computadores capazes de tomar decisões de uma forma mais humana. "Na era do big data, as máquinas estão cada vez mais por trás de um grande número de decisões, "explica Daniel Gatica-Perez, Professor adjunto da Escola de Engenharia e Instituto de Humanidades Digitais da EPFL. "Nosso objetivo é torná-los o mais semelhantes possível às decisões humanas."

Uma colaboração entre psicólogos e engenheiros

Para entender como uma primeira impressão é formada, pesquisadores primeiro realizaram entrevistas com hóspedes e viajantes, perguntando como eles selecionam acomodações. Eles usaram 350, 000 imagens de 22, 000 propriedades listadas no Airbnb na Suíça e no México, e aplicou-lhes uma análise algorítmica para verificar se eram imagens de interiores. Eles então selecionaram 200 propriedades aleatoriamente e enviaram uma lista de adjetivos para observadores online. Esses observadores tiveram que decidir com que precisão os adjetivos descreviam cada propriedade, em uma escala de 1 a 7. Alguns adjetivos eram mais factuais (como "limpo" e "confuso"), enquanto outros eram mais subjetivos (como "boêmio" e "charmoso"). Esse estágio, realizado em colaboração entre psicólogos e engenheiros, revelou quais características todos os participantes concordaram e quais discordaram. Para propriedades descritas como "coloridas" ou "escuras, "a maioria dos entrevistados concordou com esses adjetivos e as pontuações foram muito semelhantes. Pontuações para outros adjetivos, como "relaxado" ou "tradicional, "variava muito dependendo da propriedade.

Analisando a percepção humana online

Os cientistas então realizaram a modelagem com base nos dados obtidos. Eles tentaram detectar quais características das fotos levaram os participantes a descrevê-las usando um determinado adjetivo, para programar computadores para reconhecê-los. Próximo, eles examinaram até que ponto os adjetivos estavam inter-relacionados. As pessoas que descrevem uma propriedade como "colorida" também associam o adjetivo "limpo" a essa propriedade? Qual é a conexão entre "pretensioso, "na moda, "" organizado "e" grande "? Como os adjetivos positivos e negativos são, e adjetivos factuais e subjetivos, inter-relacionados? E por que o adjetivo "romântico" está mais associado a "sofisticado" do que a "moderno"? "Podemos esperar que 'grande' e 'espaçoso' estejam muito próximos na mente das pessoas, e 'desordenado' e 'vazio' muito distantes, "diz Gatica-Perez." Mas as relações são mais complexas. Usando nosso sistema, se reconhecermos uma característica, também podemos associar outros adjetivos ligados a eles na mente das pessoas. "

Máquinas ajudando humanos

Finalmente, os pesquisadores pegaram as imagens de propriedades e aplicaram algoritmos usados ​​no campo do aprendizado profundo, comparar os resultados com os obtidos em humanos. Eventualmente, profissionais como arquitetos ou designers podem aplicar os resultados a fotos de interiores. O laboratório também acompanha o desenvolvimento de sites de compartilhamento de imagens que, para um determinado lugar, exibir fotos muito diferentes - profissionais e amadoras - levando a percepções amplamente variadas. Contudo, o objetivo principal dos cientistas é entender as características das imagens e as conexões que determinam a maneira como formamos as impressões, para que eles possam programar computadores para imitá-los. "Muitas vezes ouvimos que as máquinas funcionam melhor do que os humanos, "conclui Gatica-Perez." Nosso objetivo é outro:queremos treinar máquinas para reconhecer essas sutilezas que os humanos percebem e expressam em seu dia-a-dia, e usá-los para apoiar as necessidades reais das pessoas. "

"Confira este lugar:inferindo o ambiente das fotos do Airbnb" foi publicado em Transações IEEE em multimídia .