O filme 3-D de James Cameron, Avatar, procurou revolucionar a experiência de ir ao cinema quando foi lançado pela primeira vez em 2009, criando um mundo envolvente para os espectadores. Mas e se você também quisesse sentir o calor e o vento, enquanto voava em uma banshee, direto de sua cadeira de cinema?

Embora já exista um pequeno número dos chamados filmes "4-D" que adicionam um elemento físico, pesquisadores da Universidade de Toronto estão trabalhando em uma maneira de aplicar o recurso de forma mais ampla.

"Normalmente a cadeira vai tremer, pode haver respingos ou algum outro tipo de interação durante a exibição do filme, "diz Yuhao Zhou, um estudante do quarto ano no departamento de engenharia elétrica e de computação Edward S. Rogers Sênior, do entretenimento emergente. "No momento, todos esses efeitos são criados a partir da primeira fase de produção. Gostaríamos de automatizar esse tipo de processo para filmes que não foram originalmente criados para cinemas 4-D."

Zhou está trabalhando com Makarand Tapaswi, um pós-doutorado em ciência da computação da U of T, e Sanja Fidler, professor assistente no departamento de ciências matemáticas e computacionais da Universidade de T Mississauga e no departamento de graduação em ciência da computação de três campus. Eles recentemente tiveram seu trabalho, Agora você me sacode:em direção ao cinema 4-D automático, destaque em uma apresentação de destaque na conferência Computer Vision and Pattern Recognition (CVPR) em Salt Lake City, Utah.

Zhou diz que um filme 4-D geralmente é percebido do ponto de vista da primeira pessoa, ou câmera. Se Will Turner em Piratas do Caribe está sentindo o vento soprando em seu rosto, e o espectador quer experimentar ser Turner, depois eles, também, teria que sentir o vento em seu rosto.

"Queremos ter um recurso em que você possa simplesmente apertar um botão e experimentar o que os personagens estão sentindo, "Zhou diz.

Para transformar um filme normal ou 3-D em 4-D, os pesquisadores usaram um site freelance para anotar os efeitos do filme para seu modelo de previsão 4-D.

"Por exemplo, [em O Senhor dos Anéis:A Sociedade do Anel] Frodo puxa Sam para fora da água, mas existem vários efeitos acontecendo simultaneamente, "diz Zhou, que começou a trabalhar com Fidler durante seu terceiro ano de estudos de graduação. "Primeiro, ele o puxa - há uma interação física com a mão. Quando Sam volta para a água, ele puxa Frodo, e o barco balança.

"A câmera é sua entrada, "acrescenta Tapaswi." Mas, neste caso, você deseja experimentar não apenas o que a câmera vê, mas também um dos personagens - reviva como os personagens se sentiram tremendo e assim por diante. "

Embora a tecnologia 4-D ainda esteja fora do alcance das interações físicas - isto é, puxando a mão - Tapaswi prevê sensores de pressão para simular o toque conforme a tecnologia avança. O modelo pode ser útil em outras áreas, como realidade virtual ou realidade aumentada.

"Estamos coletando esses tipos de anotações para estudos futuros, "Zhou diz.

Para seu conjunto de dados, eles aplicaram classificação e detecção de efeitos. Para classificação de efeito, Zhou diz que sua rede neural, uma função de aprendizado de máquina que permite análises profundas e aprendizado de dados, extraiu recursos de um clipe curto, incluindo movimento e áudio. Para detecção, ele diz, a rede neural pode prever quais são os efeitos, e onde eles ocorrem, em um longo videoclipe.

"Você não quer apenas saber o que acontece com um personagem em uma cena específica. Você quer ser capaz de dizer:'[o efeito] é o vento agora, não só porque vejo o vento agora, mas [porque] provavelmente estava ventando antes, '", Diz Tapaswi.

Os pesquisadores descobriram que certos gêneros de filmes tendem a compartilhar efeitos semelhantes - por exemplo, filmes ambientados no espaço como Interestelar ou Gravidade. Isso pode ser visto como uma nova maneira de agrupar, diz Tapaswi.

"Normalmente com filmes 3-D, os frequentadores do cinema usam óculos e se sentam em uma cadeira, "diz Zhou." Com cinema 4-D automático, a rede neural processaria informações de filmes 2-D e 3-D, coloque-o na cadeira, e simular os efeitos. "