Figura 1. Qualidade da imagem antes (esquerda) e depois (direita) do aplicativo de tecnologia. Crédito:Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST)
O professor Jinwoo Shin e o professor Dongsu Han da Escola de Engenharia Elétrica desenvolveram a entrega de vídeo da Internet adaptativa neural com reconhecimento de conteúdo. Esta tecnologia é um novo método que combina streaming adaptável por HTTP, o sistema de transmissão de vídeo adotado pelo YouTube e Netflix, com um modelo de aprendizado profundo.
Espera-se que essa tecnologia crie um ambiente de internet onde os usuários possam assistir vídeos em 4K e AV / VR com vídeos de alta qualidade e alta definição (HD), mesmo com conexões fracas de internet.
Graças aos serviços de streaming de vídeo, o vídeo na Internet experimentou um crescimento notável; no entanto, os usuários geralmente sofrem de baixa qualidade de vídeo devido a condições de rede desfavoráveis. Atualmente, os sistemas de streaming adaptável existentes ajustam a qualidade do vídeo em tempo real, acomodando a largura de banda da Internet em constante mudança. Vários algoritmos estão sendo pesquisados para sistemas de streaming adaptativos, mas há uma limitação inerente; isso é, vídeos de alta qualidade não podem ser transmitidos em ambientes de rede ruins, independentemente do algoritmo usado.
Ao incorporar super-resolução em streaming adaptável, a equipe superou o limite das redes de distribuição de conteúdo existentes, cuja qualidade depende muito da largura de banda. No método convencional, o servidor que fornece o vídeo divide um vídeo em determinados períodos de tempo com antecedência. Mas o novo sistema introduzido pela equipe permite o download de segmentos de rede neural. Para facilitar este método, o servidor de vídeo precisa fornecer redes neurais profundas para cada segmento de vídeo, bem como tamanhos de Redes Neurais Profundas (DNN) de acordo com as especificações da capacidade de computação do usuário.
Figura 2. O conceito de tecnologia. Crédito:Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST)
O maior tamanho da rede neural é de dois megabytes, que é consideravelmente menor que o vídeo. Ao baixar a rede neural do player de vídeo do usuário, ele é dividido em vários segmentos. Mesmo seu download parcial é suficiente para uma super-resolução um pouco reduzida.
Durante a reprodução do vídeo, o sistema converte o vídeo de baixa qualidade em uma versão de alta qualidade, empregando super-resolução baseada em redes neurais de convolução profunda (CNN). Todo o processo é feito em tempo real, e os usuários podem desfrutar do vídeo de alta definição.
Mesmo com uma largura de banda 17 por cento menor, o sistema pode fornecer a Qualidade de Experiência equivalente ao serviço de streaming adaptável mais recente. Em uma determinada largura de banda da Internet, ele pode fornecer uma média de QoE 43% maior do que o serviço mais recente.
Figura 3. Uma transição de vídeo de baixa qualidade para vídeo de alta qualidade após a transmissão do vídeo do servidor de vídeo. Crédito:Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST)
Usar um método de aprendizado profundo permite que este sistema atinja um nível mais alto de compressão do que os métodos de compressão de vídeo existentes. Sua tecnologia foi reconhecida como um sistema de vídeo na Internet de última geração que aplica super-resolução com base em uma rede neural de convolução profunda para vídeos online.
Professor Han disse, "Até aqui, só foi implementado em desktops, mas iremos desenvolver ainda mais aplicativos que funcionam em dispositivos móveis também. Esta tecnologia foi aplicada aos mesmos sistemas de transmissão de vídeo usados por canais de streaming, como YouTube e Netflix, e, portanto, mostra bons sinais de praticabilidade. "
