A IBM Research e o Rensselaer Polytechnic Institute (RPI) estão colaborando em uma nova abordagem para ajudar os alunos a aprender mandarim. A estratégia emparelha um assistente com tecnologia de IA com um ambiente de sala de aula imersivo que não foi usado anteriormente para o ensino de idiomas. A sala de aula, chamada de Sala Cognitiva Imersiva (CIR), faz com que os alunos se sintam como se estivessem em um restaurante na China, um jardim, ou uma aula de Tai Chi, onde eles podem praticar falando mandarim com um agente de chat de IA. O CIR foi desenvolvido pelo Laboratório de Sistemas Cognitivos e Imersivos (CISL), uma colaboração de pesquisa entre a IBM Research e a RPI.

Ao aprender um novo idioma, especialmente um tão difícil quanto o mandarim, é importante que os alunos tenham muitas oportunidades de falar e praticar suas habilidades de conversação. Adquirindo um novo idioma naturalmente, por meio da imersão cultural, pode ser mais eficaz do que práticas não imersivas. Ainda, o aprendizado experiencial não está disponível para a maioria dos novos aprendizes de mandarim. É por isso que desenvolvemos o CIR.

Um ambiente de sala de aula de gamificação envolvente

O CIR reúne várias tecnologias de ponta, como fala para texto, compreensão da linguagem natural, e visão computacional para permitir a imersão e o diálogo multimodal natural. O quarto inclui um sistema de exibição panorâmica de 360 ​​graus, um sistema de áudio, múltiplas câmeras, vários dispositivos Kinect, e vários microfones, bem como sistemas de computador para apoiar as tecnologias de IA, alguns localizados na sala e outros na nuvem.

Nosso objetivo é combinar cognitivos, tecnologias imersivas com elementos de jogo para permitir que os alunos vivenciem um ambiente cultural, praticar tarefas diárias, e obtenha ajuda de agentes inteligentes. Com o Projeto Mandarim, usamos o IBM Watson dentro do CIR como um agente de conversação para envolver os alunos enquanto eles aprendem o idioma. Nossa abordagem envolve o reconhecimento de fala IBM Watson e as tecnologias de compreensão de linguagem natural para inglês e chinês.

Um dos maiores obstáculos no aprendizado de uma língua estrangeira por imersão é o medo dos alunos de serem julgados por falantes nativos. No CIR, Contudo, os alunos podem trabalhar com parceiros de conversação virtuais para praticar o vocabulário e a pronúncia sem as pressões de um ambiente do mundo real.

Muitos pesquisadores de aprendizagem de línguas estão trabalhando com realidade virtual ou aumentada, mas estamos investigando em escala humana, envolvente, ambientes de jogos onde os alunos podem andar fisicamente sem ter que usar equipamentos especializados. Isso reflete uma tendência mais ampla na interação humano-computador, conforme nosso envolvimento com as informações em nossas vidas diárias se torna cada vez mais imersivo e nossas interações com máquinas inteligentes mudam para parceria.

Nosso sistema foi testado em uma aula de chinês 1 no campus da RPI no final do outono de 2017. Neste outono, continuaremos usando IA como ferramenta de ensino em chinês 1, 2 e 3 classes, com o objetivo de oferecer uma nova classe que unirá os chineses 1-3 no verão de 2019.

A pesquisa por trás - e além - da sala de aula

Como parte da IBM AI Horizons Network, CISL cria e usa tecnologias como sistemas sensíveis ao contexto, análise de contorno de tom de tom, troca de idioma entre chinês e inglês em uma conversa de idioma natural entre pessoas e agentes de IA, interação multimodal multiusuário, raciocínio e planejamento no processo de tomada de decisão e narrativa multimodal com geração automática de narrativa, visualização e sonificação.

O CIR é um dos quatro casos de uso do CISL. O laboratório também está trabalhando para aumentar a inteligência do grupo para a tomada de decisões críticas em ambientes do mundo real, como salas de reuniões. No futuro, esses novos sistemas cognitivos e imersivos podem mudar fundamentalmente a maneira como as pessoas vivem e trabalham. Os primeiros protótipos do CIR também forneceram oportunidades para pesquisas de interação com o usuário, permitindo-nos encontrar e enfrentar novos desafios na aprendizagem de línguas.