As línguas humanas são notoriamente complexas, e os linguistas há muito pensam que seria impossível ensinar uma máquina a analisar os sons da fala e as estruturas das palavras da maneira que os investigadores humanos o fazem.
Mas pesquisadores do MIT, Cornell University e McGill University deram um passo nessa direção. Eles demonstraram um sistema de inteligência artificial que pode aprender as regras e os padrões das linguagens humanas por conta própria.

Quando são fornecidas palavras e exemplos de como essas palavras mudam para expressar diferentes funções gramaticais (como tempo verbal, caso ou gênero) em um idioma, esse modelo de aprendizado de máquina apresenta regras que explicam por que as formas dessas palavras mudam. Por exemplo, ele pode aprender que a letra "a" deve ser adicionada ao final de uma palavra para tornar a forma masculina feminina em servo-croata.

Esse modelo também pode aprender automaticamente padrões de linguagem de alto nível que podem ser aplicados a muitas linguagens, permitindo obter melhores resultados.

Os pesquisadores treinaram e testaram o modelo usando problemas de livros didáticos de linguística que apresentavam 58 idiomas diferentes. Cada problema tinha um conjunto de palavras e mudanças na forma de palavras correspondentes. O modelo foi capaz de apresentar um conjunto correto de regras para descrever essas mudanças na forma de palavras para 60% dos problemas.

Esse sistema pode ser usado para estudar hipóteses de linguagem e investigar semelhanças sutis na maneira como diversas línguas transformam palavras. É especialmente único porque o sistema descobre modelos que podem ser facilmente compreendidos por humanos e adquire esses modelos a partir de pequenas quantidades de dados, como algumas dezenas de palavras. E, em vez de usar um conjunto de dados maciço para uma única tarefa, o sistema utiliza muitos conjuntos de dados pequenos, o que está mais próximo de como os cientistas propõem hipóteses – eles analisam vários conjuntos de dados relacionados e criam modelos para explicar fenômenos nesses conjuntos de dados.

"Uma das motivações deste trabalho foi nosso desejo de estudar sistemas que aprendam modelos de conjuntos de dados que sejam representados de uma maneira que os humanos possam entender. Em vez de aprender pesos, o modelo pode aprender expressões ou regras? poderia construir esse sistema para aprender em uma bateria inteira de conjuntos de dados inter-relacionados, para fazer o sistema aprender um pouco sobre como modelar melhor cada um", diz Kevin Ellis, professor assistente de ciência da computação na Universidade de Cornell e principal autor do o papel.

Juntando-se a Ellis no artigo estão os membros do corpo docente do MIT Adam Albright, professor de linguística; Armando Solar-Lezama, professor e diretor associado do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL); e Joshua B. Tenenbaum, Professor de Desenvolvimento de Carreira Paul E. Newton de Ciência Cognitiva e Computação no Departamento de Cérebro e Ciências Cognitivas e membro do CSAIL; bem como o autor sênior Timothy J. O'Donnell, professor assistente no Departamento de Linguística da Universidade McGill, e CIFAR AI do Canadá no Instituto de Inteligência Artificial de Mila—Quebec.

A pesquisa foi publicada hoje na Nature Communications .

Observando o idioma

Em sua busca para desenvolver um sistema de IA que pudesse aprender automaticamente um modelo a partir de vários conjuntos de dados relacionados, os pesquisadores optaram por explorar a interação da fonologia (o estudo dos padrões sonoros) e da morfologia (o estudo da estrutura das palavras).

Os dados de livros didáticos de linguística ofereceram um teste ideal porque muitas línguas compartilham recursos essenciais e os problemas dos livros didáticos mostram fenômenos linguísticos específicos. Problemas de livros didáticos também podem ser resolvidos por estudantes universitários de maneira bastante direta, mas esses alunos geralmente têm conhecimento prévio sobre fonologia de lições anteriores que usam para raciocinar sobre novos problemas.

Ellis, que obteve seu Ph.D. no MIT e foi aconselhado conjuntamente por Tenenbaum e Solar-Lezama, aprendeu sobre morfologia e fonologia em uma aula do MIT co-ministrada por O'Donnell, que era um pós-doutorado na época, e Albright.

"Os linguistas pensaram que, para realmente entender as regras de uma linguagem humana, para ter empatia com o que faz o sistema funcionar, você tem que ser humano. Queríamos ver se podemos emular os tipos de conhecimento e raciocínio que humanos (linguistas) trazem para a tarefa", diz Albright.

Para construir um modelo que pudesse aprender um conjunto de regras para montar palavras, o que é chamado de gramática, os pesquisadores usaram uma técnica de aprendizado de máquina conhecida como Aprendizado de Programa Bayesiano. Com esta técnica, o modelo resolve um problema escrevendo um programa de computador.

Nesse caso, o programa é a gramática que o modelo pensa ser a explicação mais provável das palavras e significados em um problema linguístico. Eles construíram o modelo usando o Sketch, um sintetizador de programa popular que foi desenvolvido no MIT por Solar-Lezama.

Mas o Sketch pode levar muito tempo para raciocinar sobre o programa mais provável. Para contornar isso, os pesquisadores fizeram o modelo trabalhar uma peça de cada vez, escrevendo um pequeno programa para explicar alguns dados, depois escrevendo um programa maior que modifica esse pequeno programa para cobrir mais dados e assim por diante.

Eles também projetaram o modelo para que ele aprenda como os programas "bons" tendem a ser. Por exemplo, ele pode aprender algumas regras gerais sobre problemas simples de russo que seriam aplicadas a um problema mais complexo em polonês porque os idiomas são semelhantes. Isso torna mais fácil para o modelo resolver o problema polonês.

Enfrentando problemas de livros didáticos

Quando eles testaram o modelo usando 70 problemas de livros didáticos, foi possível encontrar uma gramática que correspondia a todo o conjunto de palavras do problema em 60% dos casos e correspondeu corretamente à maioria das mudanças na forma das palavras em 79% dos problemas.

Os pesquisadores também tentaram pré-programar o modelo com algum conhecimento que "deveria" ter aprendido se estivesse fazendo um curso de linguística e mostraram que ele poderia resolver melhor todos os problemas.

"Um desafio deste trabalho foi descobrir se o que o modelo estava fazendo era razoável. Esta não é uma situação em que há um número que é a única resposta certa. Há uma série de soluções possíveis que você pode aceitar como corretas, perto da direita, etc.", diz Albright.

O modelo muitas vezes apresentou soluções inesperadas. Em um caso, descobriu a resposta esperada para um problema de língua polonesa, mas também outra resposta correta que explorou um erro no livro didático. Isso mostra que o modelo poderia "depurar" as análises linguísticas, diz Ellis.

Os pesquisadores também realizaram testes que mostraram que o modelo foi capaz de aprender alguns modelos gerais de regras fonológicas que podem ser aplicadas em todos os problemas.

"Uma das coisas mais surpreendentes é que pudemos aprender em vários idiomas, mas não pareceu fazer uma grande diferença", diz Ellis. "Isso sugere duas coisas. Talvez precisemos de métodos melhores para aprender através dos problemas. E talvez, se não conseguirmos encontrar esses métodos, este trabalho possa nos ajudar a sondar as diferentes ideias que temos sobre o conhecimento a ser compartilhado entre os problemas."

No futuro, os pesquisadores querem usar seu modelo para encontrar soluções inesperadas para problemas em outros domínios. Eles também podem aplicar a técnica a mais situações em que o conhecimento de nível superior pode ser aplicado em conjuntos de dados inter-relacionados. Por exemplo, talvez eles possam desenvolver um sistema para inferir equações diferenciais de conjuntos de dados sobre o movimento de diferentes objetos, diz Ellis.

"Este trabalho mostra que temos alguns métodos que podem, até certo ponto, aprender vieses indutivos. e rejeitar os ridículos", acrescenta.

"Este trabalho abre muitos caminhos interessantes para pesquisas futuras. Estou particularmente intrigado com a possibilidade de que a abordagem explorada por Ellis e colegas (Bayesian Program Learning, BPL) possa falar sobre como os bebês adquirem a linguagem", diz T. Florian Jaeger, um professor de cérebro e ciências cognitivas e ciência da computação da Universidade de Rochester, que não foi o autor deste artigo.

"Trabalhos futuros podem perguntar, por exemplo, sob quais vieses de indução adicionais (suposições sobre gramática universal) a abordagem BPL pode alcançar com sucesso um comportamento de aprendizagem semelhante ao humano no tipo de dados que os bebês observam durante a aquisição da linguagem. Acho que seria fascinante ver se vieses indutivos que são ainda mais abstratos do que aqueles considerados por Ellis e sua equipe - como vieses originados nos limites do processamento de informações humanas (por exemplo, restrições de memória no comprimento da dependência ou limites de capacidade na quantidade de informações que podem ser processadas por tempo ) — seria suficiente para induzir alguns dos padrões observados nas línguas humanas." + Explorar mais

O modelo de aprendizado de máquina pode identificar a ação em um videoclipe e rotulá-la, sem a ajuda de humanos