Esperar, que? Criar uma IA pode ser muito pior para o planeta do que um carro? Pense na pegada de carbono. Isso é o que um grupo da Universidade de Massachusetts Amherst fez. Eles se propuseram a avaliar o consumo de energia necessário para treinar quatro grandes redes neurais.

Seu jornal está atualmente atraindo a atenção entre os sites de observação de tecnologia. É intitulado "Considerações sobre Energia e Política para Aprendizado Profundo em PNL, "por Emma Strubell, Ananya Ganesh e Andrew McCallum.

Esse, disse Karen Hao, repórter de inteligência artificial para MIT Technology Review , foi uma avaliação do ciclo de vida para treinar vários modelos grandes de IA comuns.

"O progresso recente em hardware e metodologia de treinamento de redes neurais deu início a uma nova geração de grandes redes treinadas em dados abundantes, "disseram os pesquisadores.

Qual é o seu palpite? Que treinar um modelo de IA resultaria em uma pegada "pesada"? "Um pouco pesado?" Que tal "terrível?" Esta última foi a palavra escolhida por MIT Technology Review em 6 de julho, Quinta-feira, relatórios sobre os resultados.

O aprendizado profundo envolve o processamento de grandes quantidades de dados. (O artigo examinou especificamente o processo de treinamento do modelo para processamento de linguagem natural, o subcampo da IA ​​que se concentra em ensinar máquinas para lidar com a linguagem humana, disse Hao.) Donna Lu em New Scientist citou Strubell, quem disse, "Para aprender algo tão complexo como a linguagem, os modelos têm de ser grandes. "Que modelos de formação de preços obtêm ganhos de precisão? O preço é amarrar recursos computacionais excepcionalmente grandes para isso, causando um consumo substancial de energia.

Hao relatou suas descobertas, que "o processo pode emitir mais de 626, 000 libras de equivalente de dióxido de carbono - quase cinco vezes as emissões durante a vida do carro americano médio (e isso inclui a fabricação do próprio carro). "

Esses modelos são caros para treinar e desenvolver - caros no sentido financeiro devido ao custo de hardware e eletricidade ou tempo de computação em nuvem, e caro no sentido ambiental. O custo ambiental se deve à pegada de carbono. O artigo procurou trazer este assunto à atenção dos pesquisadores de PNL "quantificando os custos financeiros e ambientais aproximados do treinamento de uma variedade de modelos de rede neural recentemente bem-sucedidos para PNL".

Como eles testaram:para medir o impacto ambiental, eles treinaram quatro IAs por um dia cada, e amostrou o consumo de energia por toda parte. Eles calcularam a potência total necessária para treinar cada IA ​​multiplicando isso pelo tempo total de treinamento relatado pelos desenvolvedores de cada modelo. A pegada de carbono foi estimada com base nas emissões médias de carbono usadas na produção de energia nos EUA.

O que os autores recomendaram? Eles foram na direção de recomendações para reduzir custos e "melhorar a equidade" na pesquisa de PNL. Capital próprio? Os autores levantam a questão.

"Os pesquisadores acadêmicos precisam de acesso equitativo aos recursos de computação. Avanços recentes na computação disponível têm um preço alto que não pode ser alcançado por todos que desejam ter acesso. A maioria dos modelos estudados neste artigo foi desenvolvida fora da academia; melhorias recentes no estado da realidade a precisão da arte é possível graças ao acesso da indústria à computação em grande escala. "

Os autores apontaram que "Limitar este estilo de pesquisa aos laboratórios da indústria prejudica a comunidade de pesquisa da PNL de várias maneiras." A criatividade é sufocada. Boas ideias não são suficientes se a equipe de pesquisa não tiver acesso à computação em grande escala.

"Segundo, proíbe certos tipos de pesquisa com base no acesso a recursos financeiros. Isso promove ainda mais profundamente o já problemático ciclo de financiamento de pesquisa de 'ricos ficam mais ricos', onde grupos que já são bem-sucedidos e, portanto, bem financiados tendem a receber mais financiamento devido às suas realizações existentes. "

Os autores disseram, "Os pesquisadores devem priorizar hardware e algoritmos computacionalmente eficientes." Nessa veia, os autores recomendaram um esforço da indústria e da academia para promover a pesquisa de algoritmos mais eficientes do ponto de vista computacional, e hardware que exige menos energia.

Qual é o próximo? A pesquisa será apresentada na Reunião Anual da Association for Computer Linguistics, em Florença, Itália em julho.

© 2019 Science X Network