• Home
  • Química
  • Astronomia
  • Energia
  • Natureza
  • Biologia
  • Física
  • Eletrônicos
  • Definindo o padrão para aprendizado de máquina

    Crédito CC0:domínio público

    A revolução do microcomputador da década de 1970 desencadeou uma expansão semelhante ao Velho Oeste dos computadores pessoais na década de 1980. Ao longo da década, dezenas de dispositivos de computação pessoal, de Atari para Xerox Alto, inundado no mercado. CPUs e microprocessadores avançaram rapidamente, com novas gerações surgindo mensalmente.

    Em meio a todo esse crescimento, não havia um método padrão para comparar o desempenho de um computador com o de outro. Sem isso, não apenas os consumidores não saberiam qual sistema era melhor para suas necessidades, mas também os projetistas de computadores não tinham um método padrão para testar seus sistemas.

    Isso mudou em 1988, quando a Standard Performance Evaluation Corporation (SPEC) foi estabelecida para produzir, manter e endossar um conjunto padronizado de benchmarks de desempenho para computadores. Pense em benchmarks como testes padronizados para computadores. Como os SATs ou TOEFL, benchmarks têm como objetivo fornecer um método de comparação entre participantes semelhantes, solicitando-lhes que realizem as mesmas tarefas.

    Desde SPEC, dezenas de organizações de benchmarking surgiram para fornecer um método de comparação do desempenho de vários sistemas em diferentes chips e arquiteturas de programa.

    Hoje, há um novo faroeste no aprendizado de máquina. Atualmente, existem pelo menos 40 empresas de hardware diferentes prontas para inovar em novas arquiteturas de processador de IA.

    “Algumas dessas empresas vão subir, mas muitas vão cair, "disse Vijay Janapa Reddi, Professor Associado de Engenharia Elétrica na Escola de Engenharia e Ciências Aplicadas de Harvard John A. Paulson (SEAS). "O desafio é como podemos saber se uma peça de hardware é melhor do que outra? É aí que os padrões de referência se tornam importantes."

    Janapa Reddi é um dos líderes do MLPerf, um pacote de benchmarking de aprendizado de máquina. ML Perf começou como uma colaboração entre pesquisadores do Baidu, Berkeley, Google, Harvard, e Stanford e cresceu para incluir muitas empresas, uma série de universidades, junto com centenas de participantes individuais em todo o mundo. Outros colaboradores de Harvard incluem David Brooks, o Haley Family Professor de Ciência da Computação na SEAS e Gu-Yeon Wei, Robert e Suzanne Case Professor de Engenharia Elétrica e Ciência da Computação no SEAS.

    O objetivo do ML Perf é criar uma referência para medir o desempenho de estruturas de software de aprendizado de máquina, aceleradores de hardware de aprendizado de máquina, e nuvem de aprendizado de máquina e plataformas de computação de ponta.

    Conversamos com Janapa Reddi sobre o MLPerf e o futuro do benchmarking para aprendizado de máquina.

    SEAS:Primeiro, como funciona o benchmarking para aprendizado de máquina?

    Janapa Reddi:Em sua forma mais simples, um padrão de referência é uma definição estrita de uma tarefa de aprendizado de máquina, digamos classificação de imagem. Usando um modelo que implementa essa tarefa, como ResNet50, e um conjunto de dados, como COCO ou ImageNet, o modelo é avaliado com uma precisão de destino ou métrica de qualidade que deve atingir quando é executado com o conjunto de dados.

    SEAS:Como o benchmarking influencia sua pesquisa na SEAS?

    Janapa Reddi:Pessoalmente, Estou interessado em fazer benchmarking de sistemas autônomos e "minúsculos" de aprendizado de máquina.

    Os veículos autônomos dependem muito do aprendizado de máquina para o processamento da visão, fusão de sensores e muito mais. O porta-malas de um carro autônomo contém mais de 2, 500 watts de potência de computação. Só para colocar isso em contexto, um smartphone usa 3 Watts, e seu laptop médio usa 25 Watts. Portanto, esses veículos autônomos consomem uma quantidade significativa de energia, graças em parte a todo o aprendizado de máquina em que contam. My Edge Computing Lab está interessado em reduzir o consumo de energia, enquanto ainda estende os limites de todos os recursos de processamento necessários, aprendizado de máquina e tudo incluído.

    Na outra extremidade do espectro estão dispositivos "minúsculos". Pense em microcontroladores minúsculos que consomem miliwatts de energia que podem ser descartados e esquecidos. Microcontroladores minúsculos hoje são dispositivos passivos com pouca ou nenhuma inteligência integrada. Mas "TinyML" é um conceito emergente que se concentra no aprendizado de máquina para minúsculos microcontroladores incorporados. Meu grupo está estudando como podemos habilitar o TinyML, já que vemos muitos usos diversos. Dispositivos TinyML podem monitorar sua saúde de forma inteligente, ou pequenos drones que cabem na palma da mão podem navegar por pequenos espaços apertados no caso de um prédio caído para operações de busca e resgate, e voar entre as árvores e folhas para monitorar a saúde das safras do agricultor e manter as pragas afastadas

    Estes são dois domínios que me interessam muito, especificamente no contexto de sistemas de aprendizado de máquina, porque há vários problemas de pesquisa interessantes para resolver que vão além do desempenho do hardware de aprendizado de máquina e incluem design e implementação de software de sistema de aprendizado de máquina.

    SEAS:quais lições o aprendizado de máquina pode tirar dos esforços anteriores de benchmarking, como os iniciados pela SPEC há três décadas?

    Janapa Reddi:Ao longo dos anos, SPEC CPU foi conduzido por um consórcio de diferentes parceiros da indústria que se reúnem para determinar um conjunto de cargas de trabalho que pode levar a resultados de benchmarking justos e úteis. Portanto, As cargas de trabalho do SPEC tornaram-se um padrão na pesquisa e na academia para medir e comparar o desempenho da CPU. Como David Patterson, um arquiteto de computação renomado e ganhador do Prêmio Turing de 2017, costuma apontar, As cargas de trabalho do SPEC levaram à era de ouro do design de microprocessadores.

    Podemos pegar algumas lições do SPEC e aplicá-las ao aprendizado de máquina. Precisamos reunir a comunidade acadêmica e de pesquisa para criar um consórcio semelhante de parceiros da indústria que podem ajudar a definir padrões e benchmarks que são representativos de casos de uso do mundo real.

    SEAS:É assim que funciona o ML Perf?

    Janapa Reddi:Sim. MLPerf é o esforço de muitas organizações e vários indivíduos comprometidos, todos trabalhando juntos com a visão única e coerente de construir um benchmark justo e útil para sistemas de aprendizado de máquina. Por causa desse esforço de equipe, criamos benchmarks baseados na sabedoria de muitas pessoas e em um profundo entendimento dos casos de uso do cliente no mundo real. Os engenheiros que trabalham em sistemas de aprendizado de máquina contribuem com suas experiências com os problemas de sistemas diferenciados e as empresas podem fornecer seus casos de uso do mundo real (com permissão do usuário, claro). Com base em todas as informações que coletamos, a equipe colaborativa de pesquisadores e engenheiros do MLPerf faz a curadoria de um benchmark que é útil para plataformas e sistemas de aprendizagem.

    SEAS:MLPerf acaba de anunciar alguns novos benchmarks para aprendizado de máquina, direito?

    Janapa Reddi:Certo. Acabamos de anunciar nosso primeiro pacote de inferência, que consiste em cinco benchmarks em três tarefas diferentes de aprendizado de máquina:classificação de imagens, detecção de objetos e tradução automática. Essas três tarefas incluem modelos bem conhecidos, como MobileNets e ResNet, que oferecem suporte a diferentes resoluções de imagem para diferentes casos de uso, como veículos autônomos e smartphones.

    Estimulamos os modelos com o "LoadGen, "que é um gerador de carga que imita diferentes modos de caso de uso encontrados no mundo real. Por exemplo, em smartphones, tiramos uma foto, coloque-o em um modelo de aprendizado de máquina, e espere ansiosamente para ver se ele consegue identificar o que é a imagem. Obviamente, queremos que essa inferência seja o mais rápida possível. Em um sistema de monitoramento de câmera, queremos ver várias fotos provenientes de câmeras diferentes, portanto, o caso de uso é sensível à latência e à taxa de transferência (quantas imagens posso processar em um determinado período de tempo). Este LoadGen com nossos benchmarks diferencia o MLPerf de outros benchmarks.

    SEAS:Então, o que vem depois?

    Janapa Reddi:Os benchmarks são um passo em direção a um objetivo maior. MLPerf está interessado em expandir seus esforços de curadoria de benchmarks para avaliar o desempenho do sistema para desenvolver novos conjuntos de dados que podem promover novas inovações nos algoritmos de aprendizado de máquina, comunidades de software e hardware. Até agora, temos contado com conjuntos de dados que foram amplamente disponibilizados por meio de acadêmicos nas comunidades de código aberto. Mas em alguns domínios, como fala, há uma necessidade real de desenvolver novos conjuntos de dados que sejam pelo menos 10 a 100 vezes maiores. Mas maior sozinho é insuficiente. Também precisamos abordar a justiça e a falta de diversidade nos conjuntos de dados para garantir que os modelos treinados nesses conjuntos de dados sejam imparciais

    SEAS:Como você aborda a justiça e a diversidade no aprendizado de máquina?

    Janapa Reddi:Criamos "Harvard MLPerf Research" em conjunto com o Centro de Pesquisa em Computação e Sociedade (CRCS), que reúne cientistas e acadêmicos de uma variedade de campos para fazer avanços na pesquisa computacional que atendem ao interesse público. Pelo centro, Esperamos nos conectar com os especialistas de outras escolas para abordar questões como justiça e preconceito em conjuntos de dados. Precisamos de mais do que cientistas da computação para resolver esses problemas.


    © Ciência https://pt.scienceaq.com