p As escolas estão cada vez mais se voltando para soluções apoiadas pela inteligência artificial para impedir atos trágicos de violência estudantil, como o tiroteio na Marjory Stoneman Douglas High School em Parkland, Flórida, um ano atrás. p Bark Technologies, Gaggle.Net, e Securly Inc. são três empresas que empregam IA e aprendizado de máquina para digitalizar e-mails de alunos, Texto:% s, documentos, e em alguns casos, atividade de mídia social. Eles procuram sinais de alerta de cyber bullying, sexting, uso de drogas e álcool, depressão, e para sinalizar alunos que podem representar um risco violento não apenas para eles, mas colegas de classe.

p Quando problemas potenciais são encontrados, e dependendo da gravidade, administradores escolares, pais - e nos casos mais extremos - agentes da lei, são alertados.

p No outono de 2017, Bark fez um teste piloto com 25 escolas. "Encontramos alguns problemas bastante alarmantes, incluindo uma ameaça de bombardeio e tiroteio em escolas, "diz o chefe dos pais do Bark, Titania Jordan.

p Poucos meses depois, Parkland aconteceu e sabíamos o que tínhamos, e como isso pode ajudar, mas "não queríamos parecer oportunistas ou lucrar com uma tragédia, "Jordan disse.

p O produto Bark é gratuito para escolas nos EUA por perpetuidade. A empresa diz que pode dar o serviço às escolas, por causa do dinheiro que ganha com uma versão dirigida aos pais.

p Existem limitações.

• Nenhuma das empresas com as quais o USA TODAY falou para esta história afirma ter a capacidade de detectar comportamentos suspeitos todas as vezes. Vagamente definido, a inteligência artificial descreve máquinas que podem demonstrar o comportamento humano e aprender com os dados que digerem. Às vezes surgem falsos positivos.
• A escola não pode policiar o smartphone de um aluno ou outros dispositivos fora dos que ela emitiu, a menos que o aluno faça login em uma mídia social, ou outra conta, usando o e-mail ou as credenciais fornecidas pela escola.
• Os alunos também costumam ser mais experientes em tecnologia do que seus pais e não lhes falam sobre todas as contas que possuem.

p Se um problema for detectado, O Bark envia um alerta de texto e / ou e-mail para pais e escolas, com etapas recomendadas sobre como resolver o problema.

p O produto pai da Bark custa US $ 9 por mês, por família, ou $ 99 por ano, e inclui monitoramento em mais de 25 plataformas de mídia social, do Twitter e Instagram ao Snapchat e YouTube.

p A casca é usada atualmente em mais de 1, 100 distritos escolares, cobrindo 2,6 milhões de crianças. Se detectar algo considerado excessivamente grave, como rapto de criança ou ameaça de tiroteio na escola, a questão é encaminhada ao FBI.

p De acordo com Jordan, Bark envia entre 35, 000 e 55, 000 alertas por dia, muitos exemplos justos de palavrões. Mas 16 tiroteios em escolas plausíveis foram relatados ao FBI desde que Bark lançou seu produto escolar em fevereiro passado, ela diz.

p Prevenindo mortes por suicídio

p Gaggle, que já dura cerca de 20 anos, cobra das escolas US $ 6 por aluno, por ano. Desde 1º de julho, a empresa afirma ter impedido 447 mortes por suicídio no 1, 400 distritos escolares que usam seu serviço, e que no ano passado evitou 542 mortes potenciais por suicídio.

p O Gaggle também disse que interrompeu 240 ocorrências no ano passado em que uma criança trouxe uma arma para a escola para ferir outro aluno ou pretendia fazê-lo. Sob tais circunstâncias, O Gaggle alertará imediatamente um contato de emergência na escola e, se necessário, aplicação da lei.

p "Estudos têm mostrado que as crianças se comunicam antes que um ato violento aconteça e se comunicam eletronicamente. Se você não tiver os meios para ouvir esses gritos de socorro, terá filhos em perigo, "disse Bill McCullough, vice-presidente de vendas da Gaggle.

p McCullough acrescenta que a empresa não depende apenas do aprendizado de máquina para fazer determinações de ameaças. Se uma varredura do Gaggle em e-mails e documentos emitidos pela escola revelar uma criança em crise, o conteúdo é analisado por especialistas em segurança humana treinados, que verificam se a ameaça é legítima e, em seguida, determinam sua gravidade. Se a ameaça for considerada menor, talvez o uso de palavrões, um aluno pode ser avisado diretamente. Se a vida de um aluno for considerada em perigo, um contato de emergência na escola é notificado imediatamente.

p Por sua vez, uma terceira empresa, Com segurança, funciona com cerca de 2, 000 distritos escolares. Ele cobra US $ 3 por aluno por ano para um produto principal chamado Filter, com complementos premium que podem adicionar cerca de US $ 2,50 por aluno ao custo.

p Em outubro passado, um dos serviços premium da Securly, conhecido como 24 - combina IA com analistas humanos treinados - sinalizou um aluno que pesquisou no Google "como fazer uma bomba" e "como se matar". O analista contatou a escola.

p Outro exemplo recente envolveu um aluno que pesquisou "maneiras indolores de se matar" e assistiu a vídeos no YouTube sobre o assunto.

p Ameaça real ou linguagem inofensiva?

p À medida que os sistemas de IA se tornaram mais sofisticados, o mesmo acontece com a capacidade das máquinas de aplicar análise contextual para determinar se há perigo real, ou se amigos em idade escolar estão usando inofensivamente o que parece ser uma linguagem ameaçadora apenas para criticar uns aos outros, talvez ao jogar um jogo.

p "Nosso algoritmo de aprendizado de máquina é inteligente o suficiente para saber a diferença entre um tween enviar uma mensagem de texto para outro" KMS ", que significa" me matar "se estiver apenas envergonhado ... e usá-lo como um coloquialismo. (Ou) alguém com uma propensão real para ter depressão, ansiedade ou expressar o desejo de tirar a própria vida ou causar danos, "Jordan diz.

p McCullough em Gaggle, diz que os algoritmos da empresa são constantemente atualizados para detectar o tom de desespero em uma mensagem, para pegar símbolos e erros ortográficos, e para analisar melhor a linguagem.

p "Nós tivemos suicídios que paramos onde não há nenhuma palavra de" matar "ou" suicídio "lá, McCullough diz.

p O Gaggle pode até alertar as autoridades sobre ameaças vindas não de um distrito escolar que monitora, mas de fora.

p "Tivemos um caso em que uma menina da terceira série estava sendo solicitada por um endereço de e-mail externo pedindo fotos nuas ou essa pessoa ia matar seus pais, ", Diz McCullough." Ela tentou enviar essas fotos, mas como executamos nosso serviço ao vivo, nunca saiu do nosso ambiente. ”A pessoa foi presa.

p Equilibrando privacidade, custo

p Existe um "equilíbrio delicado" na privacidade, diz Rob McCartney, diretor de tecnologia do distrito escolar Sioux Central em Iowa, que usa Bark. "Embora o distrito escolar que administramos e mantemos seja o proprietário dos endereços de e-mail do aluno, o (aluno) tem direito a uma quantidade suficiente de privacidade sem que entremos, olhemos e digamos:'oh este é quem é o seu namorado, ou você voltou para casa tarde na noite passada? Não é para isso que estamos aqui. "

p Vinay Mahadik, CEO da Securly, também navega na linha tênue entre privacidade e segurança:"Fazemos muito esforço para tentar ser uma empresa responsável. Nem uma única vez um pai que atendemos ou um distrito escolar que ajudamos voltou e nos disse que isso é uma coisa horrível que você está fazendo. "

p McCartney aprecia o fato de o Bark ser gratuito, dadas as restrições orçamentárias apertadas que muitos distritos escolares enfrentam.

p Mas Rich O'Malley, superintendente das escolas Florence 1 na Carolina do Sul, um distrito que paga pelo Gaggle, diz que "apenas salvar uma vida ou ser capaz de tocar um aluno que tem um problema torna isso inestimável. Como superintendente, provavelmente o problema número um que ouço dos pais é a segurança escolar. "