Em formação

Pesquisa revela que o detector de discurso de ódio do Google é racialmente tendencioso

Pesquisa revela que o detector de discurso de ódio do Google é racialmente tendencioso

O discurso de ódio pode criar um ambiente tóxico para as pessoas online e está se tornando um problema crescente, tanto que as plataformas de mídia social estão sob pressão crescente para responder.

No entanto, mesmo isso pode ser um problema, já que a remoção automática desse tipo de conteúdo abre as portas para potencialmente mais problemas, pois essa solução tende a suprimir ainda mais vozes já marginalizadas. Resumindo, o processo é complicado.

RELACIONADO: ESTE AI SABE EXATAMENTE COMO VOCÊ PODE SER RACISTA E SEXISTA

No entanto, em 2016, o Google fez o seu melhor para criar um algoritmo de inteligência artificial destinado a monitorar e prevenir o discurso de ódio em plataformas de mídia social e sites. No entanto, um estudo recente conduzido por pessoas da Universidade de Washington descobriu que a mesma ferramenta era preconceituosa racialmente; perfis de tweets postados por afro-americanos.

O detector de discurso de ódio tendencioso

Agora, ao treinar qualquer ferramenta de aprendizado de máquina, o conjunto de dados certo é importante, e o algoritmo de discurso de ódio do Google não era diferente. Os desenvolvedores da empresa compreendiam um banco de dados de mais de 100,000 tweets que foram rotulados como "tóxicos" pela API do Google chamada Perspective. Esse conteúdo tóxico então se tornou a luz que orienta o algoritmo, usando o que ele “aprendeu” para identificar e sinalizar “conteúdo bom” e qualquer coisa desagradável, rude ou desrespeitosa.

O jornal da Universidade de Washington descobriu que a ferramenta do Google teve uma taxa suspeitamente alta de sinalizar pessoas negras, embora a maior parte da linguagem dos tweets tenha sido identificada como não prejudicial.

Curiosamente, quando a ferramenta foi testada contra 5,4 milhões de tweets eles descobriram que a ferramenta tinha duas vezes mais probabilidade de sinalizar postagens escritas por afro-americanos. Parece que a ferramenta do Google teve dificuldades com tweets escritos em inglês vernáculo afro-americano.

Escolher os dados certos

Como dito acima, os dados corretos são muito importantes. É ainda mais importante em áreas nas quais a raça está envolvida. O problema geral com o algoritmo do Google é que ele não tinha o conhecimento apropriado e a consciência cultural para identificar adequadamente o inglês vernáculo afro-americano. Em suma, o AAE não foi devidamente apresentado ao conjunto de dados, o que, por sua vez, levou ao viés.

A solução? Conforme declarado no relatório, “Introduzimos o dialeto e o priming racial, duas maneiras de reduzir o preconceito do anotador, destacando o dialeto de um tweet na anotação de dados e mostrando que isso diminui significativamente a probabilidade de tweets AAE serem rotulados como ofensivos.”

A equipe da Universidade de Washington acredita que atenção extra deve ser dada aos efeitos confusos do dialeto, a fim de evitar preconceitos raciais não intencionais na detecção do discurso de ódio.


Assista o vídeo: Vídeo aula 33. Discurso Direto e Discurso Indireto (Novembro 2021).