Como ferramentas

Como ferramentas automatizadas discriminam contra a linguagem negra

Um dos meus aspectos favoritos da mídia social é encontrar trabalhos incríveis de ativistas, criativos e acadêmicos. Fico especialmente empolgado ao ver o trabalho de colegas mulheres de cor, cujas perspectivas muitas vezes são deixadas de fora da mídia e do ativismo. Então, naturalmente, quando descubro que posts de mulheres de cor estão sendo filtrados do meu feed, estou cético e chateado, mas não surpreso.

Isso aconteceu recentemente quando eu estava usando o Gobo, um agregador de mídias sociais e uma plataforma de filtragem criada por meus colegas do MIT Center for Civic Media. O Gobo foi criado para lidar com a falta de conhecimento e controle que as pessoas têm sobre como seus feeds de mídia social são filtrados. O objetivo é restituir o controle ao usuário, permitindo que os usuários ajustem como seus feeds são filtrados em seis categorias: política, seriedade, grosseria, gênero, marcas e obscuridade. Quando o usuário ajusta os filtros para cada uma dessas categorias, as postagens serão filtradas para dentro ou para fora do feed, e o Gobo informará o motivo.

Recentemente, juntei-me à equipe do Gobo para entender a eficácia desses filtros e como eles poderiam ser mais úteis. Do jeito que está, o Gobo é menos um produto e mais uma provocação para entender como a filtragem funciona nas plataformas de mídia social. O Gobo está longe de ser perfeito e todos os seis filtros demonstram alguns comportamentos inesperados ou indesejados. Por exemplo, o filtro para marcas não diferencia entre postagens de empresas e postagens de organizações sem fins lucrativos. O filtro de gênero não leva em consideração pessoas não-binárias. E o filtro de seriedade atribui erroneamente postagens sobre o assédio como “não sendo sério”.

O filtro de grosseria é o que mais se destacou para mim – não necessariamente porque teve um desempenho pior do que os outros filtros, mas por causa de cujos posts estavam sendo filtrados. Quando eu configurei meu feed para mostrar postagens que o Gobo considerou “menos rude”, notei que muitos dos posts de mulheres de cor desapareceram. Postagens que foram filtradas e marcadas como “muito rudes” incluem aquelas como estas:

Este post contém um palavrão e, embora não tenha sido usado de forma ativamente depreciativa, é possível ver como ele pode ser considerado “rude”. No entanto, até mesmo postagens que afirmavam ativamente estavam sendo filtradas, como esta:

Sim, também contém um palavrão, mas o conteúdo aqui é extremamente positivo. Mas e se tirássemos expletivos da foto? Aqui está outra postagem que foi marcada como “muito rude”:

Mesmo a afirmação de postagens que não contêm palavrões também estava sendo filtrada. Os tweets de Ruby Pineda e Tee Terei contêm exemplos de inglês vernáculo afro-americano (AAVE), também conhecido como afro-americano inglês, inglês vernáculo preto ou inglês preto. Jae Nichelle, do Projeto Juventude Negra, descreve a AAVE como “um dialeto do inglês ou de sua própria língua, resultante de uma combinação de palavras inglesas e gramática niger-congolesa. AAVE tem suas próprias palavras, sintaxe e regras. Mais importante, é parte de uma rica cultura negra. ”No post de Pineda,“ rainha ”é palavra em AAVE que é comumente usada para celebrar mulheres. No post de Terei, a AAVE é usada para se referir a obter sucesso financeiro (“in yo bag”) e encorajar uma amiga a manter o ritmo (“betta do it sis”). Ambos os posts foram rotulados como “muito rude”.

Marcando AAVE como “tóxico”
Uma prática comum no desenvolvimento de software é usar ferramentas existentes para construir novos aplicativos. Vários filtros no Gobo são criados com ferramentas de terceiros, incluindo o filtro de grosseria. Esse filtro usa uma API do Jigsaw, uma incubadora da Alpha, empresa controladora do Google, chamada Perspective, que usa “modelos de aprendizado de máquina para avaliar o impacto percebido que um comentário pode ter em uma conversa”, de acordo com seu website. O modelo específico usado para o filtro de grosseria da Gobo “identifica se um comentário pode ser percebido como ‘tóxico’ para uma discussão.” No site da Perspective, há uma área onde você pode digitar uma declaração e informa a probabilidade dessa afirmação. para ser percebido como “tóxico” ou “um comentário rude, desrespeitoso ou irracional que provavelmente fará você sair de uma discussão”.

Críticas já surgiram contra Perspective por suas tendências bastante racistas, sexistas e capazes. Foi demonstrado que as declarações contendo identificadores como “preto”, “mulher” e “surda” são particularmente tóxicas, como expôs a bibliotecária Jessamyn West em um tópico no Twitter no ano passado:

Os exemplos de West sugerem que a Perspectiva está determinando a toxicidade com base na presença de certas palavras, como “negro”, “mulher” e “surdo”. Essas palavras podem aparecer mais frequentemente em declarações tóxicas, mas isso não significa que essas palavras se correlacionam automaticamente com toxicidade, e Perspective faz um péssimo trabalho ao reconhecer isso.

No entanto, minha própria experiência usando Perspectiva revelou outra camada de falta de reconhecimento quando se trata de diferenças linguísticas. A perspectiva falha em reconhecer a AAVE. Como resultado, afirmações como “você na sua bolsa! Você pode fazê-lo sis !!!!!!!! ”pode ser indevidamente sinalizado como tóxico, apesar do significado ser positivo.

Como experiência, digitei outra frase AAVE para ver se a Perspectiva a marcaria como tóxica.

Nesta declaração, “droga burro” refere-se a alguém ser incrível ou grande. (“Ass” é comumente adicionado aos adjetivos em AAVE para ênfase.) Embora essa declaração deva ser positiva e encorajadora, a Perspective nos diz que é altamente “provável que seja percebida como tóxica”.

Classificação e moderação de idiomas por meio de aprendizado de máquina
Os modelos de aprendizado de máquina contam com conjuntos de treinamento ou conjuntos de dados que ajudam o computador a aprender como classificar as informações. O modelo de toxicidade do Perspective baseia-se em um conjunto de treinamento com mais de 100.000 comentários da Wikipedia, cada um deles rotulado por anotadores humanos sobre se o comentário é uma contribuição “tóxica” ou “saudável”. Embora isso possa parecer um conjunto de treinamento relativamente grande, a diversidade do conjunto de treinamento é questionável considerando a demografia dos colaboradores da Wikipedia. A Wikipedia há tempos tem problemas com preconceitos de gênero, e apesar de muitas campanhas envolverem mais mulheres na edição da Wikipedia, uma pesquisa de 2018 mostrou que 90% dos editores da Wikipedia são homens. No entanto, um problema menos documentado na Wikipedia é o preconceito racial. Várias organizações reconheceram a significativa falta de história negra na Wikipédia, e isso também pode ser devido à falta de representação negra entre os colaboradores da Wikipedia. Sem contribuições representativas dos negros, o conjunto de treinamento do Perspective carece de exemplos de AAVE e é, em vez disso, dominado por exemplos de linguagem mais usados ​​entre homens brancos.

Como resultado, o modelo de toxicidade da perspectiva é influenciado contra a fala negra. Infelizmente, isso não é apenas um problema da Perspective. Pesquisadores da Universidade de Massachusetts mostraram que várias ferramentas populares para o processamento de linguagem natural (PNL) tendem a ter um desempenho pior na AAVE e até mesmo identificam erroneamente a AAVE como não-inglesa. Esses vieses contra o AAVE tornam-se especialmente preocupantes à medida que mais plataformas usam ferramentas como o Perspective para moderar as discussões on-line. A perspectiva já se associou à Wikipedia, ao New York Times, ao Economist e ao Guardian. Enquanto isso, plataformas de mídia social como o Facebook têm suas próprias ferramentas automatizadas para moderação de conteúdo – e um histórico infeliz de desabilitar as contas de ativistas negros, enquanto fazem pouco sobre os relatos de supremacia branca.

Existem problemas bem documentados com moderação de conteúdo nas plataformas de mídia social, mas à medida que trabalhamos para resolver esses problemas, temos que reconhecer que as plataformas podem ter o poder de moderar não apenas o conteúdo, mas a própria linguagem. Implícita no viés da Perspective contra a AAVE está a noção de que a linguagem usada por muitos americanos negros é menos aceitável, menos intelectual e menos respeitável do que a linguagem usada pelos americanos brancos. Infelizmente, esse tipo de discriminação de linguagem não é novidade; reflete uma história mais longa de discriminação contra a AAVE e, mais amplamente, com os negros americanos.

AAVE e a supressão da língua negra
O inglês vernáculo afro-americano pode ser rastreado até o século XVII durante a colonização britânica do sul americano. Durante esse período, escravos negros e servos contratados começaram a desenvolver um novo dialeto que combinava o inglês britânico com elementos das línguas crioulas africanas e caribenhas. Embora a AAVE tenha surgido em parte devido à falta de acesso educacional, ela também funcionava como um modo de resistência – “uma resposta encoberta, muitas vezes desafiadora, ao estado de vigilância da escravidão”, como Vinson Cunningham escreve no New Yorker. Cornel West argumenta que essa resistência é expressa não apenas através da diferença linguística, mas também através de expressões únicas de mão, repetição rítmica, modos de andar, penteados e muito mais.

A AAVE, no entanto, não é mais usada apenas entre os negros americanos. Como o hip-hop e outros elementos da cultura negra ganharam maior aceitação na cultura americana dominante, a AAVE tem sido cada vez mais usada por pessoas não-negras também. Isso levantou muitas críticas sobre a apropriação cultural. Embora os não-negros possam ganhar capital social e cultural usando a AAVE hoje, os negros há muito são marginalizados por usar AAVE, que muitas vezes é visto como “mau inglês”.

Apesar das tentativas institucionais de suprimir a AAVE, ela continua a prosperar e a servir como um importante método cultural de expressão para os negros, tanto na vida real quanto online. Sarah Florini, especialista em estudos de mídia, argumenta que, no Twitter, a AAVE é frequentemente usada na prática de “significar”, “que emprega linguagem figurativa, indireta, duplicidade e jogo de palavras como meio de transmitir múltiplas camadas de significado”. uma maneira importante para os usuários de mídia social Black realizarem a identidade cultural negra. Embora seja importante reconhecer que não existe uma única identidade cultural negra, a prática de significar através da AAVE pode ser vista como uma maneira importante em que os negros podem realizar sua identidade. Lisa Nakamura, uma das principais estudiosas sobre raça em mídia digital, argumenta que esse desempenho é “um importante modo de resistência à marginalização e ao apagamento”, particularmente em um espaço on-line onde a raça poderia estar escondida.

Mas como as plataformas de mídia social e de notícias trabalham para automatizar seus processos de moderação, a AAVE poderia começar a ser mais ativamente reprimida on-line. A mídia social é um espaço particularmente importante para reconhecer a possível supressão da AAVE quando consideramos o papel crítico que ela desempenha ao destacar as vozes dos negros. Um estudo da Pew mostra que porcentagens mais altas de pessoas negras estão usando plataformas de mídia social como Twitter, Facebook e Instagram do que pessoas brancas. Se ferramentas como Perspective, que não levam em consideração a AAVE, forem usadas para moderar a linguagem nessas plataformas, as vozes negras podem ser filtradas dessas plataformas. Como as plataformas de mídia social e de notícias lidam com questões de moderação de conteúdo e liberdade de expressão, elas também precisam reconhecer problemas relacionados à moderação de linguagem. Caso contrário, essas plataformas podem perpetuar uma prática mais ampla de discriminação lingüística que continua a apoiar a supremacia branca nos Estados Unidos.

A tecnologia pode reforçar o racismo: como podemos ir além disso?
Vez por outra, vimos como a tecnologia pode ser discriminatória e, especificamente, anti-negra. Pesquisadores e artistas como Joy Buolamwini mostraram como as tecnologias de reconhecimento facial não reconhecem as mulheres negras de pele escura. Safiya Noble, autora de Algorithms of Oppression, mostrou como mecanismos de busca como o Google podem impor estereótipos racistas, especialmente contra mulheres de cor. Essas tecnologias são usadas para criminalizar, vigiar e excluir negros, intencionalmente ou não. Quando vemos que menos de 3% dos trabalhadores de tecnologia do Vale do Silício são negros, não é surpresa nenhuma. Precisamos abordar as desigualdades estruturais que impedem os negros de trabalhar em tecnologia, pois os vieses na tecnologia baseada em algoritmos são em grande parte devidos aos preconceitos de seus criadores. Ao mesmo tempo, nós, aliados não-negros em tecnologia, temos que continuar trabalhando para desmantelar nossos próprios preconceitos e os preconceitos raciais embutidos em nossas tecnologias.

Quando a Perspectiva categoriza AAVE como “tóxica”, precisamos reconhecer as implicações que ela poderia ter para os negros – como suas vozes poderiam ser ainda mais marginalizadas em espaços on-line e off-line. Grandes organizações noticiosas como o New York Times e o Guardian já estão usando o Perspective para moderar suas seções de comentários online. Além do Perspective, outras ferramentas estão sendo desenvolvidas por empresas como Facebook, Twitter e Cortico para automatizar ainda mais a moderação e promover conversas on-line “mais saudáveis”.

Aqui no Center for Civic Media, estamos usando o modelo de toxicidade do Perspective no Gobo para mostrar como a grosseria pode ser filtrada de feeds de mídias sociais. Embora nosso objetivo seja ser inclusivo em nosso trabalho, o Gobo foi inicialmente implantado sem reconhecer como o uso da Perspectiva pode ter perpetuado vieses contra a AAVE. Um de nossos primeiros passos depois de reconhecer isso foi declarar explicitamente os possíveis vieses do filtro contra a AAVE em nosso site, a fim de ser transparente e estimular o diálogo sobre o assunto. No entanto, também reconhecemos a necessidade de incluir mais vozes em nosso processo anteriormente, entendendo que perspectivas estreitas podem nos impedir de reconhecer certos vieses.

Para superar preconceitos raciais nessas tecnologias, precisamos de uma mudança nas suposições sobre que tipos de linguagem são considerados “saudáveis”. Precisamos de um diálogo inter-racial sobre como as pessoas se comunicam entre si de maneiras culturalmente únicas. Precisamos de diversos conjuntos de treinamento que reflitam a real diversidade de fala on-line. Caso contrário, essas ferramentas podem marginalizar ainda mais os negros nas plataformas importantes que usamos todos os dias. AAVE não é tóxico – a tecnologia racista é.