Conjur | A discriminação algorítmica é a mais nova forma de opressão

Por mais evoluídos que possam ser, fato é que os computadores não enxergam ou têm opinião. Em razão disso, para que pudessem ser criados filtros que realizassem a identificação, moderação e replicação do conteúdo que deve, ou não, ser exibido em determinados sites e aplicativos da internet, indispensável foi o recurso a padrões (de informações, linhas, curvas, formas, densidades etc.), atualizados com constância, a serem utilizados por meio de inteligências artificiais desenvolvidas com esse objetivo. Esse processo, porém, está longe de ser isento de julgamentos morais, e a razão é muito simples: a criatura se faz à imagem e semelhança do seu criador, o homem — que, lobo do próprio homem, imputa em sua obra todos os preconceitos que dele advêm: o racismo, a LGBTfobia, o machismo e tantas outras formas de opressão.

Uma das grandes provas disso talvez tenha sido o chatbot da Microsoft, criado em 2016. Idealizado para “aprender” com interações reais com os usuários (aprendizado maquínico, ou machine learning), não durou menos de 24 horas para que a Tay (nome comercial do referido chatbot) adquirisse posicionamentos discriminatórios contra os negros, e se referisse ao feminismo como um “culto” e um “câncer”. Naturalmente, esses posicionamentos foram “ensinados” por pessoas racistas e machistas, e a inteligência artificial apenas reproduziu um conhecimento que lhe foi apresentado de forma reiterada, mas isso não isenta a Microsoft da responsabilidade de não ter implementado os filtros necessários para que a “inteligência” artificial não replicasse a incivilidade e a discriminação, inegavelmente presentes na sociedade.

Também sobre essa questão, é triste constatar que não são poucos os estudos que mostram que determinados aplicativos simplesmente não conseguem “reconhecer” pessoas negras, ao utilizarem técnicas de reconhecimento facial, ou associam a beleza à pele branca. A razão disso? Os bancos de imagens são formados, na grande maioria das vezes, por pessoas brancas, o que faz com que o os sistemas de inteligência artificial não tenham parâmetros adequados à identificação de pessoas negras.

A questão, como se vê, é estrutural e impacta as novas tecnologias em razão de problemas que existem antes mesmo do surgimento daquelas. É o caso, por exemplo, da absurda sexualização das mulheres negras. Narra Sofiya Umoja, autora do livro “Algoritmos da Opressão”, que a busca pelo termo “mulheres negras” no Google, levava a vários resultados relacionados a pornografia, o que não aconteceria se a busca estivesse relacionada a mulheres brancas. Ou seja, para além da invisibilização do povo negro, os algoritmos (ou melhor: os desenvolvedores dos algoritmos) reforçam estereótipos racistas, o que é absolutamente lamentável.

O combate a isso deve vir da implementação de uma boa governança algorítmica que esteja atenta ao problema e que deve permitir a fiscalização externa, a fim de viabilizar o acesso de terceiros ao método gravado no algoritmo, para que se tenham alcançado determinados resultados. Essa é uma medida indispensável para que se possa mitigar os riscos da ocorrência de discriminação algorítmica.

Mas também é importante que se diga que a Lei Geral de Proteção de Dados é um marco normativo vigente importante nesse combate à discriminação por intermédio da inteligência artificial. Isso porque, para além de ter estabelecido como princípio a não discriminação — o que, por si só, já viabiliza a tomada de medidas judiciais frente a casos concretos de discriminação, dita lei também permitiu que os titulares dos dados pessoais solicitem a revisão de decisões tomadas unicamente com base em tratamento automatizado  que afetem seus interesses. Além disso, também concedeu à Autoridade Nacional de Proteção de Dados (ANPD) a competência para realização de auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais.

Esse parece ser um passo muito importante para o enfrentamento desse lamentável fenômeno da modernidade, mas a aparente falta de interesse de grande parte das empresas brasileiras em se adequarem à referida lei revela a falta de cultura relacionada ao tratamento de dados pessoais, e isso pode ser um fator de perpetuação dessa nova forma de opressão. Espera-se que a ANPD se empenhe para mudar esse quadro, formando mais uma frente de combate efetivo à discriminação.

Felipe Caon é sócio do escritório Serur Advogados, mestre em Direito Privado pela UFPE e doutorando em Direito Civil pela PUC-SP.

Conteúdo veiculado no Conjur, clique aqui e confira.