ALGORITMOS QUE DISCRIMINAM

Recentemente fiz uma Live com o Dr. Fernando Zanella na qual tratamos deste assunto necessário e de extrema importância nos momentos atuais, porém, antes de adentrarmos sobre o assunto em si necessário uma breve explanação para que vocês entendam melhor do que se trata.

Algoritmos são sequências de instruções que dizem a um computador, robô ou máquina e demais dispositivos eletrônicos como executarem determinadas tarefas que são características da inteligência humana.

Existem dois tipo de algoritmos, os programados os quais seguem as operações, os caminhos definidos pelo programador e os algoritmos não programados, os quais usam a técnica que ficou conhecida como aprendizagem de máquinas ou machine learning, onde os dados e o resultado desejado são carregados no sistema (input), que por sua vez produz o algoritmo (output) que transforma um no outro. O computador aqui escreve a própria programação, de forma que humanos não tenham que fazê-lo.

E quando falamos de algoritmos que discriminam e daremos aqui exemplos, necessário entender que todo algoritmo inicial, foi criado por um ser humano o qual pode ter um viés preconceituoso ou enviesado para determinado lado e isso pode impactar na produção dos algoritmos os quais irão replicar isso para todo o sistema, gerando problemas futuros, como os que aqui citaremos.

Nos EUA, tivemos o caso conhecido como “Caso Loomis e do Software Compas”, Eric Loomis foi preso após furtar um veículo, fugir da polícia e se envolver em um tiroteio. Levado à presença de um juiz, inicialmente determinou-se que respondesse o processo em liberdade, sendo condenado ulteriormente a seis anos de prisão. O caso ficou conhecido porque tanto a negativa da liberdade provisória como o aumento da pena foram definidos a partir de uma avaliação de que Eric Loomis apresentaria um alto risco de violência, reincidência e evasão, avaliação essa feita por um software, denominado Compas.

O software Compas é privado e funciona a partir de um algoritmo secreto o qual nem os juízes possuem acesso. Loomis recorreu a Corte Suprema dos EUA requerendo acesso aos dados dos critérios que levaram à sua classificação pelo software como pessoa de alto risco, sendo negado pela Promotoria. Os representantes legais do software defenderam o programa dizendo que estavam protegidos por segredo industrial, e, durante o julgamento, algumas questões foram levantadas, como o relatório da ONG ProPublica, sobre o enviesamento do Compas contra afro-americanos e eis que surge aqui o primeiro problema dos algoritmos, seus vieses discriminatórios e a falta de transparência algorítmica.

Outro exemplo de problemas com algoritmos foi no caso de Joy Buolamwini, o qual usou uma máscara branca para checar o funcionamento do programa, tendo em vista que ele não fazia a análise facial de pessoas negras, mas fazia quando usava uma máscara branca.

No Brasil, temos o caso de uma famosa rede de supermercados a qual desenvolveu um algoritmo para publicidade direcionada com descontos exclusivos a determinados consumidores.

Tivemos ainda um problema relacionado à ViaQuatro de São Paulo a qual usou um sistema de reconhecimento facial na linha amarela do Metrô de São Paulo e teve de suspender o programa para dar maiores explicações de seu uso junto à Justiça.

No Judiciário, os algoritmos já são utilizados também, no STF temos o robô Victor, no STJ, o robô Sócrates, no Tribunal de Justiça de Pernambuco, a robô Alice, Sofia e Mônica. Esses robôs auxiliam em diversas frentes de trabalho, como análise de volumetria, analisa e sugerem aprimoramentos de relatórios internos, analisam editais de licitação e atas de preços em busca de fraudes e irregularidades, acompanham compras públicas, dentre outras tarefas.

E o maior problema destes robôs e seus algoritmos é justamente a falta de transparência e que eles podem herdar critérios subjetivos de escolha de quem os programou.

Na advocacia já temos o uso dos algoritmos já faz um tempo, por exemplo, a um grande grupo econômico o qual se utiliza destes para as suas defesas, um programa no qual o advogado responde algumas perguntas e após respondê-las, automaticamente é gerado a defesa do processo.

O grande problema na área jurídica é que os resultados dos algoritmos auxiliam na mantença de bolsões de pobreza, bem como na potencialização da persecução criminal de determinadas classes de pessoas.

E mais, uma decisão judicial amparada por um algoritmo seria por muitos considerada como inatacável, despida de equívocos, em função de sua suposta neutralidade, sem contar a falta de transparência para com os códigos que geram o algoritmo e quem os criou, sem contar que com o aprendizado das máquinas (machine learning), poderão reproduzir padrões deturpados e de preconceito a qual foge da preocupação dos programadores e do controle do Direito.

Assim extremamente necessário e urgente criar-se meios de controle para combater os viesses algorítmicos das inteligências virtuais, para evitar que as máquinas reproduzam esses e diversos outros comportamentos discriminatórios dos seres humanos e podemos então concluir que o maior problema relacionado à discriminação não estão nas máquinas mas no ser humano em si, o qual é capaz de reproduzir esse seu comportamento deplorável para as máquinas.

By Rogério Gimenez