SEUS DADOS CONTRA VOCÊ: A DISCRIMINAÇÃO DAS MÁQUINAS
|
Essa é a última aula do nosso minicurso online! Apesar da saudade, já estamos pensando no que podemos fazer para encerrar esse ciclo (aguarde uma surpresa em breve!). Mas antes, gostaríamos muito de saber o que você achou da experiência para pensarmos em novos conteúdos como esse. Se puder, nos ajude preenchendo esse pequeno formulário - você não será identificado. ;)
Agora, voltando ao que nos interessa: nessa última aula, vamos falar da possibilidade de discriminação a partir do uso de dados e de como a lei brasileira lida com isso. Boa leitura!
|
|
AAAAH, O SONHO DA IMPARCIALIDADE TECNOLÓGICA
|
Normalmente, pensamos que quem tem preconceito são as pessoas. Não parece intuitivo dizer que uma máquina seria capaz de discriminar alguém. Afinal, ela só analisa os dados, então não deveria tomar as decisões mais justas e imparciais?
Por exemplo: uma empresa pode utilizar uma tecnologia de análise de currículos para ajudá-la em um processo seletivo. Essa tecnologia vai funcionar com a ajuda de um algoritmo, que funciona quase como uma receita de bolo, analisando as informações disponíveis (os ingredientes) e atribuindo a elas um resultado específico (o modo de preparo). Esse algoritmo, então, analisa as informações de vários currículos e o histórico de quem já esteve na vaga, atribuindo notas a partir da avaliação de quais são as qualidades que melhor se encaixam ao cargo.
Parece inofensivo, eficiente e, até mesmo, mais justo.
|
|
MAS NÃO É BEM ASSIM
|
Funcionando apenas com base no que geralmente ocorre, o algoritmo pode acabar reproduzindo desigualdades e discriminações. Isso porque o sistema olha friamente a grande quantidade de dados da nossa realidade. Nesse caso, infelizmente, a maioria de cargos de chefia é ocupada por homens brancos, com salários maiores. Analisando esse contexto, um algoritmo poderia facilmente deduzir que uma mulher e/ou uma pessoa negra teria menores chances de sucesso naquele cargo e que, portanto, seriam menos qualificadas para ocupá-lo.
A questão é que algoritmos são literais. Eles não têm consciência para olhar os dados da realidade e classificá-los de maneira a identificar um padrão discriminatório. Em situações nebulosas, o algoritmo não tem a capacidade de criar uma solução criativa, podendo, nesses casos, reproduzir discriminações. Fatores como gênero e raça são dados considerados sensíveis justamente porque podem gerar discriminações. Para muitas finalidades, deveriam ser irrelevantes, mas o algoritmo pode usá-los como base se o seu programador não der a devida atenção ao assunto.
Em geral, essas falhas acontecem na seleção dos dados que serão previamente analisados pelas máquinas e que baseiam todos os seus resultados. Pode acontecer deles serem incompletos (certa vez, pessoas negras chegaram a ser classificadas como gorilas por um software de reconhecimento facial, em razão de um banco de imagens com poucos negros). Também pode acontecer de os dados estarem enviesados, o que acontece quando o software incorpora um preconceito existente na sociedade e, como reflexo, em seus resultados.
|
|
ABRINDO A CAIXA-PRETA
|
Cada vez mais nossos caminhos são determinados por algoritmos que podem fazer análises tendenciosas - o que somos, o que lemos, para onde vamos… Se intervém de tal maneira na nossa vida, o algoritmo deve ser transparente, compreensível e capaz de possibilitar um debate, como fazemos com qualquer assunto de interesse público. Além disso, também é importante diversificar o perfil dos profissionais que trabalham no desenvolvimento desses algoritmos. Isso vale tanto para que existam mais mulheres, negros e LGBTs programadores, quanto para que essas equipes contem com filósofos, cientistas sociais, psicólogos, ou outros profissionais capazes de refletir sobre os limites éticos da tecnologia.
|
|
COMO MELHORAR
|
Um jeito interessante de resolver esse problema é garantindo o direito de que qualquer cidadão solicite a revisão - por um ser humano - de decisões tomadas de maneira automatizada e que afetem os seus interesses. Na Lei Geral de Proteção de Dados, esse direito está garantido no art. 20 (bom, pelo menos até a votação definitiva da Medida Provisória nº869, já que até lá isso ainda pode ser alterado). Se houver modificação nesse ponto, perdemos uma das ferramentas mais importantes de garantia do princípio da não discriminação, previsto na lei.
Fora isso, a empresa deve fornecer informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada e, se a empresa se negar, a autoridade de proteção de dados pessoais poderá realizar auditorias para verificar indícios de discriminação.
A garantia de um uso transparente e auditável dos algoritmos é essencial para termos um futuro ético na tecnologia. Estaremos aqui para acompanhar essa história.
|
|
|
Quer mais?
|
-
Veja outros casos de discriminação nesta reportagem do El País.
-
Algoritmos também podem definir o seu score de crédito. Veja quais são os seus direitos no manual do Idec.
-
Outros usos. Algoritmo do Twitter identifica mensagens suicídas e oferece ajuda.
-
Estado dos EUA aprova lei que exige transparência dos algoritmos utilizados na justiça criminal (em inglês).
-
Por que (e como) regular algoritmos? No Jota.
|
REVISE TODO O CURSO ONLINE, COM 10 AULAS
|
|