Quando falamos sobre inteligência artificial e sobre a utilização de dados para nos apoiar no processo decisório, uma das maiores vantagens que nos apresentam é a sua neutralidade. Os humanos têm preconceitos e enviesamentos, fragilidades da carne: sabemos, por exemplo, que os juízes são mais duros a partir de meio da manhã e até à hora do almoço [1] e que podem ter preconceitos raciais ou de género [2]. Os algoritmos serão impermeáveis a tudo isto, podendo esperar-se que tragam mais justiça ao sistema.

É de facto interessante esta ideia de que as máquinas é que nos podem trazer a cegueira (frequentemente ausente) que vemos na imagem da justiça. Achamos que o princípio (lei) é bom mas o humano (juiz) falha e o computador (neutro e cego) poderá corrigir. Foi esta ideia que esteve na base de uma série de algoritmos, implementados nos EUA. A partir de dados históricos e em função do preenchimento de um vasto questionário que poderia incluir questões como “Algum dos seus progenitores está ou esteve preso?” ou “Tem emprego estável?”, tentavam prever o risco de reincidência de um certo arguido. A cada pessoa era dado um índice que seria utilizado pelo juiz para decidir o valor da fiança ou pena a aplicar, de forma quantitativa e “neutra”.

No entanto, em 2016 uma investigação da ProPublica descobriu que estes algoritmos eram profunda e assustadoramente racistas [3] . Dois indivíduos com o mesmo historial de criminalidade (ou ausência dele) eram avaliados como apresentando riscos (de fuga ou reincidência) completamente diferentes. Brancos com bons empregos e anos de historial de pedofilia eram bem avaliados e postos em liberdade. Negros pobres que tivessem roubado uma bicicleta, classificados como de alto risco. Como é que os algoritmos passaram a decidir em função da etnia se a cor da pele nunca fora introduzida no modelo? Uma vez que estes modelos não podem conhecer cada indivíduo, o que fazem é tentar comparar com “outros como tu”. E como não temos boas medidas de previsão de reincidência, os algoritmos usam “proxies”, coisas que podemos medir e que esperamos que estejam relacionadas com o nosso objectivo (ter pais com historial de criminalidade poderia ser um bom preditor de criminalidade dos filhos).

Ora a utilização destes “proxies” não só é, em si, ilegal (os filhos não podem ser ser julgados pelas acções dos pais) como podem até ser indutores de seriíssimos erros. E quando se começou a escrutinar com mais atenção estes algoritmos descobriu-se que um dos factores mais importantes nesta análise de risco era o código postal: uma criança exemplar de um bairro complicado e pobre seria pior avaliada do que um rufia rico.

Este problema é semelhante a outro discutido num dos artigos iniciais da série, em que imaginámos um modelo para nos ajudar a escolher a melhor pessoa para um certo emprego, por exemplo um cargo de gestão de topo. Introduzimos no modelo todos os dados que temos do passado, de informação detalhada sobre cada candidato, sobre o emprego em questão, histórias anteriores de sucesso ou de insucesso. O nosso modelo retorna uma lista dos melhores candidatos. Qual a probabilidade de no final escolhermos uma mulher? Ou um negro? A probabilidade é muito baixa porque a nossa base de dados vai ter uma sub-representação histórica de certos grupos: são raras as mulheres (ou pessoas de minorias) com cargos de topo em grandes empresas. Como o nosso algoritmo só aprende com o passado e como o ensinamos com dados que não são neutros, esta inteligência artificial vai ignorar que as mulheres não estão lá por não serem aptas (mas por um milhar de outras razões), e vai-nos dizer que, por serem mulheres, são menos aptas e que não as queremos nestes cargos. Vai-nos dizer “que não devemos querer” pessoas que tenham estado de licença de maternidade ou que vivam no código postal “errado” [4].

A ilusão de neutralidade

Naturalmente, os algoritmos são neutros em termos de valores, mas a forma como os treinamos não é, porque é dependente da intervenção e da história humana. O melhor que podemos esperar deles é que aprendam tão bem com o nosso passado, que consigam continuar a perpetuar (e a amplificar) os nossos enviesamentos, mais ou menos conscientes. Dirá uma leitora atenta: sim, mas é perfeitamente possível programar o modelo para ignorar o enviesamento dos dados e dar-lhe instruções explícitas para, no final, apresentar uma lista de candidatos que represente a diversidade da população. E tecnicamente, de facto, isto não levanta problemas de maior. Mas, em termos práticos, implica a criação de um sistema de quotas em que a equipa programadora introduz no modelo um sistema de valores: eu sei que os meus dados são enviesados porque no passado tivemos muito mais CEO do sexo masculino, mas escolho desenhar o meu modelo de forma a que este corrija estas possíveis injustiças.

O mesmo argumento poderá ser estendido para incluir pessoas de diferentes nacionalidades e etnias nas universidades, ou até mesmo para ajudar a desenhar listas para lugares de responsabilidade política. É importante que se note que estas decisões (corrigir ou não para enviesamentos, por exemplo) estão a ser tomadas por muitos programadores, em todo o mundo, de forma mais ou menos explícita, mais ou menos consciente. Podem nem se aperceber de que o fazem, mas são formas de criação (algoritmo a algoritmo) de sociedades “by design”, desenhadas de forma a que o seu futuro seja de uma maneira, ou seja de outra.

Outras noções de justiça

Um caso extremo desta sociedade “by design” pode estar a ser testado na China [5]. Também com o objectivo declarado de ajudar a tornar a sociedade chinesa mais justa, o governo chinês planeia implementar um sistema que identifica e valoriza os cidadãos considerados mais cumpridores e trabalhadores e identifica e penaliza os outros. Isto será feito (e é cada vez menos ficção científica) criando sistemas de monitorização que podem ir desde imagens de vídeo captadas nas ruas e analisadas por sistemas automáticos de reconhecimento facial, até avaliação permanente da presença online, passando por métricas mais tradicionais, como resultados de exames escolares. Cada cidadão terá então uma “nota”, e será em função desta nota que poderá (ou não) ter acesso a um passaporte ou às melhores escolas. Atravessar fora da passadeira poderá implicar uma perda de pontos, não só para o próprio mas também para os que lhe são próximos, e penalizar a nossa família pelas nossas acções poderá ser das melhores formas de controlo social. Para um europeu, um sistema destes assemelha-se perigosamente a um Big Brother como descrito por Orwell há exactamente 70 anos, no seu livro 1984. Mas para um chinês, poderá ser um grande passo na direcção de uma sociedade que valoriza quem tem de melhor, e acaba com abusos de cidadãos menos cumpridores. Aliás, tanto quanto sabemos, o anúncio deste Irmão Mais Velho da vida real está a ser acolhido positivamente pelos cidadãos chineses, como a promessa de um Admirável Mundo Novo [6] .

De injustiça em injustiça até à justiça final, ou de justiça em justiça até à injustiça final?

Não só é claro que os algoritmos nunca serão neutros enquanto treinados em dados reais, para serem aplicados em sociedades reais, como todas estas discussões sobre justiça algorítmica parecem de certa forma ignorar até que ponto esta é uma construção social, dificilmente programável, no sentido computacional. E perceber que a estatística nunca pode servir para saber coisas (e consequentemente tomar decisões) sobre um indivíduo particular: haver menos mulheres em lugares de decisão é um facto que deve orientar políticas gerais (nomeadamente, levar à existência de quotas) mas nunca poderá servir para dizer algo sobre a aptidão de uma mulher, em particular, para ocupar um lugar; da mesma forma, não devemos utilizar dados agregados de milhões para tentar prever o risco, e consequentemente definir a pena, de um indivíduo. Devemos por isso abandonar a ideia de que a inteligência artificial nos possa ajudar neste campo? Devemos por isso abandonar qualquer tentativa de utilização destas ferramentas a um nível social? Não necessariamente. O que não podemos é esperar que estes sistemas sejam gurus infalíveis, e saber bem quais as perguntas para as quais podemos esperar respostas.

Na década de 70 no século passado, com o aparecimento dos computadores e da ideia de máquinas inteligentes de que falámos na última semana [7], surgiu um enorme campo de investigação em ciências cognitivas: se íamos ensinar os computadores a pensar tínhamos de primeiro aprender como é que os humanos o fazem. Aprendemos muito sobre nós neste processo e muitas das discussões iniciadas nessa altura são mais uma vez de enorme relevância. É verdade que os computadores estão agora a aprender “sozinhos”, por observação, utilizando mecanismos distantes dos nossos. Mas todo este processo está, de certa forma, a levar a humanidade a um caminho de autodescoberta sem precedentes. Algoritmos colocam os nossos preconceitos a nu. Fazemos perguntas ao Google que não conseguiríamos fazer aos nossos pais. Mentimos menos a um computador do que a um médico. Espalhamos mais “fake news” do que os robots. É como se a Revolução Digital nos estivesse a colocar perante um gigantesco espelho amplificador. A análise destes dados e o desenvolvimento destes algoritmos poderá ajudar-nos a criar sistemas mais justos porque nos tornará mais conscientes das injustiças dos sistemas actuais. Poderá ajudar-nos a criar cidades mais limpas e eficientes porque nos mostrará duramente as suas ineficiências. Acima de tudo, a ciência de dados será para as ciências sociais o que o microscópio é para a biologia ou o telescópio para a física do espaço: uma ferramenta que bem usada nos permitirá saber muito mais sobre nós.

Quais leis, quais valores?

Começámos esta série de dez artigos [8], que hoje termina, com uma comparação com a Revolução Industrial. Argumentámos que o bem que esta Revolução nos trouxe foi também à custa de uma fase particularmente negra e que só uma sociedade atenta e exigente fez com que fosse criada legislação que impedisse, por exemplo, o trabalho infantil. Muitos dos autores destes artigos, especialistas em economia do trabalho, ciência política, media, crianças, saúde, segurança, entre outros, apresentaram múltiplos riscos que a esta nova Revolução, a Digital, nos traz. Explicitámos que nos íamos focar nos riscos porque nos parece que o discurso actual é mais focado nas muitas (e indiscutíveis) vantagens. Mas para prevenir o aumento da desigualdade, o fim da privacidade, possíveis mecanismos de controlo e manipulação, etc., vários argumentaram a favor de (mais) legislação que proteja os direitos dos cidadãos e de sistemas fortes que permitam que a legislação existente seja aplicada, com consequências reais para os infractores.

Mas é importante notar que não existe consenso da comunidade em relação a esta necessidade legislativa e vários colegas defendem que os limites existentes na Europa, por exemplo o RGPD, já nos colocam numa posição de fragilidade competitiva em relação a outros países, como os EUA ou a China. Mas todos com quem contactámos reforçaram a importância de uma população informada e de uma utilização responsável destas plataformas. É fundamental que cada um conheça os riscos da sua vivência numa sociedade dos dados e que, em função das suas prioridades e sistema de valores, pressione tanto empresas como decisores políticos a adoptar medidas que (n)os protejam.

Talvez hoje, tanto ou mais do que no passado, vem ao de cima a importância da Filosofia e de um pensamento humanista sobre a nossa sociedade. Se estamos a olhar para a nossa sociedade ao espelho e a começar a desenhar uma outra, é urgente que discutamos as regras que a devem reger. É preciso fazer escolhas informadas e conscientes porque a alternativa será que outros as tomem por nós. O futuro que queremos está a decidir-se agora.

[1] https://www.theguardian.com/law/2011/apr/11/judges-lenient-break
[2] https://www.publico.pt/2017/08/19/sociedade/noticia/a-justica-em-portugal-e-mais-dura-para-os-negros-1782487
[3] https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[4] https://www.wired.com/story/what-does-a-fair-algorithm-look-like/
[5] https://en.wikipedia.org/wiki/Social_Credit_System
[6​] https://doi.org/10.1177/1461444819826402
[7] https://www.publico.pt/2019/05/27/tecnologia/analise/1874171
[8] https://www.publico.pt/os-riscos-da-revolucao-digital

Esta série, às segundas-feiras, está a cargo do grupo de investigação em Data Science and Policy, da Nova School of Business and Economics (http://scienceandpolicy.eu)