Valor Investe – Dados enviesados são a base para algoritmos injustos, explica Cathy O Neil

A cientista de dados escreveu o livro ‘Algoritmos de destruição em massa’, na tradução para o português e explicou seus pontos sobre o perigo dos números em palestra do Anbima Summit nesta quinta-feira.

Por Naiara Bertão

Reportagem publicada no Valor Investe em 29/10/2021 

Em um momento em que os algoritmos invadem nossa vida desde a hora de fazer compras no supermercado (para conseguir um desconto), até encontrar uma vaga de emprego, se relacionar em uma rede social ou aplicativo de encontros amorosos, e passando ainda pelo pedido de crédito em uma instituição financeira, é preciso discutir os vieses que eles têm e injustiças que eles trazem.

Essa é a opinião da cientista de dados Cathy O Neil, que escreveu um livro há alguns anos alertando as pessoas com exemplos práticos e reais de como os algoritmos podem prejudicar, desmerecer ou cometer injustiças com as pessoas, além de gerar cada vez mais polarização. O livro é “Algoritmos de destruição em massa”, na tradução ao português”.

Em palestra e bate-papo no Anbima Summit ontem, ela, que estuda as consequências dos algoritmos que nos cercam há anos, explica que é preciso duas coisas para se fazer um algoritmo: histórico de dados (que estejam, preferencialmente, digitalizados) e uma definição de sucesso. E em ambos há grandes problemas por trás.

Ela explica que, no caso da base de dados, a explicação é o viés de quem aquela base pertence. Se, até agora, maciçamente os dados que possuímos sobre diferentes assuntos são de homens brancos, certamente haverá preconceito com quem não tem histórico no sistema. Não precisamos ir longe, os algoritmos de crédito no Brasil usam como base o histórico de pagamento das pessoas.

Quem não está no sistema financeiro formal (os desbancarizados) não têm histórico e, portanto, o algoritmo não vai conseguir soltar uma nota boa para a pessoa, pelo simples fato de que ele não sabe qual o comportamento daquele indivíduo com relação ao pagamento das contas em dia.

Na outra ponta, como o algoritmo pode escanear seu histórico de dados em outros ambientes, externos à sua base de dados (histórico médico, nossas interações nas redes sociais, lugares que frequentamos, nossos hobbies, etc.) há limites que não estamos respeitando de privacidade e que podem ser usados, de alguma forma (consciente ou inconscientemente) contra nós mesmos.

Ela exemplifica falando de um caso de um candidato a uma vaga de emprego nos EUA que, ao preencher o formulário da entrevista de emprego, percebeu que havia preenchido perguntas semelhantes em uma visita a um hospital. Diagnosticado com uma doença mental, ele teria sido preterido justamente porque o algoritmo conseguiu resgatar esse histórico e entendeu que isso poderia atrapalhá-lo na vaga de alguma forma.

Cathy O’Neil, cientista de dados e autora do livro “Algoritmos de Destruição em Massa” — Foto: Divulgação

Vale ressaltar apenas que a nova lei brasileira de proteção aos dados, a LGPD, tenta prevenir que isso aconteça sem a prévia autorização das pessoas. Mas em era de open-tudo (banking, insurance, finance), é sempre bom conferirmos com quem estamos aceitando compartilhar os dados.

Aqui entra a segunda parte do que consiste em um algoritmo – a definição de sucesso. “Nós temos diferentes definições de sucesso. Não é de pouca importância, a nossa definição de sucesso é o que usamos para otimizar o algoritmo”, afirma. Ela exemplifica falando que a definição de uma refeição boa para seu filho é diferente dela.

“Eu sei que são os vegetais [a definição de uma refeição boa], mas para ele, a definição de sucesso é Nutella. Toda vez que eu faço uma refeição, eu tento usar o histórico de dados das refeições anteriores, que estão armazenadas na minha cabeça, para combinar um mix de vegetais que possa ter uma boa taxa de aceitação. Eu aprendo com as refeições e vou aprendendo como ter melhor taxa de sucesso a partir disso. Assim funciona o algoritmo”, explica.

Leia mais: O esmalte nude e a injustiça algorítmica: Está na hora de rediscutirmos os padrões

O grande problema é que é o sucesso que ela, como mãe, impõe que prevalece e não o do filho. “E assim é com todos os algoritmos que nos cercam”, diz.

“Eu pude escolher vegetais, eu tenho o poder, pois sou a mãe dele. Mas, quando transportamos esse exemplo para algo aplicável, onde algoritmos são utilizados, nem sempre é apropriado para quem não está no poder receber passivamente aquela definição de sucesso. Não nos perguntamos como os ‘stakeholders’ [grupos que se relacionam com aquela empresa] envolvidos podem sair prejudicados”, comenta.

Um caso famoso, que ela lembra, é o da Amazon, que criou uma plataforma própria para contratar engenheiros que excluía, sumariamente, mulheres das etapas mais avançadas do processo seletivo. O padrão que foi inserido no algoritmo certamente, diz, foi baseado no histórico dos casos de sucesso na carreira, na empresa: homens, brancos, que estudaram em determinadas escolas, que eram promovidos e ganhavam um aumento depois de determinado tempo e tinham certas características. Pelo filtro, muita gente é excluída da oportunidade de, ao menos, tentar.

Para Cathy, há três fatores que mostram que aquele algoritmo é uma “arma de destruição”grande impacto, fato de ser destrutivo para alguém e a falta de transparência. Em todos os exemplos dados, ela pontua que as pessoas têm, em geral, uma baixa propensão a averiguarem ou questionarem o algoritmo, seja porque há uma preconcepção de que são complexos e difíceis de entender ou porque elas confiam na “metodologia científica”, que, na verdade, é enviesada e não isenta.

Soma-se a isso o fato de as próprias empresas não abrirem suas fórmulas para que outras pessoas possam olhar quais os filtros embutidos, e o que temos é uma falta de transparência sobre os parâmetros adotados generalizados.

A tecnologia não é certa para emprego, não deveria ser usada para questões problemáticas da sociedade. As armas de destruição tiram o lugar das conversas difíceis. Ao invés de perguntarmos quem merece mesmo o emprego, quais professores são realmente bons, quais as melhores escolas, nós deixamos os algoritmos escolherem por nós. É conveniente porque limpa nossa barra, nos isenta de culpa”, diz.

Ela também comenta sobre o perigo do uso de algoritmos pelas redes sociais, já que, cada vez mais, as empresas estão aperfeiçoando os cálculos para que só nos sejam sugeridos conteúdos que nos interessam – porque, obviamente, assim ficamos mais tempo conectados e elas podem lucrar mais com nossa interação ali.

“Não apenas estamos assistindo aos conteúdos, mas os conteúdos estão nos moldando, formando nossa identidade. Isso está polarizando ainda mais as pessoas, nos colocando em pequenas bolhas de pessoas que compartilham dos mesmos interesses que nós”, aponta. As consequências sociais disso vão de extremismo político a infelicidade e depressão.

Ela cita, por exemplo, que comentários e ‘emojis’ [reações] de raiva geram mais engajamento que os felizes, em um exemplo de como o algoritmo das redes sociais é moldado para dar audiência, apenas.

Por fim, ela defende que se criem multas à altura dos ganhos que as empresas de redes sociais, como Facebook, Twitter, Youtube e Google, têm com as discórdias e problemas. E defende que os reguladores americanos sejam firmes na regulamentação dessas empresas, assim como são com as empresas de medicamentos. Ainda mais porque a maioria dos algoritmos sociais que se usa no mundo – e no Brasil – vem de lá. É, portanto, um problema de todos.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s

Blog no WordPress.com.

Acima ↑

%d blogueiros gostam disto: