Responsabilização Algorítmica

No contexto da computação, um algoritmo pode ser definido como uma sequência finita de instruções bem definidas para realizar determinada tarefa e é utilizado para definir a estrutura de um programa computacional que será executado posteriormente. Por princípio, um algoritmo deve ser projetado de tal forma que não haja algum viés por trás das decisões que são tomadas durante seu processo de execução. Ou seja, o algoritmo deveria avaliar apenas características essenciais das entradas apresentadas, sem fazer distinção baseando-se em características que usualmente não devem ser utilizadas em ambiente de sociedade, como, por exemplo, a etnia de um indivíduo que está sendo julgado em um tribunal.

Entretanto, há suspeita de que esse princípio nem sempre é respeitado e que em certas ocasiões um ou mais indivíduos podem ser prejudicados deliberadamente por esses algoritmos. É neste momento que levanta-se o debate acerca de quem deve ser responsabilizado pelos prejuízos causados por uma decisão tomada pela máquina: o próprio sistema ou o indivíduo que a projetou com tais parâmetros.

Esta discussão é caracteriza a Responsabilização Algorítmica (Algorithmic Accountability), que visa tentar entender o que se passa internamente nos algoritmos que são executados nesses sistemas e que muitas vezes estão ocultos em verdadeiras caixas pretas, que não são tornadas públicas para que a população possa, de fato, entender porque tal ação foi tomada por parte de uma máquina. De fato, um algoritmo executará apenas aquilo que tenha sido previamente definido por aquele que o projetara. Ou seja, uma tomada de decisão que venha a prejudicar outros indivíduos por conta da falta de imparcialidade ou por análise incorreta de dados acontecerá porque o algoritmo foi projetado para executar daquela forma.

Utilização dos Algoritmos

Os algoritmos projetados nos dias de hoje estão espalhados nos mais diversos setores da sociedade que possuem algum envolvimento de técnicas computacionais em seus sistemas de controle, dos mais diversos tamanhos e com as mais variadas aplicações, estando presentes em, contudo não limitados a, serviços médicos, de transporte e de pagamento. Nestes setores, os algoritmos embarcados nas aplicações realizam atividades de naturezas como:

• Aprovar/negar solicitações de cartões de crédito;
• Contagem de votos em eleições;
• Aprovar/negar vistos para imigrantes;
• Decidir quais serão os contribuintes que passarão por auditoria em seus impostos de renda;
• Gerenciar o sistema que controla carros autônomos trafegando em uma via;
• Pontuar determinados indivíduos como possíveis criminosos para futura utilização desses dados no momento do julgamento.

A forma como são implementados estes algoritmos, no entanto, pode ser bastante confusa. Efetivamente, algoritmos em geral comportam-se como caixas pretas, não sendo conhecido em boa parte das ocasiões o processo que um dado fornecido como entrada passa durante a execução de determinada rotina, mas apenas a saída resultante atrelada ao que foi inserido inicialmente. Em geral não se tem conhecimento relacionado aos parâmetros que compõem o algoritmo e o quão tendenciosos para determinados aspectos eles podem ser, o que pode acabar levantando suspeitas acerca da parcialidade com a qual um algoritmo trata um conjunto de entradas, dependendo das saídas que são geradas após as execuções, caso haja algum indivíduo que se sinta prejudicado pelo resultado apresentado, principalmente quando outro indivíduo, em condições similares, acabou obtendo uma resposta diferente. Segundo Nicholas Diakopoulos:

Em português (tradução livre):

Contudo, este algoritmos estão sujeitos a cometer erros, visto que eles possuem vieses. Além disso, estão inseridos dentro de caixas pretas opacas, tendo suas atividades internas, seus "pensamentos" internos, escondidos por trás de diversas camadas de complexidade. Precisamos adentrar essa caixa preta para que seja possível entender de que forma elas possam estar exercendo algum tipo poder sobre nós e também para entender se há possibilidade de elas estarem cometendo equívocos injustos durante o processo de avaliação dos dados de entrada.

Caso da Suprema Corte de Wisconsin

Conforme citado anteriormente, os algoritmos estão espalhados nos mais diversos campos do conhecimento e tomam decisões que afetam as vidas de toda a população. Além disso, a estrutura e os parâmetros destes em geral são desconhecidos por parte dos que por eles são afetados. Um caso que ilustra bem tal ação ocorreu por determinação recente da Suprema Corte de Wisconsin em relação às chamadas "pontuações de risco" em relação a crimes. Foi decidido que tal pontuação, que é computada através de um algoritmo que recebe diversos parâmetros de indivíduos, não pode ser usada como fator determinante para que um acusado fosse preso. Além disso, e mais importante, a corte decidiu que todos os relatórios submetidos aos juízes em tais casos deveriam conter uma informação relacionada à precisão apresentada pelo algoritmo usado para calcular os pontos.

Tal acontecimento tem sido considerado como uma grande vitória no sentido de como a sociedade baseada em geração de dados deveria lidar com softwares que operam tomando decisões e como torná-los confiáveis, visto que a utilização desses algoritmos em situações de alta complexidade como tribunais demanda um altíssimo grau de imparcialidade no momento de tratar os dados fornecidos como entrada. Contudo, defensores de conceitos relacionados ao Big Data defendem que ainda há muito a ser feito em relação à precisão apresentada pelos resultados dos algoritmos, dado que ainda não existe algo concreto relacionado a como podemos entender o que está acontecendo durante o processamento dos dados, dando margem para que haja dúvida em relação à idoneidade do algoritmo ou daqueles que o projetaram.

Polêmicas

Um outro caso onde ocorre a possibilidade de uma execução tendenciosa por parte de um algoritmo foi tema de artigo no Washington Post discorrendo acerca da ferramenta de transporte de passageiros Uber. Após análises dos dados colhidos, foi possível verificar que o tempo estimado de espera por parte dos usuários do serviço era maior a depender da vizinhança onde esses indivíduos residiam. Os principais fatores que afetavam o aumento do tempo eram a etnia majoritária e a renda média da vizinhança.

No caso acima, ambientes com população majoritariamente de etnia branca e com maior poder aquisitivo apresentavam índices de tempo de espera menores, enquanto que vizinhanças com população de outras etnias e com renda média menor apresentavam tempo de espera majorados. É importante, contudo, deixar claro que tal conclusão foi baseada nos dados colhidos, não necessariamente representando uma relação de causa e efeito, mas possivelmente uma correlação, não sendo feito nenhum juízo de valor acerca do comportamento adotado pelo aplicativo do Uber nessas situações.

Em artigo publicado publicado na coluna Direito Digit@l na página Migalhas, Coriolano Almeida Camargo e Marcelo Crespo discorrem sobre a utilização dos algoritmos em contextos anteriormente ocupados por seres humanos no momento de tomada de decisões e as falhas que podem ocorrer no momento de validar se a decisão tomada pela máquina foi justa ou não.

A questão transcende e transcenderá a preocupação com quais dados são coletados dos consumidores para se questionar como estes dados são utilizados pelos algoritmos. Apesar da existência de algumas normas protetivas do consumidor, não há mecanismo efetivo disponível a eles que lhes digam, por exemplo, se foram discriminados automaticamente tendo negados empréstimos ou empregos.

Carro autônomo do Google. Em seu sistema interno, algoritmos tomam decisões a cada instante.

A grande evolução da tecnologia a qual estamos vivenciando trouxe uma vasta gama de inovações para a sociedade, dentre elas, a introdução do conceito de veículos autônomos controlados por sistemas. Ou seja, por algoritmos que estão embarcados nestes dispositivos e que controlam todo o processo de navegação em ruas e estradas e que encaram situações onde precisam coletar dados e avaliar o ambiente e o contexto onde estão inseridos para poder decidir quais ações devem ser tomadas a cada instante, simulando a atuação de um condutor humano ao volante.

No mesmo artigo do trecho acima, Camargo e Crespo discorrem sobre os possíveis problemas envolvendo a utilização dos algoritmos embarcados nos carros autônomos, principalmente no que diz respeito às decisões tomadas em momentos críticos no processo de utilização dos veículos.

A conjuntura tecnológica tem rapidamente sido alterada com o advento de poderosíssimos computadores e algoritmos que caminham para um impressionante desenvolvimento de inteligência artificial. Não nos resta qualquer dúvida de que a inteligência artificial revolucionará a prestação de serviços e também a indústria. O problema é que questões éticas precisam ser urgentemente pensadas e discutidas. Ou vamos simplesmente admitir que máquinas nos julguem em processos judiciais? Ou que decidam quem deve viver ou morrer em situações de acidentes que poderiam sofrer intervenções de algum equipamento tecnológico, como os carros autônomos?

A principal discussão no fragmento acima está no ponto de como o carro se comportará na iminência de acontecer um acidente. Usarão os sistemas embarcados nos veículos envolvidos na situação dados pessoais relacionados àqueles que estão dentro dos carros para decidir quem poderá ter chance de sobreviver? E quais serão os dados analisados pelo sistema para decidir? Como uma máquina pode ter poder o suficiente para decidir quem sobreviverá? Quem deve ser responsabilizado pelo acidente ocorrido, a máquina que tomou a decisão ou o indivíduo que projetou o algoritmo?

Daí surge a discussão sobre a necessidade de tornar público o algoritmo que está executando nos sistemas que tomam tais decisões e é aí que as empresas que desenvolvem tais aplicações acabam justificando que por questões de propriedade do que foi desenvolvido, o código e seus parâmetros continuarão englobados em uma verdadeira caixa preta.

Em português (tradução livre):

Preocupações acerca dos algoritmos "caixa preta" que governam nossas vidas estão se espalhando. O Instituto de Lei da Informação da Universidade de Nova Iorque promoveu uma conferência acerca da responsabilização algorítmica, pontuando que: "Acadêmicos, partes interessadas e políticos questionam a adequação dos mecanismos já existentes que atuam governando as tomadas de decisão dos algoritmos e se juntam a novos desafios que surgiram com o crescimento do poder dos algoritmos em termos de transparência, justiça e tratamento equalitário." O Projeto da Sociedade da Informação da Escola de Direito de Yale também está estudando sobre isso. "A modelagem dos algoritmos pode ser enviesada ou limitadas, além de os usos dos algoritmos ainda serem opacos em vários setores críticos," o grupo concluiu.

Possíveis Soluções

Algumas discussões acerca do tema já foram realizadas por especialistas de modo a tentar chegar em alguma solução viável para que seja possível entender o que se passa nas caixas pretas que "guardam" os algoritmos. Defende-se, primariamente, que as próprias empresas que desenvolvem os códigos que são responsáveis por executar os algoritmos de análise de dados fiquem responsáveis por garantir a confiabilidade de seus sistemas, por exemplo, através da divulgação do processo que ocorre "por baixo dos panos" em seus algoritmos.

Em português (tradução livre):

...estes novos serviços (Googles, Amazons e Ubers da vida) precisam proativamente introduzir a responsabilização algorítmica em seus sistemas, agindo de de forma fiel e transparente como seus próprios observadores, ou então arriscar-se com eventuais regulações onerosas.

Do trecho acima, pode-se notar que um caminho possível é a introdução de uma regulamentação nos setores da computação que rodam esses algoritmos para que haja uma efetiva fiscalização das atividades que estão acontecendo durante as execuções dos mesmos. Contudo, a introdução desta regulação poderia acabar por afetar a indústrias e os desenvolvedores dos softwares, sendo possivelmente mais vantajosos para os mesmos que eles por vontade próprio abrissem e divulgassem o conteúdo daquilo que está sendo executado e quais são os parâmetros utilizados para tomadas de decisão, o que poderia inclusive acabar beneficiando as próprias empresas no que diz respeito à forma na qual as soluções desenvolvidas e aplicadas por elas atuam.

Uma outra possibilidade discutida é a auto-regulação por parte das próprias empresas desenvolvedoras através do próprio software.

Em português (tradução livre):

Há ainda um outro benefício - talvez um bastante grande - para regulação definida através do software. Ele também irá mostrar-nos um caminho para um sistema de governo mais eficiente. As lógicas de legislação e regulamentação do mundo podem ser convertidas em software e sensores inteligentes podem oferecer monitoramento em tempo real de tudo, desde o ar até a qualidade da água, fluxo de tráfico e filas no DMV. Reguladores definem as regras, tecnólogos elaboram o software para implementá-los e então Inteligência Artificial e Aprendizagem de Máquina ajudam a refinar as iterações das políticas que fazem o algoritmo ser executado. Isso deve levar a governos mais eficientes e efetivos em níveis local, nacional e global.

Ver também

• Algoritmo
• Big data
• Veículo autônomo
• Algoritmos de responsabilidade