“Julgamentos algorítmicos entendem que o único ou o mais importante objetivo de uma decisão humana ou social seria a acurácia, ignorando por completo que a correção da decisão e a justiça da decisão são valores igualmente importantes”, diz a advogada
“Em que medida a utilização da tecnologia vai poder corromper ou não todas as garantias fundamentais do processo jurídico, como, por exemplo, a paridade de armas? Será que a utilização irrestrita de Inteligência Artificial não pode transformar o processo em uma estratégia, em que vence quem tem a melhor tecnologia, do que propriamente em um instrumento de realização da justiça?” Estas questões, postuladas por Ana Frazão na videoconferência ministrada no Instituto Humanitas Unisinos – IHU no ciclo de estudos “Inteligência Artificial, fronteiras tecnológicas e devires humanos”, indicam alguns dos riscos e desafios do uso de sistemas de IA no judiciário.
Segundo ela, atualmente os riscos em relação ao uso de IA não se limitam mais às possibilidades de hackeamento para inviabilizar julgamentos ou alterar decisões jurídicas nos tribunais. Eles também dizem respeito à potencialidade de um cenário de automação que acarrete certo determinismo tecnológico. “A nossa grande preocupação é que acabemos caindo em um cenário de automação que, na prática, seja bastante intensa, em um cenário de grande determinismo tecnológico porque, a rigor, esses sistemas estão sendo feitos por agentes privados”, afirma.
A automatização total no poder judiciário, explica, significa a adesão a robôs que seriam responsáveis pela condução das etapas burocráticas de um processo jurídico até a decisão da sentença. “O risco maior é o do robô assessor acabar virando o robô juiz porque, a partir do momento em que o juiz não tem incentivo para questionar a decisão da máquina, nem tem conhecimento ou informações suficientes para fazer esse questionamento, muitas vezes a participação humana se restringirá à chancela da decisão do robô, que, portanto, acabará prevalecendo”, adverte.
Na palestra intitulada “Inteligência Artificial e o sistema judiciário brasileiro: avanços e desafios”, ministrada em 31-05-2023, Ana Frazão apresenta os argumentos favoráveis ao julgamento algorítmico e reflete sobre seus limites. Para ela, “julgamentos algorítmicos são, sim, mais fidedignos do ponto de vista de acurácia e da objetividade”, mas esses não são os únicos valores importantes em um julgamento. “Essa discussão entra no âmago daquela que talvez seja a maior tensão do direito: como equilibrar segurança, acuidade, objetividade, dentro do que é possível, com justiça? De que adianta acurácia e objetividade ao preço da iniquidade? Ficaremos felizes se todos nós tivermos a mesma decisão algorítmica absolutamente esdrúxula, mas que assegure a todos o mesmo padrão de igualdade? É certo que não”.
A seguir, publicamos a conferência de Ana Frazão no formato de entrevista.
Ana Frazão (Foto: TRT4)
Ana Frazão é graduada em Direito, mestre em Direito e Estado pela Universidade de Brasília – UnB e doutora em Direito Empresarial pela Pontifícia Universidade Católica de São Paulo – PUC-SP. Leciona Direito Civil, Comercial e Econômico nos cursos de graduação e pós-graduação da UnB e preside a Comissão de Direito Econômico da Ordem dos Advogados do Brasil – OAB Federal.
IHU – Como a Inteligência Artificial – IA tem sido utilizada no poder judiciário?
Ana Frazão – O uso de IA, hoje, não só no poder judiciário, mas no poder público como um todo, é uma realidade. Um relatório da Transparência Brasil mostra inúmeras iniciativas que vêm sendo adotadas pelo poder público, com os mais diferentes alcances e propósitos. Em relação ao poder judiciário, já não é novidade o número de iniciativas de uso de IA para a gestão de processos, distribuição, catalogação, classificação e até mesmo sugestão de decisões. Estamos diante de uma realidade que já faz parte das nossas vidas. É interessante observar como vários dos projetos de IA foram colocados em prática sem maiores cuidados, sem maior transparência, talvez imbuídos do otimismo que cerca a utilização de novas tecnologias, e sem as devidas considerações sobre os riscos e perigos dessa mesma tecnologia.
É interessante travarmos essa conversa em um momento em que uma série de iniciativas internacionais nos alerta para a necessidade de um maior cuidado com essas tecnologias. Recentemente, vários intelectuais assinaram uma carta, solicitando uma espécie de moratória em relação à IA, e pessoas do próprio mercado defenderam uma regulação de maior cuidado em relação a essas tecnologias. Com as formas de IA generativas, como é o caso do ChatGPT e similares, temos visto a preocupação de muitos intelectuais em diversos sentidos, seja com o controle informacional cada vez mais intenso, seja com o que [Yuval] Harari chama de hackeamento da linguagem, seja ainda com o que a professora Naomi Klein chama de um roubo em relação a tudo o que já foi criado no mundo em termos de conhecimento, sem nenhuma preocupação com os direitos dos criadores, incluindo os direitos autorais, possibilitando uma enorme concentração de informações e conhecimentos em prol de muitos poucos agentes que ainda agem sem qualquer tipo de accountability, sem qualquer tipo de obrigação quanto à geração de externalidades negativas e à condução desses processos. Este é um momento bastante crítico e delicado nas reflexões sobre IA e precisamos estar atentos a essas observações.
IHU – Quais os riscos do uso de IA no judiciário?
Ana Frazão – Vou compartilhar uma conversa que tive com o ChatGPT, que vai nos ajudar a pavimentar muitos dos riscos da utilização do ChatGPT no poder judiciário, isso porque, como sabemos, IA tem várias aplicações. Uma coisa é a utilização da IA para a gestão de processos automatizados, para se saber como um avião deve ser conduzido, por exemplo, outra coisa muito diferente é a utilização de IA para a solução de problemas humanos e sociais, problemas que envolvem uma alta carga valorativa, uma alta dose de subjetividade.
Perguntei ao ChatGPT: “Suas respostas são sempre verdadeiras ou tenho motivos para desconfiar delas?” Ele tergiversou, mostrando o quanto tenta ser o melhor possível, mas respondeu o seguinte: “Minhas respostas podem ser afetadas por várias limitações, como a qualidade e a relevância dos dados utilizados para treinar o modelo, a complexidade da pergunta ou o contexto em que a pergunta é feita. Embora eu tente fornecer respostas precisas e úteis, sempre é importante verificar as informações e tomar decisões com base em várias fontes confiáveis, usando o bom senso.” O próprio ChatGPT nos pede para usar o bom senso.
Perguntei novamente para ele: “Suas respostas podem conter vieses e preconceitos?” Ele respondeu mostrando o quanto tenta ser o mais fidedigno possível, mas, depois, disse o seguinte: “Há uma possibilidade de que minhas respostas possam refletir vieses e preconceitos. É importante ter em mente que minha compreensão do mundo é baseada em padrões e correlações que existem nos dados em que eu fui treinado e esses dados podem ser influenciados pelos preconceitos e vieses presentes na sociedade.”
Perguntei novamente: “Você considera que seus julgamentos são superiores aos julgamentos dos seres humanos?” Esta foi a primeira vez que ele respondeu sem qualquer tergiversação: “Não. Como modelo de linguagem, eu não tenho a capacidade de fazer julgamentos nem de comparar a minha capacidade com a dos seres humanos. Eu sou uma ferramenta criada para fornecer informações úteis e relevantes com base nas entradas fornecidas pelos usuários e nos dados em que fui treinado. Embora possa fornecer respostas precisas e úteis para muitas perguntas, não tenho a capacidade de avaliar ou julgar a qualidade das minhas próprias respostas, ou a qualidade das respostas fornecidas pelos seres humanos.”
A última pergunta que fiz encerra com chave de ouro essa sequência de preocupações. Perguntei ao ChatGPT: “A avaliação humana é imprescindível para a utilização de suas respostas?” E ele respondeu: “Sim, a avaliação humana é muito importante para a utilização das minhas respostas. Como modelo de linguagem, ofereço respostas com base em padrões e correlações em grandes quantidades de dados de linguagens, mas é muito importante que as respostas sejam avaliadas e interpretadas por seres humanos antes de serem usadas para tomar decisões importantes ou realizar tarefas críticas. A avaliação humana pode ajudar a garantir que as respostas sejam relevantes, precisas, confiáveis e apropriadas para o contexto específico em que estão sendo usadas. Além disso, a avaliação humana pode ajudar a identificar e corrigir quaisquer erros ou imprecisões em minhas respostas.”
A partir desse diálogo com o ChatGPT, conseguimos fazer um mapeamento muito interessante não só das limitações da IA em relação a assuntos humanos e sociais, mas também dos riscos que ela apresenta em função dessas limitações e, consequentemente, dos cuidados que deveríamos tomar diante de sua utilização. Fica muito claro que quanto mais eu delego, se não a totalidade, mas parte dos processos decisórios complexos, para a Matrix, mais eu tenho que me perguntar se:
1) quem delega pode assumir a responsabilidade moral pelo resultado?
2) quem delega tem capacidade crítica para avaliar aquele resultado, para entender suas limitações e fazer as devidas complementações e contextualizações?
Em princípio, estamos em um cenário no qual estamos muito longe de poder cogitar uma completa automação ou delegação integral de decisões humanas para as máquinas. Estamos em um cenário em que tudo indica que vamos ter que, pelo contrário, adotar uma postura de complementação entre o raciocínio da máquina e o raciocínio humano, aproveitando a inteligência humana naquilo que ela tem de bom, mas, ao mesmo tempo, complementando com o raciocínio humano todas as limitações da IA.
Esses são pontos importantes quando percebemos que, no setor privado, está havendo, cada vez mais, não uma complementação, mas uma delegação, quando não a terceirização, de uma série de decisões fundamentais de um agente privado. No contexto empresarial, decisões sobre recrutamento, quem vai ser contratado, quem vai ser promovido, demitido, em quais termos, decisões fundamentais sobre acesso a consumo e serviços, que consumidor vai ter acesso a crédito e a que taxa de juros, que consumidor vai ter acesso a um seguro e mediante a que circunstâncias, decisões sobre investimentos, sobre precificação, hoje já são delegadas por algoritmos que fazem essas decisões de maneira personalizada, entrando no âmago do que chamamos de livre iniciativa empresarial, que é a capacidade de precificação dos produtos e serviços.
Inteligência Artificial e o sistema judiciário brasileiro: avanços e desafios
No poder público, temos visto uma ampla utilização de IA em várias etapas do processo decisório, o que gera desafios mais intensos do que aqueles já existentes na iniciativa privada porque o poder público, além de estar sujeito a deveres de transparência, motivação e fundamentação muito maiores, em relação a ele ainda há que se questionar se e em que medida é possível delegar parte de um processo decisório para sistemas de IA que são programados por agentes privados, muitas vezes sem nenhum tipo de transparência. Que tipo de terceirização ou delegação é essa e em que medida é compatível com o próprio regime de direito administrativo?
É claro que, se estamos falando do poder judiciário, juntamos as preocupações do regime administrativo com todas as preocupações relacionadas ao contraditório e ao devido processo legal, principalmente quando algoritmos e sistemas de IA são utilizados não somente para a gestão do poder administrativo, do poder judiciário, mas também para a gestão dos processos ou mesmo para o auxílio no que diz respeito ao destino desses processos.
Vejam que o simples fato de introduzirmos a IA em processos decisórios, seja do poder público, seja da iniciativa privada, nos traz alguns riscos e desafios adicionais pela simples utilização dessa tecnologia. Um exemplo claro são os incidentes de segurança, ou seja, possibilidades de hackeamento. Já temos visto isso ocorrer nos tribunais com o objetivo de indisponibilizar dados e inviabilizar o funcionamento dos tribunais, e para tentar alterar decisões ou critérios que são utilizados pelos sistemas de IA. É claro que hoje já discutimos o ranking cerebral, as diversas técnicas sofisticadas de lavagem cerebral, mas nada se equipara aos incidentes de segurança que são possíveis de acontecer em relação aos sistemas automatizados.
Introduzir IA é também falar de erros inexplicáveis, das chamadas alucinações, dos resultados não intencionais, do que Stuart Russell chama de “problemas”: porque se uma determinada programação leva a um determinado resultado, e a máquina não necessariamente leva em consideração as constrições necessárias para se chegar àquele resultado, talvez o preço para se chegar a ele seja muito alto, mesmo quando ele não foi previsto inicialmente pelo próprio programador. Sem contar com uma discussão ética e jurídica a respeito dos riscos que seriam considerados inaceitáveis.
IHU – Como essas questões estão sendo discutidas no interior do poder judiciário?
Ana Frazão – Uma discussão interessante no poder judiciário é a utilização de IA para predizer opiniões e decisões futuras de juízes sobre matérias em relação às quais eles ainda não se pronunciaram. Estamos falando de mapear o passado do juiz para tentar inferir o que ele decidiria diante de uma mesma situação de fato. Este é um caso que visa lidar com todos os dados pessoais a respeito de um juiz, suas preferências, valores, opções de vida, para tentarmos antecipar opiniões que ele nunca emitiu. Isso pode gerar uma série de desbalanceamentos no próprio processo. Não é sem razão que alguns países, como a França, não admitem, por exemplo, a utilização de IA para tais fins. Estamos no âmago de uma discussão bastante complexa e, quando é o poder judiciário que está no nosso foco, ela nos coloca diante do seguinte desafio: em que medida a utilização da tecnologia vai poder corromper ou não todas as garantias fundamentais do processo, como, por exemplo, a paridade de armas? Será que a utilização irrestrita de IA não pode transformar o processo em uma estratégia, em que vence quem tem a melhor tecnologia, do que propriamente em um instrumento de realização da justiça?
Como responder a essas perguntas e enfrentar esses desafios? A partir do momento em que se admite que o processo vire uma estratégia que possibilita vencer aquele que tem a melhor tecnologia, obviamente estaremos favorecendo os mais ricos porque são eles que têm recursos para ter acesso às melhores tecnologias. O que já seria complicado em qualquer país se torna ainda mais complicado no Brasil, com todo o histórico de desigualdades.
Se estamos falando de IA para assuntos humanos complexos, vamos ver que a IA, pelo menos até o presente momento, a se ver pelas respostas do ChatGPT, tem uma série de limitações, até porque normalmente ela trabalha com estatísticas, padrões e correlações, ou com cálculos probabilísticos, ainda que altamente sofisticados. Nem todos os assuntos humanos se adaptam a essa lógica. A estatística é algo bastante interessante, mas ela aniquila as características individuais dos sujeitos que estão sendo analisados. Hoje, se discutem, inclusive, o problema da discriminação estatística e a necessidade de que um indivíduo seja julgado não só pelo grupo ao qual ele pertence, mas também pelas suas características individuais. Se estamos falando de correlações ou padrões, não estamos falando de causalidades, e isso é muito importante para o direito porque, muitas vezes, nos utilizamos de nexo causal no direito. Mas o que chamamos de nexo causal, muitas vezes, é um juízo de imputação.
As máquinas e o próprio ChatGPT reconhecem isso e não fazem juízo de causalidade. Aliás, juízos de causalidade envolvem questões filosóficas sobre o que é causa. De que causalidade estamos falando? Existem várias causalidades. Quais são as mais importantes e as menos importantes? Como elas se hierarquizam e como podemos compatibilizar todas essas discussões a partir de um discurso racional e inteligível? Trabalhar com uma série de correlações não vai resolver uma série de problemas. Vejam que nem estou lidando com as correlações espúrias, absurdas, que já são bastante conhecidas. Sempre lembro do exemplo de correlação que consta em um site de relações espúrias, segundo o qual sempre que Nicolas Cage faz filmes, mortes por afogamento são reduzidas nos EUA. É uma correlação extremamente forte, mas todos nós sabemos que não faz nenhum sentido do ponto de vista da causalidade. Isso mostra claramente o quanto não podemos confiar em várias correlações e como correlações confiáveis não indicam, necessariamente, causalidade. Portanto, há necessidade da complementação humana justamente para tentarmos avaliar em que medida aquela correlação pode ou não corresponder a uma causalidade.
Uma perspectiva humanista sobre inteligência artificial:
Por outro lado, cálculos probabilísticos olham sempre para o passado; daí sua incapacidade para lidar com um futuro cada vez mais imprevisível e incerto. Hoje, a economia nos apresenta diversas preocupações, mostrando que, diante das incertezas, os cálculos probabilísticos são, de todo, inúteis para tentarmos antecipar o futuro. Então, por mais que as estratégias da IA possam nos ajudar a compreender o mundo nos apresentando estatísticas, cálculos probabilísticos, padrões, e tantos outros recursos, todos esses recursos são consideravelmente limitados e nenhum deles afasta a importância do raciocínio humano.
IHU – Quais os argumentos favoráveis ao uso da IA no judiciário?
Ana Frazão – Muitos de vocês devem ter tido acesso ao livro “Ruído: uma falha no julgamento humano”, de Daniel Kahneman, Olivier Sibony e Cass R. Sunstein, que reforça um processo constatado em “Rápido e devagar: duas formas de pensar”, de Kahneman, no sentido de revelar uma inclinação do autor pelo julgamento algorítmico como superior ao julgamento humano. Particularmente, tenho várias críticas às posturas defendidas nesse livro, por uma série de razões. A proposta do autor é mostrar que os julgamentos algorítmicos reduzem ou neutralizam o chamado ruído. Ou seja, aqueles problemas de julgamento que não são propriamente sistematizáveis. É o caso do juiz que, eventualmente, pode – dependendo do tempo e das condições climáticas, de estar alimentado ou não, do seu time ter ganho ou não no dia anterior – apresentar alterações em seus padrões decisórios.
De fato, as máquinas não estão sujeitas a esses ruídos e, portanto, julgamentos algorítmicos são, sim, julgamentos mais fidedignos do ponto de vista de acurácia e da objetividade porque são capazes de eliminar os ruídos. Mas os próprios autores reconhecem que a eliminação do ruído pode se dar ao preço do reforço do viés. Os próprios autores, para sustentarem a superioridade de julgamento algorítmicos, entendem que o único ou o mais importante objetivo de uma decisão humana ou social seria a acurácia, ignorando por completo que a correção da decisão e a justiça da decisão são valores igualmente importantes. Essa discussão entra no âmago daquela que talvez seja a maior tensão do direito: como equilibrar segurança, acuidade, objetividade, dentro do que é possível, com justiça? De que adianta acurácia e objetividade ao preço da iniquidade? Ficaremos felizes se todos nós tivermos a mesma decisão algorítmica absolutamente esdrúxula, mas que assegure a todos o mesmo padrão de igualdade? É certo que não. O direito, desde o fim do século XIX, se debate em torno disso.
A busca excessiva pelo formalismo, pela acuidade, pela objetividade acaba sendo ingênua porque desconsidera a importância da justiça e a importância da correção das decisões judiciais. É por isso que abordagens como a deste livro são bastante reducionistas porque enfatizam apenas um ponto, o da acuidade. Ele é bastante importante, não o nego, mas, ao mesmo tempo, desconsideram todos os outros aspectos que importam para uma decisão judicial. Portanto, se formos colocar o assunto em perspectiva, vamos ter mais uma comprovação de que precisamos caminhar para uma complementação entre decisões algorítmicas e decisões humanas, mas jamais para uma substituição das decisões humanas.
Se a máquina resolve o problema do ruído, ela pode intensificar o problema do viés. Aí está a necessidade da complementação humana para resolver esse problema. Se a máquina é boa em termos de estatística, padrões e correlações, os seres humanos são bons para fazer avaliações de causalidade e outras considerações que transcendem aos padrões e às regularidades. Além disso, há um ponto fundamental que, às vezes, é ignorado neste debate: as máquinas reproduzem o passado e somente o ser humano pode olhar para o futuro e pensar em um enquadramento totalmente diferente. A capacidade de novos enquadramentos é exclusiva, pelo menos até o momento, dos julgamentos humanos e isso é fundamental para a solução de problemas humanos complexos. Somente seres humanos trabalham com constrições e causalidades. Somente seres humanos tentam trabalhar com contrafactuais no sentido de considerar a possibilidade de mudar determinados pontos da variável e da equação. Essas questões importantes me levam a acreditar que temos de caminhar para uma complementação do julgamento algorítmico com o julgamento humano, mas sempre a partir de uma atenta supervisão e um atento controle humano. Isso acaba sendo muito difícil porque pouco sabemos das relações entre homens e máquinas. Muitas vezes essa relação se torna inviabilizada em razão do segredo de negócio. Ou seja, os algoritmos são caixas-pretas em que não se sabe como, a partir de determinados inputs, se chega a determinados outputs.
Mesmo que o segredo de negócio seja afastado, o grande problema da decisão algorítmica – e isso tem sido reforçado por vários autores – é que, a rigor, essas decisões são sempre inexplicáveis ou ininteligíveis, ao menos no padrão de explicabilidade que os seres humanos exigem. Estamos falando, muitas vezes, de decisões altamente complexas, que se processam em milhares de passos, e que, às vezes, nem mesmo um cientista de dados é capaz de nos explicar. É por essa razão, inclusive, que alguns autores, no caso da discriminação algorítmica, já têm nos alertado, dizendo que não adianta tentar resolver o processo algorítmico; é preciso ter um controle do resultado porque, como não se consegue entender exatamente o que acontece no processo decisório, é preciso ter o controle não só do processo, mas também do resultado do processo.
Discriminação algorítmica e justiça social:
Com essas considerações, faço um primeiro mapeamento para analisarmos, de forma mais concreta, o que vem acontecendo no poder judiciário. Para isso, vou me utilizar de uma classificação que vi em uma tese de doutorado muito interessante, de uma juíza que propôs uma classificação entre o que seria um robô serventuário, um robô assessor e o robô juiz. Aqui as atividades são diversas e os riscos também.
O robô serventuário é aquele que vai cuidar das atividades burocráticas, da gestão, da logística, dos dados de execução. Alguns dizem que aqui poderíamos avançar sem medo porque os riscos não são tão intensos. Mas a minha pergunta é: será? Quantas questões que consideramos como meros atos de execução ou gestão não envolvem decisões complexas que vão repercutir diretamente no processo? Um exemplo é a distribuição. Por que o algoritmo de distribuição do Supremo Tribunal Federal – STF é tão questionado, inclusive, no que diz respeito à sua obscuridade?
Outro exemplo é a classificação de processos. Nós, advogados, brincamos que antes nos preocupávamos quando nosso processo caía na pilha errada, porque, no mundo físico, isso poderia ser um fator determinante para o insucesso daquele caso. Mas, se o caso, hoje, é classificado de maneira incorreta, como resolvemos o problema? E mais: a partir do momento em que agentes privados começam a interagir com os sistemas de IA, eles começam a tentar entender como esses sistemas operam e a reagir de forma oportunista em relação ao sistema. Hoje, entre advogados, alguns usam um software para tentar entender como o sistema de classificação de determinados tribunais atua para saber o que fazer em relação aos recursos, para não estarem sujeitos aos efeitos negativos de uma má classificação. Mais uma vez há uma preocupação com o fato de o processo se tornar uma questão de estratégia e não uma disputa pelo melhor direito, favorecendo, além de tudo, as partes mais fortes, aquelas que têm mais dinheiro para investir em tecnologia.
Não vou nem mencionar o problema do incidente de segurança porque ele vai se estender a qualquer dessas classificações, com riscos enormes ao processo judicial porque se existe um hacker que eventualmente altera um algoritmo de distribuição ou uma classificação, significa que há uma intervenção externa que pode subverter por completo a gestão processual e, mais do que isso, criar favorecimentos indevidos para uma das partes, em detrimento da outra. O robô serventuário já nos apresenta um número considerável de desafios.
O robô assessor vai além. Ele não só classifica e executa, mas sugere ao juiz e é capaz de fazer minutas de decisões. Muitos acham isso uma maravilha porque permitiria ao juiz simplesmente conferir a decisão. Mas a pergunta é: será que é assim que funciona? Muito pouco sabemos sobre o relacionamento entre homens e máquinas. Será que o juiz do caso Compas (sigla em inglês para Correctional Offender Management Profiling for Alternative Sanctions) – o caso famoso do algoritmo que discriminava negros –, ao fazer uma avaliação algorítmica do nível de periculosidade, da capacidade de reincidência, entende como se chegou àquele resultado? Ele tem condições de reagir racionalmente àquele resultado? Em um judiciário abarrotado como o nosso, em que os juízes têm, muitas vezes, em razão da estatística, do controle do Conselho Nacional de Justiça – CNJ, e da única métrica de controle quantitativa, muito mais incentivo a desovar processos do que a julgá-los com atenção e cuidado, quais serão os efeitos do uso de sistemas que já apresentam para os juízes uma proposta de decisão? É de se esperar que esses juízes contestem essas decisões e, portanto, tenham um duplo trabalho, além de tudo, de tentar justificar por que estão se mostrando contrários a uma avaliação preliminar feita por uma máquina, sem que muitas vezes eles tenham a menor ideia de como aquela máquina funciona e quais são suas limitações? O que se esperaria do juiz, como pessoa humana que está ou deveria estar no controle do processo, para resolver eventuais deficiências ou limitações daquele processo decisório?
Ao falar em robô juiz, em automação completa, todas as nossas preocupações se potencializam de maneira muito maior. Não estou querendo dizer que não possamos imaginar, um dia, chegar a esse estágio. Talvez, em causas muito simplificadas, em situações paritárias, sem partes vulneráveis, com baixo valor econômico, com plena transparência. Ou seja, com as partes sabendo e optando por aquele julgamento algorítmico em razão da maior celeridade, ou porque priorizam a acuidade, ou porque venha a existir um sistema recursal próprio, específico, que de alguma maneira valorize e possibilite a supervisão humana no controle final desse processo. Talvez possamos cogitar a aplicação disso em alguns casos muito específicos; não sou eu quem vai negar essa possibilidade. Mas o fato de pensarmos na figura de um juiz robô, pelo menos para mim, é bastante assustador. Em primeiro lugar, a questão é: isso é compatível com o regime jurídico de direito administrativo?
Juízes respondem por consequências morais pelas suas decisões; a máquina, não. Juízes têm responsabilidade funcional pelas suas decisões; a máquina, não. Juízes podem errar, mas estão sujeitos a graus de accountability, responsabilidade e consciência, que obviamente as máquinas não estão submetidas. Quais são, portanto, as consequências de uma delegação total da decisão para as máquinas? O risco maior é o do robô assessor acabar virando o robô juiz porque, a partir do momento em que o juiz não tem incentivo para questionar a decisão da máquina, nem tem conhecimento ou informações suficientes para fazer esse questionamento, muitas vezes a participação humana se restringirá à chancela da decisão do robô, que, portanto, acabará prevalecendo. Por vias transversas, chegaremos a esse tipo de automação.
Precisamos entender as diversas limitações da racionalidade do ser humano. Ou seja, o quanto o ser humano e suas próprias decisões podem ser influenciadas por estímulos externos. Há estudos que mostram, inclusive, que é melhor o juiz decidir sem nenhum número do que com o número errado. Essa coisa de falar que é melhor qualquer referência do que nenhuma referência está errada porque, pela economia e pela psicologia comportamental, sabemos que um dado errado, um número errado, uma sugestão de decisão errada, pode gerar, no juiz, diversos efeitos, como efeito ancoragem, e, por sua vez, comprometer de maneira irreversível o seu próprio processo decisório.
Pouco sabemos sobre essas interações, pouco entendemos sobre essas próprias decisões algorítmicas. Então, na verdade, se quisermos realmente nos utilizar delas, extraindo todos os seus benefícios e vantagens e, ao mesmo tempo, nos preocupando com a contenção de riscos, vamos precisar evoluir bastante. Vamos precisar pensar, inclusive, quem é o juiz brasileiro, como manter sua responsabilidade moral e jurídica, a que incentivos, de fato, ele responde, em que medida discussões sobre transparência e accountability serão fundamentais para esse tipo de parceria.
IO Uso da Inteligência Artificial pelo Poder Judiciário | Audiência Pública da OAB/RS
A nossa grande preocupação é que, sem esses cuidados, acabemos caindo em um cenário de automação que, na prática, seja bastante intensa, em um cenário de grande determinismo tecnológico porque, a rigor, esses sistemas estão sendo feitos por agentes privados. Como sabemos, a escolha da tecnologia nunca é neutra e, provavelmente, quando estamos diante de agentes privados, ela é feita levando em consideração seus interesses privados e não todos os interesses públicos envolvidos. A preocupação final é em que medida o desenvolvimento tecnológico pode ser apenas uma faceta do determinismo econômico e em que medida, ao ser aplicada esse tipo de tecnologia no poder judiciário, nós não estamos esfacelando uma série de garantias fundamentais do processo, que vão desde o juiz natural, ao devido processo legal, até o contraditório. Ou seja, é preciso saber quais são os fundamentos para recorrer desses fundamentos e, mais do que isso, ter paridade de armas porque em um país tão desigual como o nosso, a partir do momento em que o processo volta ao ponto inicial, ele se transforma em uma estratégia em que ganha a parte que tem a melhor tecnologia. Certamente, estaremos comprometendo uma série de conquistas civilizatórias que não só não poderiam ser comprometidas como também deveriam ser reforçadas.