"Parece ter chegado a hora de fazer uma avaliação ético-política desses sistemas que usam Inteligência Artificial (IA) e perguntar como poderiam ser mais bem projetados, tornados mais resilientes e implementados para que sejam seguros para as pessoas. Se queremos que as máquinas sejam confiáveis, precisamos partir de uma abordagem algorética", afirma Paolo Benanti, teólogo, frei franciscano da Terceira Ordem Regular, professor da Pontifícia Universidade Gregoriana, em Roma, e acadêmico da Pontifícia Academia para a Vida. O artigo foi publicado em seu blog, 25-05-2020. A tradução é de Moisés Sbardelotto.

Eis o texto.

O nosso insólito comportamento online durante a pandemia está confundindo e levando ao fracasso os modelos de inteligência artificial (IA) que desenvolvemos para gerenciar todo o comércio online. Os modelos de aprendizado automático são moldados sobre o comportamento estatisticamente normal dos consumidores. Com a pandemia e o confinamento, esses algoritmos começam a mostrar falhas, forçando os seres humanos a intervir para tentar corrigir as anomalias. Vejamos o que aconteceu, para trazer à tona alguns elementos notáveis.

Na semana dos dias 12 a 18 de abril, os 10 principais termos de busca na Amazon.com foram: papel higiênico, máscara facial, desinfetante para as mãos, toalhas de papel, spray Lysol, lenços umedecidos Clorox, máscara, Lysol, máscaras para proteção contra germes e máscara N95.

As pessoas não estavam apenas buscando, mas também estavam comprando – e em grandes quantidades. A maioria das pessoas que buscavam máscaras acabaram comprando o novo best-seller nº 1 da Amazon: “Face Mask, Pack of 50”.

Quando a Covid-19 chegou, começamos a comprar coisas que nunca tínhamos comprado antes. A mudança foi repentina: os pilares dos “top ten” da Amazon – capas de telefone, carregadores de celular e Lego – foram arrancados dos gráficos em poucos dias. A Nozzle, uma empresa de consultoria com sede em Londres, especializada em publicidade algorítmica para vendedores da Amazon, capturou a rápida mudança neste gráfico simples.

Levou menos de uma semana até o fim de fevereiro para que os 10 primeiros termos de pesquisa da Amazon em vários países fossem substituídos por produtos relacionados à Covid-19. É possível monitorar a difusão da pandemia a partir daquilo que compramos: os itens alcançaram o pico pela primeira vez na Itália, seguida pela Espanha, França, Canadá e Estados Unidos. O Reino Unido e a Alemanha ficaram pouco atrás.

“É uma transição incrível ao longo de cinco dias”, afirma Rael Cline, CEO da Nozzle. Os efeitos da ondulação foram observados nas cadeias de suprimentos do varejo.

Permitimo-nos fazer um inciso: as tendências agregadas das compras também podem ser um ótimo índice para monitorar eventuais novos picos da Covid-19, como as águas dos esgotos da cidade. Em suma, os dados agregados são instrumentos muito poderosos que não devem ser subestimadas em uma estratégia de médio prazo para a gestão da tendência de uma pandemia.

Voltando ao nosso tema, porém, devemos destacar que essa onda anômala nos dados também influenciou a inteligência artificial, causando problemas e interrupções nos algoritmos que funcionam nos bastidores do gerenciamento de inventário, detecção de fraudes, marketing e muito mais.

Os modelos de aprendizado automático moldados sobre o comportamento humano normal estão descobrindo agora que o normal mudou, e alguns não funcionam mais como deveriam.

A gravidade da situação depende de quem se ouve. Segundo a Pactera Edge, uma empresa de consultoria global em IA, “a automação terminou em uma espiral”. Outros dizem que estão de olho nos sistemas automatizados e que estes são capazes de aguentar, intensificando apenas as intervenções com uma correção manual, quando necessário.

O que está claro é que a pandemia revelou como as nossas vidas estão entrelaçadas com a IA, expondo uma delicada codependência em que as mudanças no nosso comportamento mudam o modo como a IA funciona, e as mudanças no modo como a IA funciona mudam o nosso comportamento.

Esse também é um lembrete do fato de que o envolvimento humano nos sistemas automatizados continua sendo fundamental. “Você nunca pode se sentar e esquecer quando você se encontra em circunstâncias tão extraordinárias”, diz Cline.

Os modelos de aprendizado automático são projetados para responder às mudanças. Mas a maioria também é frágil; eles se comportam mal quando os dados de input diferem demais dos dados sobre o qual foram treinados. É um erro supor que se possa criar um sistema de IA, deixá-lo funcionando e ir embora, diz Rajeev Sharma, vice-presidente global da Pactera Edge: “A IA é um motor vivo, respirando”.

Sharma falou com diversas empresas que lidam com casos de IA rebeldes. Uma empresa que fornece molhos e temperos para os varejistas na Índia precisava de ajuda para reparar o seu sistema de gestão automática do estoque, quando os pedidos em massa “quebraram” os seus algoritmos preditivos. As previsões de venda do sistema no qual a empresa se baseava para reordenar os estoques não correspondiam mais ao que estava efetivamente vendendo. “O algoritmo nunca foi treinado sobre um pico como esse, então o sistema estava fora de sintonia”, conta Sharma.

Outra empresa usa uma IA para avaliar o sentimento dos artigos noticiosos e fornece recomendações diárias de investimento com base nos resultados. Mas, com as notícias atualmente mais sombrias do que o normal, o conselho será muito distorcido, diz Sharma. E uma grande empresa de streaming que teve um repentino fluxo de assinantes famintos por conteúdos também está tendo problemas com os seus algoritmos de recomendação, continua ele no seu relato. A empresa utiliza o aprendizado automático para sugerir conteúdos pertinentes e personalizados aos espectadores, para que continuem voltando. Mas a repentina mudança dos dados dos assinantes estava tornando as recomendações do seu sistema menos precisas.

Muitos desses problemas com os modelos de aprendizado surgem porque cada vez mais empresas compram sistemas de aprendizado automático, mas não têm o know-how interno necessário para mantê-los. A requalificação de um modelo em condições dinâmicas que trazem fluxos de dados muito disformes do normal pode exigir uma intervenção humana especializada.

A atual crise também mostrou que as coisas podem piorar em comparação com os piores cenários incluídos nos conjuntos de treinamento. Sharma acredita que mais IA deveriam ser treinadas não só sobre os altos e baixos dos últimos anos, mas também sobre eventos estranhos como a Grande Depressão dos anos 1930, a quebra do mercado acionário na Black Monday em 1987 e a crise financeira de 2007-2008. “Uma pandemia como esta é um gatilho perfeito para construir modelos melhores de aprendizado automático”, diz Sharma com convicção.

Mesmo assim, porém, o algoritmo será confiável dentro de alguns limites operacionais, e o modelo pode não estar pronto para gerir qualquer variação dos dados. Como lei geral, lembra David Excell, fundador da Featurespace, uma empresa de análise comportamental que utiliza a IA para detectar fraudes com cartão de crédito, se um sistema de aprendizado automático não vê o que se espera ver, então haverá problemas. Talvez surpreendentemente, o Featurespace não viu a sua IA ir tão mal. As pessoas ainda estão comprando coisas na Amazon e assinando a Netflix como faziam antes, mas não estão comprando itens caros ou gastando em novos lugares, que são os comportamentos que podem levantar suspeitas. “O comportamento de gastos das pessoas é uma contração dos seus velhos hábitos”, diz Excell.

Segundo Excell, os engenheiros da empresa só tinham que intervir para se adequar ao aumento das pessoas que compravam equipamentos de jardinagem e utensílios elétricos. Esses são os tipos de compras anormais de preço médio que os algoritmos de detecção de fraude poderiam detectar. “Acho que definitivamente há mais supervisão”, diz Excell. “O mundo mudou, e os dados mudaram.”

Usar o tom certo nos discursos

A Phrasee, com sede em Londres, é outra empresa de IA que foi afetada pela mudança. Ela utiliza processamento de linguagem natural e aprendizado automático para gerar cópias de e-mails de marketing ou anúncios de Facebook em nome dos seus clientes. Garantir que se tenha o tom certo na sua produção de texto faz parte do seu trabalho. A sua IA funciona gerando muitas frases possíveis e depois processando-as através de uma rede neural para escolher as melhores. Mas, como a geração de linguagem natural pode ir muito mal, a Phrasee sempre tem seres humanos para controlar aquilo que entra e sai da sua IA.

Quando a Covid-19 começou a criar pânico, a Phrasee se deu conta de que era necessária mais sensibilidade do que de costume e começou a aplicar filtros adicionais. A empresa vetou expressões específicas, como “viralizar”, e não permite uma linguagem que se refira a atividades não praticáveis, como “roupas de festa”. Também eliminou emojis que possam ser lidos como felizes ou alarmantes demais. E também abandonou termos que podem aumentar a ansiedade, como “meu Deus”, “estar preparado”, “estocar” e “se prepare”. “As pessoas não querem que o marketing as faça se sentir ansiosas e amedrontadas sob pressão”, diz Parry Malm, CEO da empresa.

Como um microcosmo para o setor de varejo como um todo, no entanto, não se pode derrotar a Amazon. É também onde foram feitos alguns dos mais sutis ajustes nos bastidores. A Amazon e os 2,5 milhões de fornecedores terceirizados que colaboram na plataforma para satisfazer a demanda dos clientes estão fazendo pequenas modificações nos seus algoritmos para ajudar a distribuir o fardo.

A maioria dos vendedores da Amazon confia na Amazon para atender os seus pedidos. Os vendedores mantêm os seus itens em um armazém da Amazon, e a Amazon cuida de toda a logística, entregando na casa das pessoas e gerenciando os retornos. A plataforma de Seattle, portanto, promove os vendedores cujos pedidos ela conclui por conta própria. Por exemplo, se você busca um item específico, como um Nintendo Switch, é mais provável que o resultado que aparece na parte superior, ao lado do botão principal “Adicionar ao carrinho”, seja de um vendedor que usa a logística da Amazon do que um que não o faz.

Mas, nas últimas semanas, a Amazon inverteu o processo, afirma Cline. Para aliviar a demanda em seus armazéns, os seus algoritmos parecem agora mais propensos a promover vendedores que gerenciam as entregas por conta própria.

Mercados voláteis

Seria difícil fazer esse tipo de regulação sem a intervenção manual. “A situação é muito volátil”, diz Cline. “Você estava tentando otimizar a resposta para o papel higiênico na semana passada, e nesta semana todo mundo quer comprar quebra-cabeças ou equipamentos de ginástica.”

As mudanças que a Amazon faz nos seus algoritmos, depois, têm efeitos em cadeia nos algoritmos que os vendedores utilizam para decidir quanto gastar em publicidade online. Sempre que uma página web é carregada com anúncios, realiza-se um leilão superveloz em que os licitantes automatizados decidem entre si quem pode preencher cada caixa de anúncio. A quantia que esses algoritmos decidem gastar em um anúncio depende de uma miríade de variáveis, mas no fim a decisão se baseia em uma estimativa de quanto o visitante, isto é, os olhos humanos na página, vale para eles. Existem várias maneiras de prever o comportamento dos clientes, incluindo não apenas os dados sobre as suas compras anteriores, mas também o cluster no qual as empresas de publicidade o colocaram com base na sua atividade online.

Mas um dos melhores índices de previsão sobre se alguém que clica em um anúncio vai comprar o produto é quanto tempo o vendedor declara que levará para entregá-lo, diz Cline. Portanto, a Nozzle está conversando com os clientes para regular os seus algoritmos para levar esse fator em consideração. Por exemplo, se você acha que não pode entregar mais rápido do que um concorrente, poderia não valer a pena tentar superá-los em um leilão de publicidade. Por outro lado, se você sabe que o seu concorrente ficou sem estoque, então você pode levar para casa uma vitória barata, sabendo que não fará lances.

Tudo isso só é possível com uma equipe dedicada que mantém as coisas sob controle, diz Cline. A situação atual é uma oportunidade preciosa para conscientizar sobre a dinâmica e o funcionamento real dos sistemas automáticos que desenvolvemos. Muitos pensam que todos os sistemas automatizados podem funcionar sozinhos. “Você precisa de uma equipe de ciência de dados capaz de conectar aquilo que está acontecendo no mundo com aquilo que está acontecendo nos algoritmos”, conclui Cline.

Esses exemplos nos revelam como o impacto de uma pandemia foi sentido por toda parte, mesmo naqueles mecanismos algorítmicos, muito influentes sobre a nossa vida, que, no entanto, em tempos mais tranquilos, permanecem ocultos.

Parece ter chegado a hora de fazer uma avaliação ético-política desses sistemas que acabamos de abordar e perguntar como poderiam ser mais bem projetados, tornados mais resilientes e implementados para que sejam seguros para as pessoas. Se queremos que as máquinas sejam confiáveis, precisamos partir de uma abordagem algorética.

Nota de IHU On-Line:

O Instituto Humanitas Unisinos – IHU promove o Ciclo de Estudos Algoritmização e digitalização do trabalho antes e pós-pandemia, a ser realizado de 25 de maio a 22 de junho 2020, pela plataforma Moodle Unisinos.

Leia mais

• Revolução 4.0. Novas fronteiras para a vida e a educação. Revista IHU On-Line, Nº. 544
• Prudência tecnológica em tempos de coronavírus. Artigo de Luca Peyron
• “A pandemia fortalece, sobretudo, as corporações tecnológicas e a economia de plataformas”. Entrevista com José María Lassalle
• Inteligência artificial: somos ainda livres?
• Cenários pós-coronavírus: da ‘tecnologia civil’ à economia contributiva
• O panóptico do coronavírus rastreia seus contatos 
• Coronavírus, os governos europeus pedem socorro às Big Tech. Mas o tempo dos mapas de contágio está se esgotando
• O mundo depois do coronavírus. Artigo de Yuval Noah Harari
• Como será o mundo depois do coronavírus, segundo Yuval Noah Harari
• A vida dos humanos sujeita à lógica contável que organiza a saúde pública. Entrevista com Maurizio Lazzarato
• Sistema Único de Saúde muito além da assistência
• Outro modelo para locais de cuidado médico. O sistema de saúde deve ser completamente repensado
• Por uma inteligência artificial humanística. Entrevista com Paolo Benanti
• Direitos na era do algoritmo. Entrevista com Andrés Gil Domínguez
• Inteligência artificial: a máquina capitalista que pensa como uma empresa. Artigo de Paolo Benanti
• Digitalização, política e inteligência artificial
• Uma Inteligência Artificial, prestes a resolver o “problema dos três corpos”
• Como a inteligência artificial poderia acabar com a Humanidade - por acidente
• Capitalismo de Inteligência Artificial. Entrevista com Dyer-Witheford
• Inteligência artificial e ética: um estado da arte. Artigo de Paolo Benanti
• Inteligência Artificial, potência e terror
• Inteligência artificial tenta prever quando as pessoas vão morrer
• Máquinas Sapiens. Os desenvolvimentos da Inteligência Artificial
• Coronavírus: risco da disseminação é maior com a circulação de assintomáticos
• China. Uma epidemia de desconfiança
• Lições virais da China. Artigo de Yann Moulier Boutang e Monique Selim
• O coronavírus mudará a China?
• Aplicativo Immuni. Existe liberdade pessoal por trás da privacidade hi-tech?
• Carta aberta de 300 cientistas: “Cuidado com a coleta de dados dos aplicativos antipandemia”
• COVID-19 e rastreamento humano. Artigo de Giorgio Griziotti
• “Rastreamento” de pacientes com Covid-19. Quais são as implicações éticas?
• Rastreamento de contato, app e privacidade: o elefante na sala não são os dados, mas a vigilância
• Rastreamento, monitoramento e a possibilidade futura de libertação do panóptico digital. Entrevista especial com Spencer Sydow
• Tendências tecnológicas pré e pós pandemia
• “Já nem sequer sabemos que não somos livres”, afirma o filósofo Srećko Horvat
• O panóptico do coronavírus rastreia seus contatos
• “A pandemia fortalece, sobretudo, as corporações tecnológicas e a economia de plataformas”. Entrevista com José María Lassalle
• Coronavírus, os governos europeus pedem socorro às Big Tech. Mas o tempo dos mapas de contágio está se esgotando
• Inteligência artificial também contra vírus. Em primeiro lugar na China
• Pandemia, a tecnologia pode cuidar dela. Mas da próxima vez