Uma coleção de casos em que inteligência artificial perpetuou atos discriminatórios. O livro Racismo Algorítmico, do pesquisador baiano Tarcízio Silva reúne essas situações e explica como nada disso foi por acaso ou por um simples mau desenvolvimento da ferramenta.
O livro traz exemplos de pessoas negras que são ignoradas por aplicativos de reconhecimento facial. Seleções de currículos automatizadas que excluíram todas as mulheres. Além de um site que faz sugestões de pesquisa induzindo que povos tradicionais são “violentos”.
Mestre em Comunicação e Cultura Contemporâneas pela Universidade Federal da Bahia (UFBA), Tarcízo Silva realiza doutorado em Ciências Humanas e Sociais na Universidade Federal do ABC (UFABC), onde estuda controvérsias multisetoriais na regulação de inteligência artificial.
Racismo algoritmo conta com prefácio do pesquisador da área Sergio Amadeu e discute como as bigh techs podem ter responsabilidade por atos discriminatórios que acontecem nas plataformas que essas empresas criaram e moderam
“Os algoritmos nas mídias sociais, por exemplo, querem que a gente fique mais tempo, que a gente clique mais, que a gente veja anúncios. Só que às vezes isso pode significar que os sistemas vão mostrar conteúdos mais extremistas, mais violentos, em relação com os interesses das pessoas.
Mas será que é saudável? Explorar o pior do ser humano para gerar mais visualizações? Então, esse é um dos grandes debates éticos na comunicação, por exemplo”, questiona o pesquisador em entrevista ao Bem Viver desta terça-feira (30).
Silva propõe ações imediatas, como transparência dessas ferramentas digitais e uma curadoria feita por seres humanos.
“É completamente justo que os brasileiros exijam que plataformas como Facebook, como Twitter, tenham funcionários brasileiros que entendam o nosso contexto para não infringir a liberdade de expressão, por exemplo, ou não deixar passar discursos de ódio contra pessoas indígenas no Brasil”, afirma.
O pesquisador também teme situações hipotéticas, mas que podem ser vistas como um próximo passo se não impormos limites a este sistema.
“Então, por exemplo, se a gente decide desenvolver um algoritmo de policiamento preditivo que vai escolher onde a polícia vai fazer mais rondas e para isso a gente utiliza o histórico de prisões na rua isso. Já é um enviesamento. Quem é preso na rua? É por causa de furto de tráfico, por exemplo? Em quais bairros? Qual a cor dessas pessoas? E acima de tudo porque esse crime é o analisado? Porque não há um algoritmo, por exemplo, para ver crimes colarinho branco de corrupção?”
Confira a entrevista na íntegra
Brasil de Fato: O que é algoritmo?
Tarcízio Silva: Algorítmo, a rigor, ficou bastante popular na última década devido ao Facebook, né? Todo mundo fala, “o algoritmo do Facebook me sugeriu isso, me sugeriu aquilo, ou o algoritmo do YouTube…”
Mas algoritmo é um conceito que significa uma série de instruções. Existe esse conceito até antes dos computadores, na matemática medieval, do Oriente Médio, onde surgiu esse tema. Significa uma série de instruções sobre alguma coisa.
A grande diferença nos últimos anos é que os algoritmos, ou o sistema de algoritmos, porque raramente é um só, passaram a ser implementados em tudo o que imaginarmos, na moderação de conteúdo dos filmes que vemos, nas plataformas digitais, para selecionar que anuncio a gente vê ou não, ou mesmo em seleções de trabalho.
Hoje, o grande diferencial é que esses algoritmos, em grande medida, são baseados no histórico de dados, porque isso significa que pode ser mais barato e aparentemente mais eficiente, mas há algumas armadilhas nisso. E às vezes essas armadilhas é [sic] a reprodução de discriminação e reprodução de injustiças.
Algo que fica evidente no seu livro é que os algoritmos não estão trabalhando para nós, usuários, e sim para as empresas que programaram eles, certo? Ou é exagero afirmar isso?
Não, de jeito nenhum. Eu acho que é uma definição perfeita, porque a rigor, qualquer algoritmo, ou sistema algorítmico, voltado a manipular -- e manipular no sentido amplo -- dados de pessoas com fins que vão impactar pessoas, deixe de ser neutro. Afinal de contas, decisões estão sendo tomadas.
Mesmo que os algoritmos sejam baseados em histórico de dados, temos duas questões. A primeira é, esse histórico de dados pode ser um histórico enviesado.
Então, por exemplo, se a gente decide desenvolver um algoritmo de policiamento preditivo que vai escolher onde a polícia vai fazer mais rondas e para isso a gente utiliza o histórico de prisões na rua. Já é um enviesamento. Quem é preso na rua? É por causa de furto, de tráfico, por exemplo? Em quais bairros? Qual a cor dessas pessoas? E acima de tudo porque esse crime é o analisado? Porque não há um algoritmo, por exemplo, para ver crimes colarinho branco de corrupção?
E o segundo ponto é que tem sempre um objetivo subjacente. Os algoritmos nas mídias sociais, por exemplo, querem que a gente fique mais tempo, que a gente clique mais, que a gente veja anúncios. Só que às vezes isso pode significar que os sistemas vão mostrar conteúdos mais extremistas, mais violentos, em relação com os interesses das pessoas.
Mas será que é saudável? Explorar o pior do ser humano para gerar mais visualizações? Então, esse é um dos grandes debates éticos na comunicação, por exemplo.
E o que precisamos cobrar das plataformas?
Bom, eu acho que o primeiro ponto é a promoção da transparência. A gente saber enquanto sociedade civil, enquanto país, digamos assim… Porque há vários dados que mostram que países como o Brasil recebem menos atenção e cuidado das empresas globais.
A gente precisa saber como as coisas funcionam e como elas estão sendo construídas. Por exemplo, quem faz a moderação de conteúdo nas mídias sociais? Qual a formação dessas pessoas? Qual linguagem elas sabem?
Como os sistemas algorítmicos que tiram conteúdo automático são construídos? A gente não tem informação clara sobre isso. E as empresas de mídias sociais, por exemplo, tentam evitar essa transparência, porque se a gente souber como as coisas funcionam podemos cobrar melhor.
Por exemplo, é completamente justo que os brasileiros exijam que plataformas como Facebook, como Twitter, tenham funcionários brasileiros que entendam o nosso contexto para não infringir a liberdade de expressão, por exemplo, ou não deixar passar discursos de ódio contra pessoas indígenas no Brasil.
Então, a transparência seria um primeiro ponto. E há outros mecanismos que estão sendo propostos relacionados à análise de impacto.
Uma vez que uma tecnologia vai ser lançada na sociedade e pode ter impacto nocivos isso não pode simplesmente acontecer. Porque é que só a empresa que está lançando e faturando com aquilo toma decisão sobre essa tecnologia? Uma das propostas em projetos de lei do mundo é que toda tecnologia que possa ter um alto risco apresente um relatório de impacto algorítmico.
Para pensar quais são os impactos possíveis e, a partir daí, já se prepare para reparar esses danos ou, às vezes, até evitar que a tecnologia seja lançada se ela trouxer mais coisas negativas do que positivas.
Que outros perigos existem no fato de a sociedade ter essa falsa percepção de que tem controle sobre os algoritmos?
Essas decisões às vezes estão ligadas a aumento de lucro ou eliminação de postos de trabalho. Uma área onde os sistemas algoritmos estão sendo bastante implementados é a área de filtragem de currículos para a contratação de pessoas, por exemplo.
Mas temos vários casos que mostram que, se o sistema não for desenvolvido de forma correta, ele vai intensificar discriminações e preconceitos já expressados pelos setores recursos humanos, por exemplo.
Há um caso de alguns anos atrás que mostrou que um sistema da Amazon, que nem tinha informação de gênero das pessoas, discriminou mulheres. Mas essa discriminação foi feita de forma indireta, porque o sistema utilizou o histórico de contratações e identificou em um modelo super complexo as características de pessoas que historicamente não eram contratadas por essas empresas e eliminou essas pessoas.
E quando a auditoria foi feita, se descobriu que eram características de currículo que eram mais comuns em mulheres, então eles discriminavam mulheres mesmo sem ser de forma explícita.
E mais recentemente, outro sistema de IA [inteligência artificial] generativa discriminou candidatos com nomes afro-americanos. E isso também foi a mesma lógica, não havia categoria de raça no formulário, mas o sistema identificou que nomes como Tyrone, por exemplo, que são nomes mais utilizados por afro-americanos, não estavam presentes no histórico e por isso reforçou a discriminação.
Então esse ponto é muito relevante porque às vezes a discriminação não é intencional, mas foi feita de uma forma desleixada, reproduzindo o que já temos. Se a gente não tiver transparência para entender como os sistemas estão sendo aplicados, o que a gente vai ter é vagas de trabalho sendo eliminadas, trocadas por algoritmos que oferecem um serviço pior do que já existe.
No seu livro você conta sobre a situação dos Maori, povo tradicional da Nova Zelândia, que é alvo constante de preconceito no país. Por lá, é comum as pessoas digitarem no Google “Maori são” e logo o Google traz sugestões de complemento da frase como “violentos”, “obesos” ou “preguiçosos”. Isso deveria ser analisado de que forma?
Eu acho que esse exemplo é perfeito, porque mesmo no Brasil já há em andamento alguns inquéritos sobre mecanismos de busca, devido a características discriminatórias. Esse exemplo do povo Maori e desse recurso auto completar, no busca do Google, fala muito sobre esse problema.
Empresas de big tech, em sua maioria, utilizam dados, publicações e conteúdos da humanidade. Afinal de contas, o Google é o Google porque desenvolveu um sistema de indexação de páginas web, mas a rigor foi a humanidade que fez, não é o Google produzindo conteúdo.
Só que o problema é, se uma empresa está se beneficiando de todo esse conteúdo produzido pela humanidade e se torna uma interface entre os usuários e esse conteúdo, ela tem uma responsabilidade de fazer uma filtragem, fazer uma curadoria, uma vez que esse caso de um autocomplemento discriminatório é literalmente faturar com um histórico discriminatório na cultura.
Como que se resolve isso? Se resolve isso com boa curadoria, com transparência e com recursos humanos, mas a grande questão é, será que essas big tech teriam essa margem enorme de lucro se elas fizessem um bom trabalho para todos?
Me parece que não, então no final das contas é uma questão de aumento da desigualdade que diminui a qualidade para todos, então a gente precisa balancear
E como você está vendo o debate de regulamentação das redes no Brasil e no mundo?
Acho que essa questão é muito relevante, porque há diferentes sobre regulação de inteligência artificial em torno do mundo.
Por exemplo, na China, que é um país bem particular, bastante diferente das nossas abordagens, há algo bastante positivo, que é o registro de implementações e de sistemas que sejam de alto risco. Então, há um registro prévio, que a sociedade civil possa entender esses sistemas. Só que, por outro lado, é um país com muita vigilância estatal, que é algo que a gente não quer.
No caso da Europa, foi recentemente aprovado um sistema de regulação da inteligência artificial, que traz algumas defesas para os europeus, mas, por outro lado, mantém muitas restrições contra migrantes e o fluxo de pessoas na Europa.
E, nos Estados Unidos, é uma abordagem bastante aberta de livre-mercado, entre aspas. É um livre-mercado que favorece os Estados Unidos e suas empresas.
No Brasil, existe essa discussão se devemos nos inspirar em qual dessas abordagens. Atualmente, temos um debate no Senado que está revisando e analisando os projetos de lei já apresentados.
Infelizmente, nas últimas semanas, a Comissão Temporária de Inteligência Artificial no Brasil lançou um relatório prévio com alguns retrocessos na regulamentação de Inteligência Artificial, incluindo a sugestão de uma autoridade supervisora que não tem participação social, o que é um absurdo, a sociedade não estar representada.
Enquadra armas autônomas e reconhecimento facial como risco excessivo, mas cheio de exceções. Então a rigor é uma proibição que não proibi nada, que permite todos os tipos de utilizações nocivas.
E por fim, uma tendência que talvez seja uma tendência mundial mesmo, que o Brasil deveria abarcar, é entender que é possível estabelecer quais são as implementações de alto risco e essas implementações de alto risco, por exemplo, em algumas áreas da saúde ou na segurança pública ou na contratação, devem ter uma obrigação de transparência mais relevante.
Eu não quero que um sistema de implementação, tipo um robôzinho que leve uma caixa de um lado a outro no armazém, tenha obrigações de transparência enormes, porque o impacto humano pode ser pequeno.
Mas se um sistema vai analisar o meu exame diagnóstico de saúde, ele deve ter transparência e qualidade alta. Então, a sociedade civil tem defendido essa abordagem de risco, que analisa risco e direitos. Mas que seja proporcional, somente sistemas de alto risco devem ter transparência alta também.
Então, esse é um grande desafio, porque o setor privado não quer e está fazendo bastante lobby contra a regulação, assim como tem feito e fez contra a regulação de plataformas que está parada nas casas legislativas também.
Até essas regulamentações acontecerem, o que nós podemos fazer quanto usuários de redes sociais?
É, eu acredito que as soluções costumam acontecer a partir da articulação coletiva, essa articulação coletiva pode ser uma organização da sociedade civil, pode ser pressão política, diálogo com legisladores, diálogo com Executivo.
Mas cada pessoa pode também, ao mesmo tempo, construir ambientes melhores no entorno. Isso significa entender um pouco as dinâmicas das redes, as dinâmicas dos sistemas algoritmos e tentar utilizar, exercer essa literacia mediática, esse traquejo com a tecnologia de uma forma positiva.
Entendem que as plataformas são espaços que utilizam o nosso trabalho. Então, por exemplo, criadores de comunicação, jornalistas… A gente precisa realmente utilizar só plataformas?
Ou será que a gente pode voltar a usar cada vez mais blogs que são ambientes mais seguros, que a gente pode controlar a nossa plataforma? E, sobretudo, será que tudo precisa ser transformado em digital?
Será que tudo precisa ser publicado? Me parece que não. Então acho que esse balanceamento é muito importante, que a gente não se torna refém dos algoritmos, pois que a rigor representam objetivos de exploração, objetivos consumeristas que são longe do ideal para a saúde, seja física, seja mental das pessoas.
Confira como ouvir e acompanhar o Programa Bem Viver nas rádios parceiras e plataformas de podcast / Brasil de Fato
Sintonize
O programa de rádio Bem Viver vai ao ar de segunda a sexta-feira, das 11h às 12h, com reprise aos domingos, às 10h, na Rádio Brasil Atual. A sintonia é 98,9 FM na Grande São Paulo. A versão em vídeo é semanal e vai ao ar aos sábados a partir das 13h30 no YouTube do Brasil de Fato e TVs retransmissoras: Basta clicar aqui.
Em diferentes horários, de segunda a sexta-feira, o programa é transmitido na Rádio Super de Sorocaba (SP); Rádio Palermo (SP); Rádio Cantareira (SP); Rádio Interativa, de Senador Alexandre Costa (MA); Rádio Comunitária Malhada do Jatobá, de São João do Piauí (PI); Rádio Terra Livre (MST), de Abelardo Luz (SC); Rádio Timbira, de São Luís (MA); Rádio Terra Livre de Hulha Negra (RN), Rádio Camponesa, em Itapeva (SP), Rádio Onda FM, de Novo Cruzeiro (MG), Rádio Pife, de Brasília (DF), Rádio Cidade, de João Pessoa (PB), Rádio Palermo (SP), Rádio Torres Cidade (RS); Rádio Cantareira (SP); Rádio Keraz; Web Rádio Studio F; Rádio Seguros MA; Rádio Iguaçu FM; Rádio Unidade Digital ; Rádio Cidade Classic HIts; Playlisten; Rádio Cidade; Web Rádio Apocalipse; Rádio; Alternativa Sul FM; Alberto dos Anjos; Rádio Voz da Cidade; Rádio Nativa FM; Rádio News 77; Web Rádio Líder Baixio; Rádio Super Nova; Rádio Ribeirinha Libertadora; Uruguaiana FM; Serra Azul FM; Folha 390; Rádio Chapada FM; Rbn; Web Rádio Mombassom; Fogão 24 Horas; Web Rádio Brisa; Rádio Palermo; Rádio Web Estação Mirim; Rádio Líder; Nova Geração; Ana Terra FM; Rádio Metropolitana de Piracicaba; Rádio Alternativa FM; Rádio Web Torres Cidade; Objetiva Cast; DMnews Web Rádio; Criativa Web Rádio; Rádio Notícias; Topmix Digital MS; Rádio Oriental Sul; Mogiana Web; Rádio Atalaia FM Rio; Rádio Vila Mix; Web Rádio Palmeira; Web Rádio Travessia; Rádio Millennium; Rádio EsportesNet; Rádio Altura FM; Web Rádio Cidade; Rádio Viva a Vida; Rádio Regional Vale FM; Rádio Gerasom; Coruja Web; Vale do Tempo; Servo do Rei; Rádio Best Sound; Rádio Lagoa Azul; Rádio Show Livre; Web Rádio Sintonizando os Corações; Rádio Campos Belos; Rádio Mundial; Clic Rádio Porto Alegre; Web Rádio Rosana; Rádio Cidade Light; União FM; Rádio Araras FM; Rádios Educadora e Transamérica; Rádio Jerônimo; Web Rádio Imaculado Coração; Rede Líder Web; Rádio Club; Rede dos Trabalhadores; Angelu'Song; Web Rádio Nacional; Rádio SINTSEPANSA; Luz News; Montanha Rádio; Rede Vida Brasil; Rádio Broto FM; Rádio Campestre; Rádio Profética Gospel; Chip i7 FM; Rádio Breganejo; Rádio Web Live; Ldnews; Rádio Clube Campos Novos; Rádio Terra Viva; Rádio interativa; Cristofm.net; Rádio Master Net; Rádio Barreto Web; Radio RockChat; Rádio Happiness; Mex FM; Voadeira Rádio Web; Lully FM; Web Rádionin; Rádio Interação; Web Rádio Engeforest; Web Rádio Pentecoste; Web Rádio Liverock; Web Rádio Fatos; Rádio Augusto Barbosa Online; Super FM; Rádio Interação Arcoverde; Rádio; Independência Recife; Rádio Cidadania FM; Web Rádio 102; Web Rádio Fonte da Vida; Rádio Web Studio P; São José Web Rádio - Prados (MG); Webrádio Cultura de Santa Maria; Web Rádio Universo Livre; Rádio Villa; Rádio Farol FM; Viva FM; Rádio Interativa de Jequitinhonha; Estilo - WebRádio; Rede Nova Sat FM; Rádio Comunitária Impacto 87,9FM; Web Rádio DNA Brasil; Nova onda FM; Cabn; Leal FM; Rádio Itapetininga; Rádio Vidas; Primeflashits; Rádio Deus Vivo; Rádio Cuieiras FM; Rádio Comunitária Tupancy; Sete News; Moreno Rádio Web; Rádio Web Esperança; Vila Boa FM; Novataweb; Rural FM Web; Bela Vista Web; Rádio Senzala; Rádio Pagu; Rádio Santidade; M'ysa; Criativa FM de Capitólio; Rádio Nordeste da Bahia; Rádio Central; Rádio VHV; Cultura1 Web Rádio; Rádio da Rua; Web Music; Piedade FM; Rádio 94 FM Itararé; Rádio Luna Rio; Mar Azul FM; Rádio Web Piauí; Savic; Web Rádio Link; EG Link; Web Rádio Brasil Sertaneja; Web Rádio Sindviarios/CUT.
A programação também fica disponível na Rádio Brasil de Fato, das 11h às 12h, de segunda a sexta-feira. O programa Bem Viver está nas plataformas: Spotify, Google Podcasts, Itunes, Pocket Casts e Deezer.
Assim como os demais conteúdos, o Brasil de Fato disponibiliza o programa Bem Viver de forma gratuita para rádios comunitárias, rádios-poste e outras emissoras que manifestarem interesse em veicular o conteúdo. Para ser incluído na nossa lista de distribuição, entre em contato por meio do formulário.
Edição: Matheus Alves de Almeida
