Quando a tecnologia preditiva se torna antiética?

Tempo de leitura: 6 minutes

Loading

O aprendizado de máquina pode determinar muito sobre você, incluindo algumas de suas informações mais confidenciais. Por exemplo, pode prever sua orientação sexual, se você está grávida, se vai largar o emprego e se é provável que morra logo. Os pesquisadores podem prever a raça com base em curtidas no Facebook , e as autoridades chinesas usam o reconhecimento facial para identificar e rastrear os uigures , um grupo étnico minoritário.

Agora, as máquinas realmente “sabem” essas coisas sobre você ou estão apenas fazendo suposições informadas? E, se eles estão fazendo uma inferência sobre você, assim como qualquer ser humano que você conhece pode fazer, há realmente algo de errado em serem tão inteligente?

Vejamos alguns casos:
Nos Estados Unidos, a história do Target predizendo quem está grávida é provavelmente o exemplo mais famoso de um algoritmo que faz inferências confidenciais sobre as pessoas. Em 2012, uma história do New York Times sobre como as empresas podem alavancar seus dados incluiu uma piada sobre um pai descobrindo que sua filha adolescente estava grávida porque a Target lhe enviou cupons para itens de bebê em um aparente ato de premonição.

Embora a história sobre o adolescente possa ser duvidosa – mesmo se tivesse acontecido, provavelmente teria sido coincidência, e não análise preditiva responsável pelos cupons, de acordo com o processo da Target, detalhado pela história do The New York Times – há uma realidade e um risco para a privacidade à luz deste projeto preditivo. Afinal, se o departamento de marketing de uma empresa prevê quem está grávida, eles verificaram dados clinicamente sensíveis e não voluntários que apenas a equipe de saúde é normalmente treinada para manusear e proteger adequadamente.

O acesso mal gerenciado a esse tipo de informação pode ter enormes implicações na vida de alguém. Como um cidadão preocupado postou online , imagine que o “trabalho de uma mulher grávida” está precário, e [sua] deficiência estatal ainda não foi configurada corretamente … a divulgação pode arriscar o custo de varejo de um parto (aproximadamente US $ 20.000), pagamentos por invalidez durante tempo livre (aproximadamente $ 10.000 a $ 50.000) e até mesmo seu trabalho. ”

Este não é um caso de manuseio incorreto, vazamento ou roubo de dados. Em vez disso, é a geração de novos dados – a descoberta indireta de verdades não voluntárias sobre as pessoas. As organizações podem prever esses insights poderosos a partir de dados inócuos existentes, como se os criassem do nada.

Então, ironicamente, estamos enfrentando uma desvantagem quando os modelos preditivos têm um desempenho muito bom? Sabemos que há um custo quando os modelos prevêem incorretamente, mas também há um custo quando eles prevêem corretamente?

Mesmo que o modelo não seja altamente preciso, por si só, ele ainda pode ser confiável em suas previsões para um determinado grupo de gestantes. Digamos que 2% das clientes do sexo feminino entre 18 e 40 anos estejam grávidas. Se o modelo identificar as clientes, digamos, três vezes mais probabilidade do que a média de estarem grávidas, apenas 6% das identificadas estarão realmente grávidas. Isso é um levantamento de três. Mas se você olhar para um grupo muito menor e focado, digamos que os 0,1% com maior probabilidade de estarem grávidas, você pode ter um aumento muito maior de, digamos, 46, o que tornaria as mulheres nesse grupo 92% de probabilidade de engravidar.

Nesse caso, o sistema seria capaz de revelar essas mulheres como muito prováveis ​​de estarem grávidas.
O mesmo conceito se aplica ao prever orientação sexual, raça, estado de saúde, localização e suas intenções de deixar o emprego. Mesmo que um modelo não seja altamente preciso em geral, ele ainda pode revelar com alta confiança – para um grupo limitado – coisas como orientação sexual, raça ou etnia. Isso ocorre porque, normalmente, há uma pequena porção da população para a qual é mais fácil prever. Agora, ele só pode ser capaz de prever com segurança para um grupo relativamente pequeno, mas mesmo apenas 0,1% do topo de uma população de um milhão significaria que 1.000 indivíduos foram identificados com segurança.

É fácil pensar nos motivos pelos quais as pessoas não gostariam que alguém soubesse dessas coisas. Em 2013, a Hewlett-Packard estava marcando previsivelmente seus mais de 300.000 funcionários com a probabilidade de eles pedirem demissão – a HP chamou isso de pontuação de risco de voo e foi entregue aos gerentes. Se você está planejando ir embora, seu chefe provavelmente será a última pessoa que você gostaria de saber antes do anuncio oficial.

Outro exemplo, as tecnologias de reconhecimento facial podem servir como uma forma de rastrear a localização, diminuindo a liberdade fundamental de se mover sem divulgação, uma vez que, por exemplo, câmeras de segurança posicionadas publicamente podem identificar pessoas em horários e lugares específicos. Eu certamente não condeno totalmente o reconhecimento facial, mas sei que os CEOs da Microsoft e do Google o criticaram por esse motivo.

Em outro exemplo, uma empresa de consultoria estava modelando a perda de funcionários de um departamento de RH e percebeu que eles poderiam realmente modelar as mortes de funcionários, já que essa é uma maneira de você perder um funcionário. O pessoal de RH respondeu com: “Não nos mostre!” Eles não queriam a responsabilidade de saber quais funcionários corriam o risco de morrer em breve.

A pesquisa mostrou que os modelos preditivos também podem discernir outros atributos pessoais – como raça e etnia – com base, por exemplo, em curtidas no Facebook. Uma preocupação aqui é a maneira como os profissionais de marketing podem fazer uso desses tipos de previsões. Como disse Latanya Sweeney , professora de governança e tecnologia de Harvard : “No final das contas, a publicidade online é uma questão de discriminação. Você não quer que mães com recém-nascidos recebam anúncios de varas de pescar e não quer que pescadores recebam anúncios de fraldas.

A questão é quando essa discriminação ultrapassa a linha de direcionar clientes para impactar negativamente um grupo inteiro de pessoas? ” Na verdade, um estudo por Sweeney mostrou que as pesquisas do Google por nomes “sombrios” tinham 25% mais probabilidade de mostrar um anúncio sugerindo que a pessoa tinha um registro de prisão, mesmo que o anunciante não tivesse ninguém com esse nome em seu banco de dados de registros de prisão.

“Se você fizer uma tecnologia que pode classificar as pessoas por uma etnia, alguém a usará para reprimir essa etnia”, diz Clare Garvie , associada sênior do Centro de Privacidade e Tecnologia da Georgetown Law.

O que nos leva à China, onde o governo aplica o reconhecimento facial para identificar e rastrear membros dos uigures, um grupo étnico sistematicamente oprimido pelo governo. Este é o primeiro caso conhecido de um governo usando aprendizado de máquina para traçar um perfil por etnia. Essa sinalização de indivíduos por grupo étnico é projetada especificamente para ser usada como um fator em decisões discriminatórias – isto é, decisões baseadas, pelo menos em parte, em uma classe protegida.

Nesse caso, os membros desse grupo, uma vez identificados, serão tratados ou considerados de forma diferente com base em sua etnia. Uma start-up chinesa avaliada em mais de US $ 1 bilhão disse que seu software pode reconhecer “grupos de pessoas sensíveis”. Seu site dizia: “Se originalmente um uigures morasse em uma vizinhança, e em 20 dias seis uigures aparecerem, ele imediatamente enviaria alarmes” para as autoridades.

Implementar o tratamento diferenciado de um grupo ético baseado em tecnologia preditiva eleva os riscos a um nível totalmente novo. Jonathan Frankle, pesquisador de aprendizado profundo do MIT, alerta que esse potencial se estende além da China . “Não acho que seja exagero tratar isso como uma ameaça existencial à democracia. Uma vez que um país adota um modelo neste modo fortemente autoritário, ele está usando dados para fazer cumprir o pensamento e as regras de uma forma muito mais arraigada … Nessa medida, esta é uma crise urgente na qual estamos lentamente nos transformando em um sonâmbulo ”.

É um verdadeiro desafio definir quais objetivos preditivos perseguidos com o aprendizado de máquina são antiéticos, quanto mais quais deveriam ser regulamentados, se houver. Mas, no mínimo, é importante ficar atento para quando o aprendizado de máquina servir para fortalecer uma prática antiética preexistente e também para quando gerar dados que devem ser tratados com cuidado.

Fonte: Harvard Business
Artigo original: https://bityli.com/ACHGV
Autor: Eric Siegel , Ph.D., é um consultor líder e ex-professor da Columbia University que torna o aprendizado de máquina compreensível e cativante. Ele é o fundador da série de conferências Predictive Analytics World e Deep Learning World , e é o instrutor da especialização Coursera Machine Learning for Everyone . Ele é um palestrante popular comissionado para mais de 100 palestras e editor executivo do The Machine Learning Times . Ele foi o autor do best-seller Predictive Analytics: O poder de prever quem vai clicar, comprar, mentir ou morrer.

Fernando Giannini

Pesquisador de tecnologia aplicada à educação, arquiteto de objetos virtuais de aprendizagem, fissurado em livros de grandes educadores e viciado em games de todos os tipos. Conhecimentos aprimorados em cursos de grandes empresas de tecnologia, principalmente no Google Business Educational Center e Microsoft. Sócio-proprietário da Streamer, empresa que alia tecnologia e educação. Experiência de 18 anos produzindo e criando objetos de aprendizagem, cursos a distância, design educacional, interfaces para sistemas de aprendizagem. Gestor de equipe para projetos educacionais, no Ensino Básico, Médio e Ensino Superior. Nesse período de trabalho gerenciou equipes e desenvolveu as habilidades de liderança e gestão. Acredita na integração e aplicação prática dos conhecimentos para a realização de projetos inovadores, sólidos e sustentáveis a longo prazo. Um dos grandes sonhos realizados foi o lançamento do curso gratuito Mande Bem no ENEM que atingiu mais de 500 mil estudantes em todo o Brasil contribuindo para a Educação Brasileira.

Participe da nossa comunidade no Whatsapp sobre Educação e Tecnologia

0 comentários

Enviar um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Posts Relacionados

IA na Educação

O salto para uma nova era de inteligência artificial de máquina traz riscos e desafios, mas também muitas promessas No romance de ficção científica de Neal Stephenson, The Diamond Age (A Era do Diamante), de 1995, os leitores conhecem Nell, uma jovem que recebe um...

As 10 melhores ferramentas de IA para estudantes

A Inteligência Artificial (IA) tem se tornado cada vez mais predominante em vários setores, e a educação não é exceção. Com o rápido avanço da tecnologia, graças a empresas como a Open AI, as ferramentas de IA surgiram como recursos valiosos para os estudantes que...

Seis perguntas que ditarão o futuro da IA generativa

A IA generativa tomou o mundo de assalto em 2023. Seu futuro - e o nosso - será moldado pelo que fizermos a seguir. Foi uma pessoa desconhecida que me mostrou pela primeira vez o quão grande seria a mudança de vibração deste ano. Enquanto esperávamos juntas por um...

IA e o crescimento da mediocridade

Como a maioria das pessoas, gosto de me considerar um indivíduo, mas há uma semana entrei em um estacionamento e encontrei cinco carros idênticos ao meu em termos de marca, modelo, ano e cor. Fiquei feliz por ter me lembrado do número da minha placa e que meu chaveiro...

As imagens parecem fotos premiadas. São falsificações de IA.

Imagens geradas artificialmente de eventos noticiosos do mundo real proliferam em sites de imagens, confundindo a verdade e ficção Uma jovem israelense, ferida, agarrada aos braços de um soldado angustiado. Um menino e uma menina ucranianos, de mãos dadas, sozinhos...

Tag Cloud

Posts Relacionados

IA na Educação

IA na Educação

O salto para uma nova era de inteligência artificial de máquina traz riscos e desafios, mas também muitas promessas No...

Receba a nossa newsletter

Fique por dentro e seja avisado dos novos conteúdos.

Publicações mais recentes