Quando a tecnologia preditiva se torna antiética?

Tempo de leitura: 6 minutes

Loading

O aprendizado de máquina pode determinar muito sobre você, incluindo algumas de suas informações mais confidenciais. Por exemplo, pode prever sua orientação sexual, se você está grávida, se vai largar o emprego e se é provável que morra logo. Os pesquisadores podem prever a raça com base em curtidas no Facebook , e as autoridades chinesas usam o reconhecimento facial para identificar e rastrear os uigures , um grupo étnico minoritário.

Agora, as máquinas realmente “sabem” essas coisas sobre você ou estão apenas fazendo suposições informadas? E, se eles estão fazendo uma inferência sobre você, assim como qualquer ser humano que você conhece pode fazer, há realmente algo de errado em serem tão inteligente?

Vejamos alguns casos:
Nos Estados Unidos, a história do Target predizendo quem está grávida é provavelmente o exemplo mais famoso de um algoritmo que faz inferências confidenciais sobre as pessoas. Em 2012, uma história do New York Times sobre como as empresas podem alavancar seus dados incluiu uma piada sobre um pai descobrindo que sua filha adolescente estava grávida porque a Target lhe enviou cupons para itens de bebê em um aparente ato de premonição.

Embora a história sobre o adolescente possa ser duvidosa – mesmo se tivesse acontecido, provavelmente teria sido coincidência, e não análise preditiva responsável pelos cupons, de acordo com o processo da Target, detalhado pela história do The New York Times – há uma realidade e um risco para a privacidade à luz deste projeto preditivo. Afinal, se o departamento de marketing de uma empresa prevê quem está grávida, eles verificaram dados clinicamente sensíveis e não voluntários que apenas a equipe de saúde é normalmente treinada para manusear e proteger adequadamente.

O acesso mal gerenciado a esse tipo de informação pode ter enormes implicações na vida de alguém. Como um cidadão preocupado postou online , imagine que o “trabalho de uma mulher grávida” está precário, e [sua] deficiência estatal ainda não foi configurada corretamente … a divulgação pode arriscar o custo de varejo de um parto (aproximadamente US $ 20.000), pagamentos por invalidez durante tempo livre (aproximadamente $ 10.000 a $ 50.000) e até mesmo seu trabalho. ”

Este não é um caso de manuseio incorreto, vazamento ou roubo de dados. Em vez disso, é a geração de novos dados – a descoberta indireta de verdades não voluntárias sobre as pessoas. As organizações podem prever esses insights poderosos a partir de dados inócuos existentes, como se os criassem do nada.

Então, ironicamente, estamos enfrentando uma desvantagem quando os modelos preditivos têm um desempenho muito bom? Sabemos que há um custo quando os modelos prevêem incorretamente, mas também há um custo quando eles prevêem corretamente?

Mesmo que o modelo não seja altamente preciso, por si só, ele ainda pode ser confiável em suas previsões para um determinado grupo de gestantes. Digamos que 2% das clientes do sexo feminino entre 18 e 40 anos estejam grávidas. Se o modelo identificar as clientes, digamos, três vezes mais probabilidade do que a média de estarem grávidas, apenas 6% das identificadas estarão realmente grávidas. Isso é um levantamento de três. Mas se você olhar para um grupo muito menor e focado, digamos que os 0,1% com maior probabilidade de estarem grávidas, você pode ter um aumento muito maior de, digamos, 46, o que tornaria as mulheres nesse grupo 92% de probabilidade de engravidar.

Nesse caso, o sistema seria capaz de revelar essas mulheres como muito prováveis ​​de estarem grávidas.
O mesmo conceito se aplica ao prever orientação sexual, raça, estado de saúde, localização e suas intenções de deixar o emprego. Mesmo que um modelo não seja altamente preciso em geral, ele ainda pode revelar com alta confiança – para um grupo limitado – coisas como orientação sexual, raça ou etnia. Isso ocorre porque, normalmente, há uma pequena porção da população para a qual é mais fácil prever. Agora, ele só pode ser capaz de prever com segurança para um grupo relativamente pequeno, mas mesmo apenas 0,1% do topo de uma população de um milhão significaria que 1.000 indivíduos foram identificados com segurança.

É fácil pensar nos motivos pelos quais as pessoas não gostariam que alguém soubesse dessas coisas. Em 2013, a Hewlett-Packard estava marcando previsivelmente seus mais de 300.000 funcionários com a probabilidade de eles pedirem demissão – a HP chamou isso de pontuação de risco de voo e foi entregue aos gerentes. Se você está planejando ir embora, seu chefe provavelmente será a última pessoa que você gostaria de saber antes do anuncio oficial.

Outro exemplo, as tecnologias de reconhecimento facial podem servir como uma forma de rastrear a localização, diminuindo a liberdade fundamental de se mover sem divulgação, uma vez que, por exemplo, câmeras de segurança posicionadas publicamente podem identificar pessoas em horários e lugares específicos. Eu certamente não condeno totalmente o reconhecimento facial, mas sei que os CEOs da Microsoft e do Google o criticaram por esse motivo.

Em outro exemplo, uma empresa de consultoria estava modelando a perda de funcionários de um departamento de RH e percebeu que eles poderiam realmente modelar as mortes de funcionários, já que essa é uma maneira de você perder um funcionário. O pessoal de RH respondeu com: “Não nos mostre!” Eles não queriam a responsabilidade de saber quais funcionários corriam o risco de morrer em breve.

A pesquisa mostrou que os modelos preditivos também podem discernir outros atributos pessoais – como raça e etnia – com base, por exemplo, em curtidas no Facebook. Uma preocupação aqui é a maneira como os profissionais de marketing podem fazer uso desses tipos de previsões. Como disse Latanya Sweeney , professora de governança e tecnologia de Harvard : “No final das contas, a publicidade online é uma questão de discriminação. Você não quer que mães com recém-nascidos recebam anúncios de varas de pescar e não quer que pescadores recebam anúncios de fraldas.

A questão é quando essa discriminação ultrapassa a linha de direcionar clientes para impactar negativamente um grupo inteiro de pessoas? ” Na verdade, um estudo por Sweeney mostrou que as pesquisas do Google por nomes “sombrios” tinham 25% mais probabilidade de mostrar um anúncio sugerindo que a pessoa tinha um registro de prisão, mesmo que o anunciante não tivesse ninguém com esse nome em seu banco de dados de registros de prisão.

“Se você fizer uma tecnologia que pode classificar as pessoas por uma etnia, alguém a usará para reprimir essa etnia”, diz Clare Garvie , associada sênior do Centro de Privacidade e Tecnologia da Georgetown Law.

O que nos leva à China, onde o governo aplica o reconhecimento facial para identificar e rastrear membros dos uigures, um grupo étnico sistematicamente oprimido pelo governo. Este é o primeiro caso conhecido de um governo usando aprendizado de máquina para traçar um perfil por etnia. Essa sinalização de indivíduos por grupo étnico é projetada especificamente para ser usada como um fator em decisões discriminatórias – isto é, decisões baseadas, pelo menos em parte, em uma classe protegida.

Nesse caso, os membros desse grupo, uma vez identificados, serão tratados ou considerados de forma diferente com base em sua etnia. Uma start-up chinesa avaliada em mais de US $ 1 bilhão disse que seu software pode reconhecer “grupos de pessoas sensíveis”. Seu site dizia: “Se originalmente um uigures morasse em uma vizinhança, e em 20 dias seis uigures aparecerem, ele imediatamente enviaria alarmes” para as autoridades.

Implementar o tratamento diferenciado de um grupo ético baseado em tecnologia preditiva eleva os riscos a um nível totalmente novo. Jonathan Frankle, pesquisador de aprendizado profundo do MIT, alerta que esse potencial se estende além da China . “Não acho que seja exagero tratar isso como uma ameaça existencial à democracia. Uma vez que um país adota um modelo neste modo fortemente autoritário, ele está usando dados para fazer cumprir o pensamento e as regras de uma forma muito mais arraigada … Nessa medida, esta é uma crise urgente na qual estamos lentamente nos transformando em um sonâmbulo ”.

É um verdadeiro desafio definir quais objetivos preditivos perseguidos com o aprendizado de máquina são antiéticos, quanto mais quais deveriam ser regulamentados, se houver. Mas, no mínimo, é importante ficar atento para quando o aprendizado de máquina servir para fortalecer uma prática antiética preexistente e também para quando gerar dados que devem ser tratados com cuidado.

Fonte: Harvard Business
Artigo original: https://bityli.com/ACHGV
Autor: Eric Siegel , Ph.D., é um consultor líder e ex-professor da Columbia University que torna o aprendizado de máquina compreensível e cativante. Ele é o fundador da série de conferências Predictive Analytics World e Deep Learning World , e é o instrutor da especialização Coursera Machine Learning for Everyone . Ele é um palestrante popular comissionado para mais de 100 palestras e editor executivo do The Machine Learning Times . Ele foi o autor do best-seller Predictive Analytics: O poder de prever quem vai clicar, comprar, mentir ou morrer.

Fernando Giannini

Pesquisador de tecnologia aplicada à educação, arquiteto de objetos virtuais de aprendizagem, fissurado em livros de grandes educadores e viciado em games de todos os tipos. Conhecimentos aprimorados em cursos de grandes empresas de tecnologia, principalmente no Google Business Educational Center e Microsoft. Sócio-proprietário da Streamer, empresa que alia tecnologia e educação. Experiência de 18 anos produzindo e criando objetos de aprendizagem, cursos a distância, design educacional, interfaces para sistemas de aprendizagem. Gestor de equipe para projetos educacionais, no Ensino Básico, Médio e Ensino Superior. Nesse período de trabalho gerenciou equipes e desenvolveu as habilidades de liderança e gestão. Acredita na integração e aplicação prática dos conhecimentos para a realização de projetos inovadores, sólidos e sustentáveis a longo prazo. Um dos grandes sonhos realizados foi o lançamento do curso gratuito Mande Bem no ENEM que atingiu mais de 500 mil estudantes em todo o Brasil contribuindo para a Educação Brasileira.

Participe da nossa comunidade no Whatsapp sobre Educação e Tecnologia

0 comentários

Enviar um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Posts Relacionados

Aprendendo com IA: espelhos sociais e intelectuais

Até recentemente, as interações humanas com máquinas antropomorfizadas (entidades não-humanas que são atribuídas características humanas) eram consideradas divertidas, mas não eram vistas como emocionalmente relevantes para a maioria das pessoas. Embora muitos se...

10 efeitos negativos do uso de celulares para as crianças

Crianças de todo o mundo (embora não todas) utilizam smartphones para diversas finalidades. Algumas passam horas conversando com amigos, enquanto outras se dedicam a jogar inúmeros jogos. A Internet é frequentemente considerada uma fonte de conhecimento para as...

Sistemas de tutoria inteligente

Adaptação da aprendizagem de acordo com o nível e ritmo do estudante Os sistemas de tutoria inteligente se baseiam na capacidade de adaptar a aprendizagem de acordo com o nível e o ritmo do estudante. Usando inteligência artificial e técnicas de aprendizado de...

Quanto custa manter a nuvem no céu para o meio ambiente?

À medida que a humanidade aumenta sua capacidade de intervir na natureza com o objetivo de satisfazer as necessidades e desejos crescentes, aparecem as tensões e conflitos quanto ao uso do espaço e dos recursos naturais. Quanto custa manter a nuvem no céu para o meio...

Competências essenciais na era digital

A proliferação da IA em muitos aspectos da vida humana - desde o lazer pessoal até o trabalho profissional, passando pelas decisões políticas globais - impõe uma questão complexa sobre como preparar as pessoas para um mundo interconectado e em rápida mudança, que está...

Educação digital para prevenir abusos sexuais online

Depois de participar de uma aula incrível com a professora Beatriz Lorencini e o Felipe, fui tirado da bolha onde costumo estar a maior parte do meu tempo se não o tempo todo. Quando percebi eu estava em choque por "não saber ou escolher não saber" que existem...

Tag Cloud

Posts Relacionados

[dgbm_blog_module posts_number=”4″ related_posts=”on” show_categories=”off” show_pagination=”off” item_in_desktop=”2″ equal_height=”on” image_size=”mid” author_background_color=”#ffffff” disabled_on=”off|off|on” module_class=”PostRelacionado” _builder_version=”4.16″ _module_preset=”default” title_font=”Montserrat||||||||” title_text_color=”#737373″ title_font_size=”19px” title_line_height=”25px” meta_text_color=”#666″ meta_font_size=”13px” content_font_size=”13px” content_line_height=”30px” author_text_color=”#666666″ custom_css_content_container=”display:flex;||flex-wrap:wrap;” custom_css_image-container=”padding-top:70%;||overflow:hidden;” custom_css_image=”position:absolute;||top:0;||left:0;||bottom:0;||right:0;||object-fit: cover;||height:100%;||width:100%;” custom_css_title=”padding:20px;||margin-top:0;||order:2;” custom_css_content=”padding:0 20px 20px;||order:3;” custom_css_post-meta-middle=”order:1;||padding:20px;||border-bottom:1px solid #dcdcdc;||border-top:1px solid #dcdcdc;” border_width_all_post_item=”0px” border_width_all_content=”0px” box_shadow_style_container=”preset1″ box_shadow_blur_container=”5px” box_shadow_spread_container=”1px” box_shadow_color_container=”rgba(0,0,0,0.1)” global_colors_info=”{}”][/dgbm_blog_module]

Receba a nossa newsletter

Fique por dentro e seja avisado dos novos conteúdos.

Publicações mais recentes