O recente erro do chatbot da Cursor AI uma ferramenta que, como tantas outras, promete criar agentes capazes de programar melhor do que qualquer desenvolvedor humano, chamou a atenção ao inventar uma política falsa sobre login em múltiplos dispositivos. A confusão gerada levou a uma onda de cancelamentos de assinaturas. O caso expõe os riscos de confiar em chatbots de atendimento ao cliente sem supervisão humana, especialmente quando há alucinações (ou melhor um erro) de IA, que comprometem a confiança do consumidor. A falha acende um alerta sobre o uso da inteligência artificial generativa não apenas no suporte automatizado, ressaltando a importância de uma IA transparente, respostas confiáveis e uma experiência do usuário segura.
Na segunda-feira, um desenvolvedor que usa o popular editor de código Cursor , baseado em IA, notou algo estranho: ao alternar entre as máquinas, o usuário se desconectava instantaneamente, quebrando um fluxo de trabalho comum para programadores que usam vários dispositivos. Quando o usuário entrou em contato com o suporte do Cursor, um agente chamado “Sam” disse que esse era o comportamento esperado de acordo com uma nova política. Mas essa política não existia, e Sam era um bot. O modelo de IA criou a política, provocando uma onda de reclamações e ameaças de cancelamento documentadas no Hacker News e no Reddit.
Isso marca o mais recente exemplo de confabulações de IA (também chamadas de “alucinações”, eu prefiro chamar de erro mesmo) que causam possíveis danos aos negócios. As confabulações são um tipo de resposta de “preenchimento criativo de lacunas” (que de criativo não tem nada) que os modelos de IA inventam informações plausíveis, mas falsas. Em vez de admitir a incerteza, os modelos de IA geralmente priorizam a criação (longe de ser criação) de respostas plausíveis e confiantes, mesmo quando isso significa fabricar informações do zero.
Para as empresas que implantam esses sistemas em funções voltadas para o cliente sem supervisão humana, as consequências podem ser imediatas e onerosas: clientes frustrados, confiança prejudicada e, no caso da Cursor, assinaturas potencialmente canceladas.
Como se desenrolou
O incidente começou quando um usuário do Reddit chamado BrokenToasterOven notou que, ao alternar entre um desktop, um laptop e uma caixa de desenvolvimento remoto, as sessões do Cursor eram encerradas inesperadamente.
“Fazer login no Cursor em uma máquina invalida imediatamente a sessão em qualquer outra máquina”, escreveu BrokenToasterOven em uma mensagem que foi posteriormente excluída pelos moderadores do r/cursor. “Essa é uma regressão significativa de UX.”
Confuso e frustrado, o usuário escreveu um e-mail para o suporte do Cursor e rapidamente recebeu uma resposta de Sam: “O Cursor foi projetado para funcionar com um dispositivo por assinatura como um recurso de segurança essencial”, dizia a resposta do e-mail. A resposta parecia definitiva e oficial, e o usuário não suspeitou que Sam não fosse humano.
Após a publicação inicial no Reddit, os usuários consideraram a publicação como uma confirmação oficial de uma mudança real na política – uma mudança que quebrou hábitos essenciais à rotina diária de muitos programadores. “Fluxos de trabalho com vários dispositivos são uma aposta para os desenvolvedores”, escreveu um usuário.
Pouco tempo depois, vários usuários anunciaram publicamente o cancelamento de suas assinaturas no Reddit, citando a política inexistente como motivo. “Eu literalmente acabei de cancelar minha assinatura”, escreveu o autor original do Reddit, acrescentando que seu local de trabalho estava agora ‘eliminando-a completamente’. Outros se juntaram a você: “Sim, eu também estou cancelando, isso é uma estupidez”. Logo depois, os moderadores bloquearam o tópico do Reddit e removeram a publicação original.
“Não temos essa política”, escreveu um representante da Cursor em uma resposta do Reddit três horas depois. “É claro que você pode usar o Cursor em vários computadores. Infelizmente, essa é uma resposta incorreta de um bot de suporte de IA da linha de frente.”
Interlocução de IA como um risco comercial
O desastre do Cursor lembra um episódio semelhante ocorrido em fevereiro de 2024, quando a Air Canada foi obrigada a honrar uma política de reembolso inventada por seu próprio chatbot. Naquele incidente, Jake Moffatt entrou em contato com o suporte da Air Canada após o falecimento de sua avó, e o agente de IA da companhia aérea disse-lhe incorretamente que ele poderia reservar um voo com preço normal e solicitar taxas de luto retroativamente. Mais tarde, quando a Air Canada negou seu pedido de reembolso, a empresa argumentou que “o chatbot é uma entidade legal separada que é responsável por suas próprias ações”. Um tribunal canadense rejeitou essa defesa, determinando que as empresas são responsáveis pelas informações fornecidas por suas ferramentas de IA.
Em vez de contestar a responsabilidade, como fez a Air Canada, a Cursor reconheceu o erro e tomou medidas para corrigir a situação. Mais tarde, o cofundador da Cursor, Michael Truell, pediu desculpas no Hacker News pela confusão sobre a política inexistente, explicando que o usuário havia sido reembolsado e que o problema era resultado de uma alteração no back-end destinada a melhorar a segurança da sessão que, sem querer, criou problemas de invalidação de sessão para alguns usuários.
“Todas as respostas de IA usadas para suporte por e-mail agora estão claramente identificadas como tal”, acrescentou. “Usamos respostas assistidas por IA como o primeiro filtro para suporte por e-mail.”
Ainda assim, o incidente levantou questões persistentes sobre a divulgação entre os usuários, já que muitas pessoas que interagiram com Sam aparentemente acreditavam que ele era humano. “LLMs que fingem ser pessoas (você deu o nome de Sam!) e não são rotulados como tal têm a intenção clara de enganar”, escreveu um usuário no Hacker News.
Embora a Cursor tenha corrigido o bug técnico, o episódio mostra os riscos de implementar modelos de IA em funções voltadas para o cliente sem as devidas proteções e transparência. Para uma empresa que vende ferramentas de produtividade de IA para desenvolvedores, ter seu próprio sistema de suporte de IA inventando uma política que alienou seus principais usuários representa uma ferida autoinfligida particularmente constrangedora.
“Há uma certa ironia no fato de as pessoas se esforçarem muito para dizer que as alucinações não são mais um grande problema”, escreveu um usuário no Hacker News, ‘e então uma empresa que se beneficiaria dessa narrativa é diretamente prejudicada por ela’.
Erros que provavelmente os Humanos não cometeriam
Não é a primeira vez que a inteligência artificial falha e, ao que tudo indica, também não será a última, ao contrário do ser humano que precisa errar para aprender a IA não aprende, ela segue um parâmetro. Cada avanço tecnológico traz consigo uma nova promessa de eficiência e inovação, mas quando esses sistemas operam sem o devido controle, os erros podem ser desastrosos. De prejuízos financeiros a danos irreparáveis à reputação de marcas, e pessoas, a IA já mostrou que, embora poderosa, está longe de ser infalível. Mais alarmante ainda é quando esses deslizes são atribuídos a uma suposta “inteligência” comparável à humana. A verdade é que muitos desses erros, se houvesse um ser humano no comando, talvez não aconteceriam. A seguir, listamos 10 casos emblemáticos em que a IA errou — e empresas pagaram caro por isso.
McDonald’s e IBM – Drive-thru automatizado falha
Em uma tentativa de modernizar seus serviços, o McDonald’s implementou um sistema de IA para atendimento em drive-thrus nos EUA, em parceria com a IBM. No entanto, o sistema cometeu erros bizarros nos pedidos, como adicionar bacon em sorvetes e confundir sotaques, levando a reclamações e à suspensão do projeto.
End of Lease Cleaning Melbourne – IA gera prejuízo financeiro
A empresa australiana de limpeza automatizou o envio de orçamentos por e-mail com uma ferramenta de IA generativa. Porém, a IA passou a incluir serviços não solicitados e precificações erradas, resultando em um prejuízo de mais de R$6 mil. O erro destacou os riscos de confiar em IA sem supervisão humana.
Amazon – Sistema de recrutamento com viés de gênero
A Amazon desenvolveu um sistema de IA para triagem de currículos que, inadvertidamente, discriminava candidatas do sexo feminino, favorecendo homens para posições técnicas. O projeto foi abandonado após a identificação do viés, evidenciando os perigos de algoritmos treinados com dados históricos tendenciosos.
FaceApp da Meta – Filtro de embelezamento acusado de racismo
O aplicativo FaceApp foi criticado por um filtro que clareava a pele dos usuários ao aplicar o efeito “embelezar”, sugerindo que tons de pele mais claros seriam mais atraentes.
Rekognition da Amazon confunde atletas com criminosos
Em testes conduzidos pela ACLU, a ferramenta de reconhecimento facial da Amazon identificou erroneamente 27 atletas profissionais como criminosos, levantando preocupações sobre a precisão e os vieses desses sistemas.
Air Canada – Chatbot fornece política falsa e empresa é processada
Jake Moffatt, ao reservar um voo para o funeral da avó, confiou em um chatbot da Air Canada que prometeu um reembolso parcial sob uma suposta política de luto. Após a viagem, descobriu que a política não existia daquela forma. A companhia alegou que o chatbot era uma “entidade separada”, mas o tribunal rejeitou essa defesa. A Air Canada foi condenada a pagar mais de $600 por não oferecer atendimento adequado.
O erro do chatbot da Cursor ao inventar uma política inexistente, assim como os outros exemplos listados, expõe de forma contundente os riscos do uso indiscriminado da inteligência artificial em funções sensíveis, não apenas como o atendimento ao cliente.
Embora a tecnologia avance rapidamente, sempre teremos questões éticas, supervisão constante e bom senso — atributos essencialmente humanos. Mais do que uma falha técnica, esse caso representa um desafio urgente: como equilibrar inovação com responsabilidade?
Enquanto essa resposta não for integrada às estratégias das empresas e da sociedade, novos erros, possivelmente ainda mais graves continuarão surgindo.
Adaptação: Fernando Giannini
Autor: Benj Edwards
Fonte: Arstechina
Artigo Original: https://bit.ly/3RZ8rvM
