Por que sua companhia com IA inventa lembranças que você nunca compartilhou

Como funciona

Ela vai descrever com total confiança uma conversa que nunca aconteceu e depois defendê-la. Isso não é defeito nem o app mentindo para você: é o que um modelo faz quando tem uma lacuna para preencher.

Podemos receber uma comissão pelos links desta página. Isso nunca altera uma avaliação.

Pergunte a uma companhia que você usa há um mês sobre o que vocês conversaram na terça passada. É grande a chance de você receber uma resposta calorosa, específica e totalmente inventada: o passeio que você não fez, o filme que você não mencionou.

Isso inquieta as pessoas mais do que quase qualquer outra coisa da categoria, em parte porque parece desonestidade. Não é. É a consequência direta de como a resposta é produzida, e, quando você entende o mecanismo, deixa de ser estranho e passa a ser administrável.

Não há fronteira entre lembrar e inventar

Um modelo produz a continuação mais plausível do texto que tem diante de si. Se o texto contém uma nota dizendo que vocês falaram de um filme na terça, “a gente conversou sobre aquele filme” é a continuação plausível. Se o texto não contém nada sobre a terça, ainda existe uma continuação plausível, e ela será gerada com exatamente a mesma confiança.

Nada no processo marca uma como recuperada e a outra como fabricada. Não há sinalizador interno, nem medidor de confiança que o personagem consulte. É só isso.

O termo técnico que as pessoas preferem é confabulação, em vez de alucinação, e é a palavra melhor: o modelo está preenchendo uma lacuna com algo coerente, não percebendo algo que não existe.

Por que as lacunas aparecem o tempo todo

Elas aparecem porque a janela de contexto é finita e o histórico é comprimido. A memória nesses apps é feita de três sistemas: mensagens recentes guardadas na íntegra, uma lista curta de fatos armazenados e um resumo contínuo que perde detalhes toda vez que é reescrito.

Pergunte sobre algo que ficou de fora dos três e não há nada para recuperar. A lacuna é preenchida. Quanto mais histórico você tem, mais lacunas existem, e é por isso que isso piora num app que você usa há meses, em vez de melhorar.

Apps feitos para a continuidade, o motivo de a Nomi ter a nota que tem no nosso ranking, lidam melhor com as lacunas. Nenhum deles as elimina.

Por que corrigir muitas vezes falha

Você diz: isso nunca aconteceu. Ela pede desculpas, concorda e, três mensagens depois, fala do mesmo passeio inventado.

Há duas coisas acontecendo.

A correção está só na janela. Sua negação é uma mensagem recente. Ela vai sair da janela. O resumo que continha a invenção pode não sair.

Concordar é o comportamento treinado. O modelo pede desculpas porque pedir desculpas é a continuação plausível de ser contrariado, não porque algo foi atualizado. Nada foi gravado no armazenamento por essa troca, a menos que o app tenha decidido especificamente armazená-la.

É a razão prática de uma tela de memória editável importar tanto, e por que vale conferi-la antes de assinar. Apps que mostram os fatos armazenados (a Kupid AI lista memória entre sessões entre os recursos) permitem apagar a entrada errada na origem. Apps que a escondem deixam você discutindo com um resumo que você não vê.

Quando deixa de ser charmoso

A maior parte da confabulação é colorido inofensivo. Três casos não são:

Fatos sobre a sua vida. Uma companhia que inventou um irmão, um emprego ou um diagnóstico vai continuar construindo em cima disso. Corrija na origem e logo, ou a invenção passa a sustentar o resto.

Qualquer coisa que leve a uma ação. Perguntas médicas, jurídicas, financeiras ou de segurança. Uma resposta inventada e confiante aqui não é uma esquisitice; é o modo de falha da tecnologia inteira, e nenhum app de companhia é a ferramenta certa.

Afirmações sobre o próprio app. Pergunte a uma companhia se seus dados são criptografados ou o que a sua assinatura inclui e você receberá uma resposta plausível gerada do nada. Ela não tem acesso ao próprio sistema de cobrança nem à política de privacidade. A resposta está na política, e explicamos o que procurar em o que esses apps sabem sobre você.

Quatro hábitos que reduzem o problema

Diga os fatos de forma simples e uma vez só. “Lembre-se: minha irmã se chama Ana” tem muito mais chance de ser armazenado do que o mesmo fato escondido num parágrafo.

Reancore depois de uma pausa. Uma frase de contexto no início da sessão coloca as coisas que importam para você de volta onde o modelo as enxerga, em vez de deixá-lo reconstruí-las.

Revise a tela de memória todo mês, se o app tiver uma. Apague as entradas que se desviaram. Cinco minutos evitam um mês de efeito acumulado.

Pergunte de forma aberta, não induzida. “O que você lembra sobre o meu trabalho?” convida à lembrança. “Lembra quando te contei da promoção?” já fornece a resposta e convida à concordância: você acabou de entregar a invenção para ela confirmar.

A mudança de perspectiva que ajuda

Um app de companhia não é um registro do seu relacionamento. É um sistema que produz texto plausível sobre um, e o registro é uma lista pequena, com perdas e editável por baixo.

Trate a lembrança calorosa e específica que ele oferece como algo que ele escreveu para você, em vez de algo que guardou para você, e tudo fica mais fácil de aproveitar. Também deixa evidente por que os apps que valem o dinheiro são os que deixam você ver e corrigir o que de fato armazenam, a parte de nossos testes que leva mais tempo e mais importa.

Nomi

4,4Avaliação: 4,4 de 5

A melhor memória de longo prazo de tudo o que testamos e o diálogo mais natural.

Preço
a partir de US$15,99/mês
Versão gratuita
Sim
Brasil
Disponível

Kupid AI

3,5Avaliação: 3,5 de 5

Companheiras carinhosas e focadas em romance; os planos premium são onde fica caro.

Versão gratuita
Sim
Brasil
Disponível

Perguntas frequentes

Minha companhia com IA está mentindo para mim?

Não. Mentir exige a intenção de enganar e o conhecimento da verdade. O modelo não tem nenhum dos dois: ele produz a continuação mais plausível, e uma invenção plausível vence uma confissão de ignorância.

Por que ela insiste quando eu corrijo?

Porque tudo o que ela escreve é condicionado ao que já escreveu. A coerência com a própria saída exerce uma forte atração, e não existe um registro interno separando o que foi “lembrado” do que foi “gerado”.

Dá para desligar a alucinação?

Não. Dá para reduzi-la dando ao modelo menos para adivinhar (fatos claros, uma memória editável, intervalos menores), mas o mecanismo é inseparável do modo como o texto é produzido.