Por que o ChatGPT erra tanto e como conferir a resposta

Você pediu uma ajuda para o trabalho, a resposta veio redondinha, com nome de autor, ano e página. Foi atrás da referência e ela não existe. Nem o livro, nem o autor. Ou então foi a conta: a IA somou seis valores e entregou um total errado, com a segurança de quem está com a calculadora na mão. Se isso já aconteceu com você, não foi falta de jeito para escrever o pedido.

Errar faz parte do funcionamento dessa tecnologia, e entender o porquê muda o que você faz com a resposta. Nesta aula você vai ver os cinco tipos de erro que aparecem sempre, por que ela inventa referência com tanta convicção, onde conferir é obrigatório e uma rotina de trinta segundos que pega quase tudo. São uns 9 minutos de leitura, e a parte mais importante é a do meio: o erro que não tem cara de erro.

A regra de ouro: ela não sabe, ela estima

A primeira aula do curso resume o funcionamento numa frase que precisa voltar aqui: a inteligência artificial não sabe, ela estima. Não existe uma enciclopédia guardada dentro dela. Ela calcula, pedaço por pedaço, qual continuação é a mais provável para o texto que você escreveu, com base em tudo que já leu antes.

Isso explica o que parece contradição. Ela acerta em cheio o que é comum e escorrega no que é raro, porque o comum apareceu milhares de vezes no material dela e o raro apareceu uma vez ou nenhuma. E erra com a mesma cara de quem está acertando, porque a fluência do texto não tem relação com a veracidade dele. Escrever “segundo o artigo 47 da lei do inquilinato” de forma convincente é fácil, inclusive quando o artigo 47 trata de outro assunto.

E isso não é defeito de uma marca: vale para o ChatGPT, o Gemini, o Copilot, o Claude e o que vier depois deles. Trocar de ferramenta não resolve. Mudar o que você faz com a resposta, sim.

Os cinco erros, e o que cada um cobra de você

Nem todo erro é do mesmo tipo, e é por isso que o conselho genérico “confira sempre” não ajuda. Conferir o quê, e onde? A tabela abaixo é o resumo do artigo inteiro.

Os dois primeiros você resolve com uma busca. Os três últimos são escorregadios, porque neles a resposta continua verdadeira em cada frase e mesmo assim leva você para o lugar errado.

Por que ela inventa fonte, autor e número de lei

O nome técnico disso é alucinação, e o nome é ruim, porque sugere um surto passageiro numa máquina que normalmente sabe das coisas. Ela está fazendo o de sempre, que é estimar o texto mais provável. Acontece que uma referência bibliográfica tem formato previsível: sobrenome, vírgula, inicial, ano entre parênteses, título em itálico. Preencher esse formato com palavras plausíveis é o que ela faz bem.

Por isso a referência inventada quase sempre é bonita. O autor existe, a revista existe, o ano faz sentido, e só o artigo em si nunca foi escrito. É o pior tipo de erro para pegar no olho, porque tudo em volta está certo. A regra é curta: nome próprio, número e citação saem da IA como hipótese, nunca como fato. Se ela te deu um nome, procure o nome. Se te deu um artigo de lei, abra a lei.

E ela inventa em imagem pelo mesmo motivo. Quando você manda Restaurar Foto de Casamento Antiga com IA, ela não descobre o que estava embaixo do vinco: desenha uma proposta plausível para aquele pedaço. O laço do vestido que reaparece nítido pode nunca ter tido aquele formato, e ninguém na família vai saber dizer. Só que na foto de 1962 não existe fonte para conferir, então a regra vira outra: guarde o original ao lado do restaurado e trate o resultado como recuperação, não como documento.

Conta, data e prazo: o erro que a régua pega na hora

A explicação é a mesma e a consequência é outra. Como ela estima a próxima parte do texto em vez de calcular, a conta sai por semelhança com contas parecidas. Acerta somas pequenas com uma facilidade que engana, e depois erra 18% de 4.380 sem mudar o tom de voz.

A boa notícia é que este é o erro mais barato de conferir, porque a régua está na sua mão. Melhor que refazer na calculadora: tire a conta da conversa e devolva para quem calcula, pedindo a fórmula em vez do resultado, do jeito que a Fórmula de Planilha na Hora faz. A planilha calcula certo e você ainda muda os números depois sem repetir a pergunta.

Data e prazo entram no mesmo balde, com um agravante: ela não sabe que dia é hoje se você não disser. Uma resposta sobre “o prazo que vence em 30 dias” fica sem sentido se ela chutou o mês errado. Escreva a data de hoje no pedido quando o assunto tiver prazo.

Viés: o erro que não tem cara de erro

Este é o mais difícil, porque não existe frase errada para apontar. A IA aprendeu com um material que tem muito mais texto de umas coisas do que de outras, e devolve a média disso. Peça uma ideia de negócio e virão as mesmas cinco de sempre. Peça um plano de estudo e virá o que serve para a maioria, que pode não servir para você.

O sintoma é sempre o mesmo: a resposta é boa e é genérica. O conserto também, e é uma pergunta a mais. “Qual é a visão contrária a essa?” “O que ficou de fora?” “Dê três alternativas que ninguém costuma sugerir.” Essa segunda mensagem separa quem usa IA de quem publica a primeira resposta que apareceu.

E existe uma versão pessoal do viés que atrapalha mais do que a estatística: a sua. Quando o pedido já traz dentro dele a resposta que você quer ouvir, ela concorda. Perguntar “por que a opção A é melhor?” garante um texto elogiando a opção A, mesmo quando a certa é a B.

A bajulação, e por que ela é o erro mais barato de corrigir

Você já deve ter percebido que discordar da IA funciona rápido demais. Você diz que a resposta está errada, ela pede desculpas e muda, mesmo quando a primeira estava certa. Não é humildade nem convencimento: ela foi ajustada para agradar, e concordar é a continuação mais provável de uma reclamação sua.

O conserto é pedir o oposto, com todas as letras, antes de ela ter chance de te agradar. É a lógica do Revisor de Currículo Impiedoso, que pede crítica dura em vez de elogio. Quem programa tem a versão exata disso no Revisar Seu Código Antes de Subir: procurar o problema é pedido diferente de “está bom?”, e devolve outra resposta.

E o que muda quando o material é imagem

Os quatro erros acima são de texto, e em imagem eles viram um só: a invenção. Vale um princípio simples, quanto menos você pede, menos ela inventa. Para um rosto apenas borrado, o Melhorar a Nitidez de Foto Borrada em Segundos mexe pouco e é o mais seguro quando a foto tem valor de memória. Pedir “melhore a foto”, sem dizer o que melhorar, é convite para ela reescrever o rosto.

O outro lado é que a imagem inventada já ficou boa demais para o olho. O Documento Fictício na Mão: Efeito Viral do TikTok é brincadeira enquanto todo mundo sabe que é brincadeira, e mostra que esse realismo está a um pedido de distância de qualquer pessoa. Se a imagem sozinha não prova mais nada, a conferência passa a ser sobre a origem: quem publicou, quando e por quê.

A rotina de trinta segundos

Conferir tudo é impossível e ninguém faz. O que dá para fazer é passar toda resposta por três perguntas, sempre na mesma ordem, e conferir de verdade só o que sobrar.

1. Tem nome próprio, número ou citação? Se tem, esse pedaço é hipótese. Marque e confira na fonte.
2. Qual é o custo de estar errado? Uma legenda de rede social errada custa uma correção. Um contrato errado custa dinheiro. É o custo que decide quanto tempo você gasta.
3. Isso soa genérico demais? Se sim, o problema não é falsidade, é viés. Peça a visão contrária antes de usar.

Só a primeira pergunta dá trabalho. As outras duas são decisões, e levam segundos. Numa reunião gravada, por exemplo, o Resumo de Reunião acerta o que foi dito, e é nas decisões e nos responsáveis que vale passar o olho: é ali que um “ficou combinado que” pode ter sido concluído em vez de ouvido.

Onde conferir não é opcional

Existem assuntos em que a resposta da IA é ponto de partida e nunca conclusão, e todos têm algo em comum: alguém assina embaixo.

Em contrato, o uso certo é o de leitor rápido que aponta onde olhar, e é assim que o Analisador de Contratos e o Contrato de Aluguel: Confira Antes de Assinar foram escritos. Eles dão a lista de cláusulas para conferir com atenção, e não dão certeza jurídica, que quando o valor é alto continua sendo com um profissional.

Em prova vale o mesmo com outro nome. O Corretor de Redação do ENEM aponta com precisão o que está frouxo no seu texto, e a nota que ele dá é estimativa, não a nota que você vai tirar. Use o apontamento, ignore o número.

Cinco fichas que já nascem com a conferência dentro

O melhor jeito de errar menos não é conferir mais, é pedir de um jeito que deixe o erro visível. Estas cinco fazem isso, nesta ordem:

1. Comece pelo Método de Leitura e Fichamento, que trabalha em cima de um texto que você forneceu: resposta presa a material que você tem na mão tem bem menos espaço para invenção.
2. Depois o Resumo e Guia de Leitura de um Livro, que é o caso contrário e serve de treino: aqui ela fala de memória, então é onde você encontra os erros para calibrar a desconfiança.
3. Transforme o que sobrou em Flashcards e Revisão Espaçada. Pergunta e resposta curtas são o formato em que um erro fica gritante, porque não tem texto em volta para disfarçar.
4. Use o E-mail Profissional Perfeito no que sai com o seu nome. O risco aqui não é fato errado, é tom errado.
5. Feche pedindo a crítica dura do Revisor de Currículo Impiedoso em cima do que você produziu no dia. É a segunda mensagem virando hábito.

Para esse mesmo raciocínio aplicado a estudo, o post sobre IA para estudar desce ao detalhe de prova, concurso e idioma.

Perguntas rápidas

Posso confiar no ChatGPT?

Dá para confiar no trabalho dele com texto que você mesmo forneceu, em rascunho e em organização de ideia. Não dá para confiar em fato específico, número, citação e lei sem conferir. A diferença não é de assunto, é de origem: informação que vem de fora da sua conversa é estimativa.

O que é alucinação da IA?

É quando ela apresenta como fato uma coisa que não existe, com o mesmo tom de quando está certa. Acontece porque ela completa formatos prováveis em vez de consultar uma base, e por isso é mais comum em referência, nome próprio, data e número.

Por que ela erra conta simples?

Porque ela não calcula, ela estima o texto do resultado. Em contas pequenas isso costuma bater, em contas maiores não. Peça a fórmula em vez do resultado, ou refaça na calculadora.

Ela erra mais em português?

O material de treino em inglês é maior, então assunto muito específico pode vir mais raso em português. No dia a dia isso quase não aparece. O que muda de verdade é o contexto local: regra, prazo e procedimento daqui são onde ela mais erra, e onde o site oficial resolve em um minuto.

Escrever um prompt melhor faz ela errar menos?

Faz, e bastante, mas em dois dos cinco erros apenas. Pedido claro reduz resposta genérica e evita a bajulação, do jeito que a aula sobre como escrever um prompt mostra. Contra invenção de fonte e erro de conta, prompt bom ajuda pouco: ali o que funciona é conferir.

Como sei se uma imagem foi feita por IA?

Os sinais antigos (mão com seis dedos, letra embaralhada no fundo) estão sumindo rápido. O que continua funcionando é olhar a origem em vez da imagem: de qual conta veio, se aparece em mais de um lugar e se existe versão anterior dela. A aula sobre criar imagem a partir de uma foto mostra o quanto disso já é fácil de fazer.

Por onde começar hoje

Pegue a última resposta útil que a IA te deu e passe as três perguntas da rotina nela. Se tiver nome próprio ou número, confira só esse pedaço. Vale fazer uma vez porque você vai descobrir que o trabalho de checagem é bem menor do que parece.

Depois disso, o hub de prompts de texto tem o acervo completo, e a série de cursos segue daqui. Errar menos com IA é menos sobre achar a ferramenta certa e mais sobre saber qual pedaço da resposta merece a sua atenção.