Почему ChatGPT ошибается и как проверить ответ

Вы попросили помощи по работе, ответ пришёл гладкий и законченный, с фамилией автора, годом и страницей. Вы пошли искать эту ссылку, а её не существует. Ни книги, ни автора. Или дело было в расчёте: ИИ сложил шесть сумм и выдал неверный итог, с уверенностью человека, у которого в руке калькулятор. Если такое уже случалось с вами, дело не в том, что вы плохо написали запрос.

Ошибаться заложено в самой работе этой технологии, и понимание причины меняет то, что вы делаете с ответом. В этом уроке вы увидите пять типов ошибок, которые повторяются всегда, поймёте, почему она с такой убеждённостью выдумывает источники, где проверка не является необязательной, и получите рутину на тридцать секунд, которая ловит почти всё. Это примерно 9 минут чтения, и самое важное находится в середине: ошибка, которая не выглядит ошибкой.

Золотое правило: она не знает, она оценивает

Первый урок курса сводит принцип работы к фразе, которую нужно вернуть сюда: искусственный интеллект не знает, он оценивает. Внутри него не лежит никакая энциклопедия. Он вычисляет, кусок за куском, какое продолжение наиболее вероятно для текста, который вы написали, опираясь на всё, что прочитал раньше.

Это объясняет то, что кажется противоречием. Он точно попадает в распространённое и соскальзывает на редком, потому что распространённое встречалось в его материале тысячи раз, а редкое один раз или ни разу. И ошибается он ровно с тем же лицом, с каким бывает прав, потому что гладкость текста никак не связана с его правдивостью. Написать «согласно статье 47 закона об аренде» убедительно легко, в том числе когда эта статья вообще про другое.

И это не изъян одного бренда: то же верно для ChatGPT, Gemini, Copilot, Claude и для того, что придёт после них. Смена инструмента ничего не решает. Смена того, что вы делаете с ответом, решает.

Пять ошибок и цена каждой

Не всякая ошибка одного типа, и поэтому общий совет «всегда проверяйте» никому не помогает. Проверять что и где? Таблица ниже это краткое содержание всей статьи.

Первые две решаются одним поиском. Последние три скользкие, потому что в них ответ остаётся правдивым в каждой фразе и всё равно уводит вас не туда.

Почему она выдумывает источники, авторов и номера статей

Технический термин для этого галлюцинация, и термин плохой, потому что намекает на временный приступ у машины, которая обычно знает. Она делает то же, что и всегда: оценивает наиболее вероятный текст. А у библиографической ссылки предсказуемая форма: фамилия, запятая, инициал, год в скобках, название курсивом. Заполнять эту форму правдоподобными словами она умеет хорошо.

Поэтому выдуманная ссылка почти всегда красивая. Автор существует, журнал существует, год выглядит логично, и только самой статьи никогда не было написано. Это худший тип ошибки для глаза, потому что всё вокруг верно. Правило короткое: имя, число и цитата выходят из ИИ как гипотеза, никогда как факт. Дал имя, ищите имя. Дал статью закона, откройте закон.

И в изображении она выдумывает по той же причине. Когда вы просите Восстановить старое свадебное фото с ИИ, она не выясняет, что было под сгибом: она рисует правдоподобный вариант для этого куска. Бант на платье, который вернулся чётким, мог никогда не иметь такой формы, и никто в семье не сможет сказать. Только на фото 1962 года нет источника для проверки, поэтому правило становится другим: храните оригинал рядом с восстановленной версией и относитесь к результату как к восстановлению, а не как к документу.

Расчёт, дата и срок: ошибка, которую линейка ловит сразу

Объяснение то же, а последствие другое. Поскольку она оценивает следующий кусок текста вместо того чтобы считать, результат получается по сходству с похожими расчётами. Маленькие суммы она берёт с обманчивой лёгкостью, а потом ошибается на 18% от 4380, не меняя тона.

Хорошая новость в том, что это самая дешёвая ошибка для проверки, потому что линейка уже у вас в руке. Лучше, чем пересчитывать на калькуляторе: уберите расчёт из разговора и верните его тому, что считает, попросив формулу вместо результата, как это делает Формула для таблицы сразу. Таблица посчитает верно, и вы сможете поменять числа позже, не задавая вопрос заново.

Даты и сроки попадают в ту же корзину, с отягчающим обстоятельством: она не знает, какое сегодня число, если вы не скажете. Ответ про «срок, который истекает через 30 дней» теряет смысл, если она угадала не тот месяц. Пишите сегодняшнюю дату в запросе, когда в теме есть срок.

Предвзятость: ошибка, которая не выглядит ошибкой

Эта самая трудная, потому что нет ни одной неверной фразы, на которую можно указать. ИИ учился на материале, где текста об одних вещах гораздо больше, чем о других, и возвращает среднее по всему этому. Попросите идею для бизнеса и получите те же пять, что всегда. Попросите план занятий и получите тот, что подходит большинству и может не подойти вам.

Симптом всегда один: ответ хороший и он общий. Лечение тоже одно, и это ещё один вопрос. «Какая точка зрения противоположна этой?» «Что осталось за кадром?» «Дай три варианта, которые обычно никто не предлагает.» Это второе сообщение отделяет тех, кто пользуется ИИ, от тех, кто публикует первый попавшийся ответ.

И есть личная версия предвзятости, которая мешает сильнее статистической: ваша. Когда запрос уже несёт в себе ответ, который вы хотите услышать, она соглашается. Спросить «почему вариант А лучше?» гарантирует текст, восхваляющий вариант А, даже когда верен вариант Б.

Лесть и почему это самая дешёвая ошибка

Вы наверняка замечали, что спорить с ИИ получается слишком легко. Вы говорите, что ответ неверный, она извиняется и меняет его, даже когда первый был верным. Это не скромность и не убеждённость: её настроили нравиться, и согласиться это самое вероятное продолжение вашей жалобы.

Лечение в том, чтобы попросить обратное, прямым текстом, до того как у неё появится шанс вам понравиться. Это логика Беспощадный разбор резюме, где просят жёсткую критику вместо похвалы. У тех, кто пишет код, есть точная версия этого в Проверить код перед выкладкой: искать проблему это другой запрос, чем «нормально?», и он возвращает другой ответ.

И что меняется, когда материал это изображение

Четыре ошибки выше это ошибки текста, а в изображении они сводятся к одной: к выдумке. Работает простой принцип, чем меньше вы просите, тем меньше она выдумывает. Для лица, которое просто размыто, Повысить резкость размытого фото за секунды трогает совсем немного и остаётся самым безопасным выбором, когда фото дорого как память. Просьба «улучши фото» без указания, что именно улучшить, это приглашение переписать лицо.

Обратная сторона в том, что выдуманное изображение стало слишком хорошим для глаза. Вымышленный документ в руке: вирусный эффект TikTok это шутка, пока все понимают, что это шутка, и он показывает, что такой уровень реализма находится в одном запросе от любого человека. Если изображение само по себе больше ничего не доказывает, проверка становится вопросом происхождения: кто опубликовал, когда и зачем.

Рутина на тридцать секунд

Проверять всё невозможно, и никто этого не делает. Что можно сделать, так это пропускать каждый ответ через три вопроса, всегда в одном порядке, и по-настоящему проверять только то, что осталось.

1. Есть ли имя, число или цитата? Если есть, этот кусок гипотеза. Отметьте его и проверьте в источнике.
2. Сколько стоит ошибка? Неверная подпись в соцсетях стоит одной поправки. Неверный договор стоит денег. Именно цена решает, сколько времени вы потратите.
3. Звучит слишком обще? Тогда проблема не во лжи, а в предвзятости. Запросите противоположную точку зрения перед тем как использовать.

Работу даёт только первый вопрос. Два других это решения, и занимают секунды. Например, на записанной встрече Протокол встречи верно передаёт сказанное, а второго взгляда заслуживают решения и ответственные: именно там «договорились, что» могло быть выведено, а не услышано.

Где проверка не является необязательной

Есть темы, где ответ ИИ это отправная точка и никогда не вывод, и у всех них есть общее: кто-то ставит подпись внизу.

В договоре правильное применение это быстрый читатель, который показывает, куда смотреть, и именно так написаны Анализатор договоров и Договор аренды: проверяй до подписания. Они дают список пунктов, которые нужно прочитать внимательно, и не дают юридической уверенности, которая при больших суммах остаётся делом специалиста.

На экзамене то же самое под другим именем. Проверка Сочинения к Экзамену точно показывает, что в вашем тексте слабо, а оценка, которую он ставит, это прикидка, а не тот балл, который вы получите. Пользуйтесь замечаниями, игнорируйте число.

Пять промтов, у которых проверка встроена внутрь

Лучший способ ошибаться реже это не проверять больше, а просить так, чтобы ошибка стала видимой. Эти пять так и устроены, в таком порядке:

1. Начните с Метод чтения и конспект книги, который работает поверх текста, который вы дали сами: ответ, привязанный к материалу у вас в руках, оставляет намного меньше места для выдумки.
2. Затем Краткий пересказ и гид по книге, обратный случай и хорошая тренировка: здесь она говорит по памяти, и именно тут вы найдёте ошибки, которые настроят ваше недоверие.
3. Превратите оставшееся в Карточки и интервальное повторение. Короткий вопрос и короткий ответ это формат, в котором ошибка кричит, потому что вокруг нет текста, чтобы её прикрыть.
4. Используйте Идеальное деловое письмо для того, что уходит под вашим именем. Риск здесь не в неверном факте, а в неверном тоне.
5. Закройте день жёсткой критикой от Беспощадный разбор резюме по тому, что вы сделали за день. Это второе сообщение, ставшее привычкой.

Для того же рассуждения в применении к учёбе пост про ИИ для учёбы разбирает экзамены, конкурсы и языки подробно.

Быстрые вопросы

Можно ли доверять ChatGPT?

Можно доверять его работе с текстом, который вы дали сами, с черновиком и с наведением порядка в идее. Нельзя доверять конкретному факту, числу, цитате и закону без проверки. Разница не в теме, а в происхождении: информация, пришедшая из-за пределов вашего разговора, это оценка.

Что такое галлюцинация ИИ?

Это когда он подаёт как факт то, чего не существует, тем же тоном, каким говорит, когда прав. Так выходит потому, что он достраивает вероятные формы вместо обращения к базе, и поэтому чаще всего это случается со ссылками, именами, датами и числами.

Почему он ошибается в простых расчётах?

Потому что он не считает, а оценивает текст результата. На маленьких расчётах это обычно сходится, на больших нет. Просите формулу вместо результата или пересчитайте на калькуляторе.

Он чаще ошибается на русском?

Материала для обучения на английском больше, поэтому очень узкая тема может выйти беднее на русском. В повседневных вещах этого почти не видно. По-настоящему меняется локальный контекст: правила, сроки и процедуры вашей страны это то, где он ошибается больше всего, и где официальный сайт закрывает вопрос за минуту.

Лучший промт заставит его ошибаться реже?

Да, и заметно, но только в двух ошибках из пяти. Ясный запрос снижает общий ответ и обрубает лесть, как показывает урок о том, как писать промт. Против выдуманных источников и неверных расчётов хороший промт помогает мало: там работает только проверка.

Как понять, что изображение сделал ИИ?

Старые признаки (рука с шестью пальцами, перепутанные буквы на фоне) исчезают быстро. Что продолжает работать, так это смотреть на происхождение, а не на само изображение: из какого аккаунта оно пришло, встречается ли больше чем в одном месте и есть ли более ранняя его версия. Урок про создание изображения из фотографии показывает, насколько многое из этого уже легко.

С чего начать сегодня

Возьмите последний полезный ответ, который дал вам ИИ, и прогоните по нему три вопроса рутины. Если там есть имя или число, проверьте только этот кусок. Стоит сделать это один раз, потому что вы обнаружите, что работы по проверке гораздо меньше, чем кажется.

После этого хаб текстовых промтов содержит полную коллекцию, а серия курсов продолжается отсюда. Ошибаться с ИИ реже это меньше про поиск подходящего инструмента и больше про понимание того, какой кусок ответа заслуживает вашего внимания.