Галлюцинации: как понять, что ИИ ответил ерунду
Самое важное, что нужно понять про ИИ до того, как доверять ему рабочие задачи: когда он не знает ответа, он не молчит - он сочиняет. Причём сочиняет уверенно, гладко и правдоподобно. Это называют галлюцинациями. Они случаются не потому, что инструмент плохой, а потому, что так устроены языковые модели: они всегда продолжают текст наиболее правдоподобным образом, а «правдоподобно» и «правда» - не одно и то же.
Хорошая новость: галлюцинации предсказуемы. Зная, где риск выше, вы будете проверять именно там - и этого достаточно.
Где риск высокий, а где низкий
Высокий риск - факты, которые существуют вне текста:
- Точные цифры: цены, курсы, статистика, даты событий.
- Ссылки, названия законов, судебная практика, ГОСТы.
- Цитаты конкретных людей и содержание конкретных документов.
- Свежие события: у модели есть «дата отсечки знаний», всё, что позже, она не знает (но может сделать вид).
- Узкие ниши, где мало текстов в интернете.
Низкий риск - работа с тем, что вы дали сами:
- Переписать, сократить, перевести ваш текст.
- Разобрать документ, который вы приложили.
- Составить план, структуру, варианты формулировок.
- Написать код: его можно просто запустить и проверить - работает или нет.
Правило простое: чем ближе задача к «придумай/оформи», тем безопаснее; чем ближе к «вспомни точный факт», тем опаснее.
Пять приёмов проверки
1. Дайте источник сами. Лучший способ избежать выдумки - не заставлять модель вспоминать. Приложите документ, вставьте текст статьи, дайте ссылку. Когда ответ строится на вашем материале, галлюцинаций на порядок меньше. Это главный приём, остальные - страховка.
2. Разрешите «не знаю». Добавьте в запрос фразу: «Если не уверен - так и скажи, не выдумывай». Звучит наивно, но заметно работает: у модели появляется разрешённый выход, кроме сочинительства.
3. Спросите про уверенность и источники. «Откуда эта цифра? Насколько ты уверен?» Если в ответ идут расплывчатые формулировки - перед вами кандидат в галлюцинацию. Важно: ссылки, которые модель «вспомнила» из головы, проверяйте кликом - несуществующие ссылки выглядят как настоящие.
4. Проверьте критичное в независимом месте. Цену - на сайте продавца, закон - в официальном источнике, факт - обычным поиском. Правило одной минуты: если ошибка в этом факте будет вам стоить денег или репутации - минута на проверку обязательна.
5. Устройте очную ставку. Задайте тот же вопрос в новом чате или попросите: «Проверь свой предыдущий ответ как строгий критик - где могут быть ошибки?» Расхождение между ответами - маркер, что надо проверять руками.
Рабочая рамка: ИИ - черновик, вы - редактор
Относитесь к любому ответу как к черновику талантливого, но иногда завирающегося стажёра. Для поста в соцсети достаточно прочитать глазами. Для коммерческого предложения - проверить цифры. Для договора или медицинского вопроса - проверить всё и показать специалисту. Уровень проверки зависит от цены ошибки, а не от того, «как красиво написано».
Кстати, именно поэтому существует база Argo: за каждой рекомендацией здесь - проверенный на практике опыт, а не «среднее по интернету». Внизу каждой карточки стоит дата проверки.
Практика шага
Возьмите тему, в которой вы эксперт, и задайте Claude пять вопросов по ней - от простых к узким. Посмотрите, где он начнёт «плавать»: вы своими глазами увидите границу между уверенным знанием и уверенным сочинением. После этого упражнения доверие к ИИ становится калиброванным - вы знаете, что перепроверять.
Следующий шаг пути - научить Claude помнить ваш бизнес, чтобы не объяснять контекст в каждом чате заново.