мы в дзене
Хоть нейросети и облегчают повседневную работу, у них есть существенные недостатки. В большинстве моделей создатели прямо указывают на вероятность совершения ошибок, поэтому ответ на ваш запрос обязательно нужно проверить. Еще один существенный нюанс – склонность ИИ соглашаться даже с ошибочным утверждением. Почему чат-боты допускают подобные ошибки и как получать более объективные ответы – в материале TV Mag.
Почему нейросети со всем соглашаются
Активные интернет-пользователи утверждают, что искусственный интеллект не всегда способен отличить достоверную информацию от ошибочную. Новичку сложно заметить прокол инструмента: даже когда у ИИ недостаточно данных, отвечает он очень уверенно. Это поведение в Сети прозвали двумя терминами – угодливость и галлюцинация.
Угодливостью называют склонность нейросети соглашаться с пользователем. Она поддерживает мнение задающего вопрос и подстраивает ответ под ожидания собеседника, даже если тот ошибается. Поэтому если человек уверен в гениальности своей идеи, чат-бот может только добавить ее достоинства и проигнорировать недостатки.
Разработчики об этой проблеме знают и не отвергают ее. В апреле 2025 года компания OpenAI (создатель ChatGPT) выпустила обновление 4o, в ходе которого модель стала чрезмерно соглашаться с пользователями и пытаться им угодить. После ряда жалоб в компании пообещали, что ответы будут более сбалансированными.
Также существуют галлюцинации ИИ – это когда нейросеть генерирует ложную информацию и подает ее как факт. Это изображается в виде цитаты неизвестного автора, неправильной даты исторического события или упоминания исследования, которого не существует.
Такое происходит в том числе из-за особенностей обучения языковых моделей. Дело в том, что в кодах прописано предсказание последовательности текста, а не проверка каждого утверждения по некой существующей базе знаний. Некоторые модели поощряют правильные ответы, но вот признавать свою неопределенность в том или ином вопросе пока не научились. Поэтому исключить угодливость и галлюцинации с помощью одного запроса невозможно. Однако есть приемы, которые помогут вовремя обнаружить ошибку и снизить их вероятность.
Как заставить ИИ не соглашаться со всем подряд: промпты
Если нейросеть постоянно поддерживает ваше мнение, начните с изменения формулировки запроса. Не просите ее подтвердить собственную позицию. Лучше предложите независимо оценить ситуацию и не пишите, какой ответ вы хотите получить. Ваше отношение к запросу может быть расценено как подсказка к итоговой реакции.
Используйте нейтральные запросы, не содержащие заранее заданного вывода.
Пример промпта:
«Оцени этот текст с точки зрения точности и соответствия содержанию вычитанных ранее документов. Назови его сильные и слабые стороны. Объясни почему и предложи улучшенный вариант».
Так вы даете нейросети конкретные критерии оценки, и она может не согласиться с пользователем.
Чтобы получить содержательную обратную связь, поручите нейросети найти недостатки в тексте или проекте.
Важно! Не требуйте обязательной критики: иначе модель может начать придумывать проблемы там, где их нет.
Пример промпта:
«Выступи в роли независимого редактора и проверь текст на фактические ошибки, логические противоречия, спорные утверждения, неудачные формулировки. Сначала перечисли обнаруженные проблемы, затем отметь сильные стороны. Не придумывай недостатки ради критики. Каждое замечание объясни».
Также можно попросить нейросеть проанализировать аргументы против вашей позиции. Это снизит угодливость и поможет рассмотреть проблему с разных сторон.
Пример промпта:
«Я считаю, что [здесь впишите свое утверждение]. Представь наиболее убедительные аргументы против этой позиции. Затем сравни доводы обеих сторон, оцени их обоснованность и сделай вывод. Не соглашайся со мной только потому, что я высказал это мнение».
Запретите менять мнение без оснований – иногда чат-бот дает другой ответ сразу после того, как пользователь выразил несогласие или возмущение. Но ведь возражение само по себе не означает, что первоначальный ответ был неправильным. Не стоит требовать от нейросети никогда не соглашаться с пользователем, ведь мы хотим получить оценку аргументов по существу.
Пример промпта:
«Если я не соглашусь с твоим ответом, не меняй вывод автоматически. Сначала оцени мои аргументы. Если они убедительны, исправь ответ и объясни причину. Если оснований для изменения позиции нет, аргументированно объясни свою точку зрения».
Как заставить ИИ не придумывать и не врать: промпты
Чтобы ИИ не подвел вас при работе с датами, статистикой, научными исследованиями и цитатами, нужно правильно составить запрос. А еще – проверить полученную информацию, все-таки даже подробный и убедительный ответ может содержать неточности.
Разрешите нейросети отвечать «не знаю». По умолчанию чат-бот отвечает даже на те вопросы, для которых у него недостаточно информации. Чтобы снизить вероятность необоснованных утверждений, прямо скажите, что неполный ответ лучше выдуманного.
Пример промпта:
«Отвечай только на основании информации, которую можешь обосновать. Если данных недостаточно или ты не можешь подтвердить утверждение, прямо сообщи об этом. Не придумывай даты, имена, статистику, цитаты и источники. Отделяй установленные факты от предположений».
Если нейросеть сообщает факты, которые можно проверить, попросите ее привести ссылки на первоисточники. Это могут быть официальные документы, научные публикации, статистические базы или интервью. После того, как перед вами появится список из источников, проверьте в нем информацию сами – вдруг он не содержит указанный факт или был неправильно интерпретирован.
Пример промпта:
«Подготовь ответ на вопрос [тема]. Для каждого ключевого фактического утверждения укажи проверяемый источник со ссылкой. Отдавай предпочтение официальным документам, исследованиям и первоисточникам. Если подтверждение не найдено, не представляй утверждение как установленный факт».
Предоставьте ИИ документы для анализа
Если ответ должен основываться на конкретном исследовании, отчете или интервью, предоставьте ИИ документы для анализа, загрузив исходный материал в чат. Этот метод пригодится при работе с отчетами, законодательными документами, научными статьями. И обязательно сверьтесь с оригиналом.
Пример промпта:
«Проанализируй прикрепленный документ. Отвечай только на основании его содержания. Для каждого важного вывода укажи подтверждающий фрагмент и страницу, если она доступна. Если необходимой информации в документе нет, сообщи об этом. Не дополняй ответ сведениями из других источников».
Как проверить ответ нейросети на ошибки
Составив промпт и получив ответ, сделайте дополнительную проверку – все-таки даже правильный порядок действий не исключает неточностей. Для этого попросите ИИ перепроверить собственный текст. Для этого скопируйте и вставьте текст или отправьте отдельный запрос с просьбой найти возможные ошибки.
Пример промпта:
«Проверь предыдущий ответ. Выдели все утверждения, которые можно проверить: даты, имена, цифры, цитаты, названия организаций и исследований. Укажи, какие из них подтверждены источниками, а какие требуют дополнительной проверки. Исправь обнаруженные ошибки и объясни изменения».
А еще полезно сравнивать ответы разных нейросетей. Задавайте один и тот же вопрос нескольким ИИ-сервисам. Если ответы существенно различаются, проверьте спорные сведения.
Важно! Совпадение ответов не означает, что информация достоверна. Разные нейросети могут допускать одинаковые ошибки, особенно если используют похожие источники.
В некоторых чат-ботах можно задать постоянные инструкции от пользователя, определяющие подход к ответам. Вы можете указать, что нейросеть должна критически оценивать утверждения, не соглашаться без достаточных оснований и не скрывать от вас отсутствие информации. Помните: нейросеть – это прежде всего помощник, за которым самому нужно проверять значимые факты и нюансы.
Фото: ИИ ChatGPT