Нейросеть с невероятной уверенностью рассказывает пользователю факты, цитирует источники, приводит даты и имена — а затем выясняется, что все это чистая выдумка. Именно так выглядит галлюцинация искусственного интеллекта.
Распространенность этой проблемы привела к тому, что Кембриджский словарь добавил новое значение термина «hallucination», относящееся конкретно к искусственному интеллекту.
Почему нейросети галлюцинируют
Галлюцинации нейросетей — не сбой в традиционном понимании, модель в этом случае работает именно так, как спроектирована. Фактически, она угадывает наиболее вероятное продолжение текста на основе обучающих паттернов.
Большие языковые модели (LLM) ориентированы на создание правдоподобных ответов, а не на проверку их истинности. Иногда такое угадывание приводит к тому, что выдумываются факты, детали или логические выводы, которых нет в исходных данных.
Галлюцинации становятся возможны по двум ключевым причинам. Нейросети нередко галлюцинируют в условиях нехватки достаточного количества обучающих данных или же их переизбытка.
Как выглядит галлюцинация
Специалисты выделяют две основные категории галлюцинаций. Фактические галлюцинации — модель приводит неверную и ошибочную информацию о реальном мире, придумывает несуществующие цитаты и ссылки.
Также есть контекстуальные галлюцинации — в этом случае модель отклоняется от предоставленного контекста или от инструкций пользователя, порождая нерелевантные ответы. Например, ИИ начинает рассуждать на тему, о которой его не спрашивали.
Один из самых громких случаев — дело американского адвоката Стивена Шварца в 2023 году. Он готовился защищать интересы клиента в судебном разбирательстве с авиакомпанией и попросил ChatGPT найти похожие судебные дела.
Чат-бот выдал список из шести очень убедительных судебных заседаний с цитатами и ссылками. Однако все детали были полностью выдуманы — не существовало ни самих дел, ни судей, ни решений. Это привело к дисциплинарным мерам против адвоката.
Как бороться с галлюцинациями
Полностью исключить галлюцинации у нейросетей невозможно, однако есть несколько способов снизить риск опростоволоситься, положившись на экспертное заключение ИИ, содержащее ложные данные.
Самый простой метод — всегда перепроверять информацию ИИ по надежным источникам. Также нелишним будет требовать от модели указать источники приводимых фактов, проверить их реальность, а также объяснить логику выводов.
