Языковые модели, в том числе GPT-3, склонны к галлюцинациям по нескольким причинам:

• Сжатие и несогласованность данных. 3 Галлюцинации часто возникают из-за несоответствий в обучающих материалах. 3
• Ограниченная или противоречивая информация. 3 Галлюцинации могут появляться, когда обучающие данные содержат ограниченную, устаревшую или противоречивую информацию, относящуюся к заданному запросу. 3
• Генерация ответов на основе шаблонов. 2 Модель может выдавать бессвязные реакции, генерируя ответы на основе изначально усвоенных шаблонов. 2
• Невозможность понять смысл некоторых выражений. 1 Например, языковая модель может не понимать смысл сленга или сарказма. 1

Галлюцинации могут возникать, особенно при генерации текста по малоизученным темам. 4