Несколько причин, по которым ИИ часто придумывает ложные факты и небылицы в генерируемом тексте:

• Предсказательная природа моделей. 1 ИИ не «знает», а предсказывает следующий токен на основе вероятности. 1 Иногда с высокой уверенностью выбирается ложная, но «статистически правдоподобная» опция. 1
• Отсутствие встроенной верификации. 1 Модели не проверяют свой ответ по базе знаний или интернету, особенно в офлайн-режиме. 1 Они не сравнивают возможные варианты на истинность, а просто выбирают «наиболее вероятный ответ». 1
• Проблема кросс-загрязнения данных. 1 В процессе обучения происходит смешение и загрязнение данных: модель не разделяет источники по уровню доверия. 1 Научная статья и пост в социальной сети могут получить равный вес в параметрах модели, особенно если второй встречается в датасете чаще. 1
• Давление на полноту ответа. 1 При отсутствии точной информации модель всё равно «хочет помочь», особенно если запрос сформулирован уверенно. 1 Это провоцирует выдумку вместо отказа от ответа. 1
• Эффект «каскадных ошибок». 1 Одна небольшая неточность в начале генерации может спровоцировать лавину последующих ошибок. 1 Модель, начав с ложного утверждения, «вынуждена» продолжать его развивать для сохранения целостности текста, что приводит к обширным, детализированным, но полностью недостоверным фрагментам. 1

Чтобы снизить частоту ошибок, можно использовать, например, проверку фактов вручную, улучшенные промпты и системные инструкции, привязку к проверенным источникам. 5