Может ли искусственный интеллект сойти с ума?

Да, искусственный интеллект (ИИ) может сойти с ума. 13 Это происходит из-за сбоя в программе, который может возникнуть, например, из-за случайной помехи, ошибки в коде или ситуации, не предвиденной программистом. 1

Например, сбой, вызванный неверными данными, может изменить коэффициенты в нейронной сети и привести к неверным результатам, которые будут выглядеть как сумасшествие. 1

Также, по данным исследователей из Стэнфордского университета и Университета Райса, модели ИИ, обучаемые на данных, сгенерированных ИИ, имеют тенденцию «сходить с ума» после пяти циклов обучения. 4

Таким образом, логика ИИ может оказаться совершенно непредсказуемой, и понятия морали и нравственности, даже если заложить их в программу, в системе ценностей машинного разума могут оказаться более второстепенными, чем только ему понятный здравый смысл. 3