Несколько возможных причин, по которым контроллер Unity 3D теряет управление при наведении мыши:

• Отсутствие коллайдера на объекте. 14 Для работы событий наведения мыши на объект в Unity он должен иметь какой-то коллайдер — обычно коробку, сферу или капсулу. 1
• Неправильные настройки системы ввода. 15 Если установлен пакет системы ввода и нужно активировать его вместе со старым менеджером ввода, нужно настроить параметры в «Настройках проекта». 1 Для этого выбрать «Игрок» > «Конфигурация» > «Активная обработка ввода» и в выпадающем списке выбрать старую или новую систему или оба варианта. 1
• Некорректные настройки режима курсора. 5 Если для режима курсора установлено значение «Программный курсор», события OnMouseEnter и/или OnMouseDown не сработают. 5

Для решения проблемы рекомендуется убедиться, что на объекте есть коллайдер, проверить настройки системы ввода и установить для параметра «Активная обработка ввода» значение «Оба» 145.