Несколько способов борьбы с shortcut learning в нейронных сетях:

• Доменная адаптация. 1 После выявления проблем в функционировании модели соответствующие примеры можно добавить в обучающие данные или увеличить их процентное соотношение. 1 Это повысит качество работы модели на этих данных. 1
• Тестирование на разных типах данных. 1 Например, на зашумлённых данных, на фотографиях с разных времён года и так далее. 1
• Контрастная оценка. 1 Вместо расчёта средней метрики качества модели по какой-либо выборке изучают изменение метрики качества при изменении выборки (или одного примера). 1 Например, поворачивают фотографии на один и тот же угол и сравнивают метрику качества. 1
• Регуляризация. 3 Это методы добавления дополнительных условий на веса и смещения, чтобы предотвратить переобучение и улучшить обобщающую способность сети. 3 Например, L1 и L2 регуляризация, отбор признаков, отсечение, dropout. 3
• Ранняя остановка. 4 Это форма регуляризации, которая останавливает процесс обучения, когда производительность модели в наборе данных проверки начинает снижаться. 4