Для обучения нейронных сетей обнаружению аномалий в больших данных можно следовать таким рекомендациям:
- Подготовить исходные данные. 4 Их нужно нормализовать в соответствии с рассчитанными статистическими характеристиками. 4
- Создать обучающую выборку. 4 Например, в статье о обнаружении аномалий в данных из сети INTERMAGNET для этого выбирали первые 40% данных. 4
- Использовать методы регуляризации. 3 Они помогают избежать переобучения модели, например, дропаут или батч-нормализация. 3
- Сократить число параметров обучения. 3 Для этого можно использовать тензорные разложения или разреженные матрицы. 3
- Выбрать подходящие гиперпараметры. 1 Они связаны как со структурой нейронной сети, так и с её обучением. 1
Также при обучении графовой нейронной сети (GNN) для обнаружения аномалий сначала создают обучающую выборку, а затем рассчитывают прогноз наличия аномалии с помощью модели графовой сети, основанной на внимании (Graph Attention Network). 4