В чем заключается принцип работы алгоритма обнаружения аномалий в большом потоке данных?

Принцип работы алгоритма обнаружения аномалий в большом потоке данных заключается в обнаружении и обработке отклонений в потоках данных, получаемых во время технологических процессов. ceur-ws.org

Некоторые алгоритмы работают в режиме распознавания с учителем. ceur-ws.org Для этого требуется обучающая выборка, которая полноценно представляет систему и включает экземпляры данных нормального и аномального классов. ceur-ws.org Работа алгоритма происходит в два этапа: обучение и распознавание. ceur-ws.org На первом этапе строится модель, с которой впоследствии сравниваются экземпляры, не имеющие метки. ceur-ws.org

Другие алгоритмы, например, основаны на генерации правил, которые соответствуют нормальному поведению системы. ceur-ws.org Экземпляр, который не соответствует этим правилам, распознаётся как аномальный. ceur-ws.org

Также существуют алгоритмы, которые ищут аномалии, сравнивая текущую активность объекта с активностью других объектов внутри своего кластера. ptresearch.media Например, алгоритм определяет, присутствовал ли объект на этапе кластеризации, и, если он отсутствовал, относит его к кластеру с низкой активностью. ptresearch.media

Для обнаружения аномалий в больших потоках данных также используют алгоритмы машинного обучения, такие как K-Means, KNN, OPTICS. cyberleninka.ru