Ученые Центра искусственного интеллекта МГУ имени М.В.Ломоносова представил исследование методов выявления редких аномалий в больших потоках шумовых данных. Работа посвящена анализу методов обработки данных, позволяющих обнаруживать редкие аномальные задержки в телекоммуникационных сетях. Результаты опубликованы в журнале MDPI Mathematics.
Во многих системах мониторинга полезные сигналы встречаются редко и скрываются среди большого объёма шумовых данных. Такая ситуация возникает, например, при анализе сетевых задержек: большинство пакетов передаются стабильно, однако отдельные резкие скачки времени отклика могут указывать на перегрузки сети или сбои оборудования.
Авторы рассмотрели математическую модель, в которой редкие аномальные события выделяются на фоне случайного шума. Для анализа использовался метод обработки данных, при котором небольшие отклонения считаются шумом, а заметные выбросы сохраняются для дальнейшего анализа. Такой подход широко применяется в задачах обработки сигналов и обнаружения аномалий.
В работе исследователи проанализировали, насколько устойчиво такой подход работает при больших объёмах данных, а также изучили свойства алгоритма при автоматическом выборе порога фильтрации. Авторы показали, что метод позволяет выделять редкие аномальные сигналы даже при существенном уровне шума.
Для иллюстрации подхода исследователи использовали реальные данные о времени прохождения сетевых пакетов (RTT). Эксперименты показали, что после обработки большая часть шумовых колебаний подавляется, а редкие аномальные задержки сохраняются для дальнейшего анализа.
«Мы исследовали, как методы пороговой обработки работают в условиях, где полезные сигналы встречаются редко и могут быть скрыты шумом. Такие модели важны для задач мониторинга сетей и обнаружения аномалий в потоках данных», — отметил Евгений Степанов, ассистент кафедры автоматизации систем вычислительных комплексов факультета ВМК МГУ и старший научный сотрудник Центра ИИ МГУ.
По словам авторов, результаты могут применяться в задачах анализа сигналов, мониторинга сетей и обнаружения редких аномалий в больших потоках данных.