Разработка интеллектуальной системы по обнаружению аномалий сетевого трафика
ВВЕДЕНИЕНедавние громкие инциденты в таких компаниях, как SolarWinds, Microsoft, T-Mobile, Facebook, Colonial Pipeline, JBS и Acer, свидетельствуют о значительном ущербе, наносимом передовыми кибератаками. Такие типы атак могут успешно обходить конечные точки и область защиты, оставаться скрытыми и активными в сетях в течение длительного времени и способны нанести значительный ущерб.
Системы обнаружения аномалий сетевого трафика разрабатываются специально для реагирования на современные киберугрозы. Главное преимущество таких систем – способность выявлять неизвестные или скрытые угрозы путем анализа сетевой активности на предмет отклонений в реальном времени.
Различные пакеты сетевых данных имеют уникальные сигнатуры, такие как заголовки, всевозможные форматы представления, кодирования данных и т. д.
СОДЕРЖАНИЕ
ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ 7
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ 8
ВВЕДЕНИЕ 9
1 ОПИСАНИЕ СЕТЕВЫХ АНОМАЛИЙ И ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ ИХ ОБНАРУЖЕНИЯ 12
1.1 Важность обнаружения аномалий сетевого трафика 12
1.1.1 Укрепление безопасности предприятия 12
1.1.2 Улучшение производительности приложения 12
1.1.3 Оптимизация пользовательского опыта 13
1.1.4 Упорядочивание процессов для службы безопасности 13
1.1.5 Применение в различных отраслях 14
1.2 Интернет-трафик 14
1.3. Описание сетевых аномалий 15
1.3.1 Классификация аномалий 16
1.3.2 Проблема обнаружения аномалий 20
1.3.2.1 Ложноположительные срабатывания 20
1.3.2.2 Зашифрованность трафика 20
1.4 Анализ существующих подходов в обнаружении аномалий 21
1.4.1 Сигнатурные и адаптивные (интеллектуальные) методы 21
1.4.2 Методы обнаружения аномалий и злоупотреблений 21
1.4.2.1 Методы статистической группы 22
1.4.2.2 Методы искусственного интеллекта 23
1.4.2.3 Комбинация методов статистической группы и искусственного интеллекта 25
1.4.3 Гибридные методы 26
1.5 Постановка задачи 26
2 ПРОЕКТИРВОАНИЕ АРХИТЕКТУРЫ И РЕАЛИЗАЦИЯ СИСТЕМЫ ОБНАРУЖЕНИЯ АНОМАЛИЙ 28
2.1 Архитектура системы 28
2.2. Описание моделей искусственного интеллекта 32
2.2.1 Дерево решений 32
2.2.2 Бустинг на решающих деревьях 32
2.2.3 Нейросетка 32
2.3 Стек используемых технологий 33
2.3.1 Python 33
2.3.1.1 Scikit-learn 34
2.3.1.2 Keras 34
2.3.1.3 Tensorflow 34
2.3.1.4 Matplotlib и plotly 35
2.3.1.5 NumPy 35
2.3.1.6 Imblearn 36
2.3.2 Tcpdump и libpcap 36
2.3.3 Nfdump 37
2.3.4 Clickhouse 37
2.4 Описание программной разработки 38
2.4.1 Захват и преобразование трафика 38
2.4.2 Подготовка данных для моделей 39
3 РЕЗУЛЬТАТЫ И ОЦЕНКА РАБОТЫ СИСТЕМЫ 41
3.1 Разведочный анализ данных 41
3.1.1 Анализ активности и поведения сетевых узлов 43
3.1.2 Заключения разведочного анализа 45
3.3 Оценка качества моделей 46
ЗАКЛЮЧЕНИЕ 46
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 48
ПРИЛОЖЕНИЕ А Пример графиков параллельных координат активности узлов сети 51
ПРИЛОЖЕНИЕ Б Пример графиков интенсивности трафика узлов сети 53
ПРИЛОЖЕНИЕ В Пример графиков суммарного объёма трафика узлов сети 55
ПРИЛОЖЕНИЕ Г Пример графиков числа уникальных взаимодействующих хостов узлов сети 57
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ1. Qosmos ENEA. Network Detection and Response Report [Доклад] // Cybersecurity INSIDERS. – 2021. – P. 25-28.
2. Ефрон И.А., Брокгауз Ф.А. Энциклопедический словарь [Электронный ресурс]. – URL: http://fshq.ru/anz_slovar_brokgauza/slovar239.html (дата обращения 03.03.2023).
3. Tcpdump & libpcap [Электронный ресурс]. – URL: https://www.tcpdump.org/ (дата обращения 12.03.2023).
4. History and License – Python 3.11.3 documentation [Электронный ресурс]. – URL: https://docs.python.org/3/license.html (дата обращения 13.03.2023).
5. Scikit-learn: machine learning in Python – scikit-learn 1.2.2 documentation [Электронный ресурс]. – URL: https://scikit-learn.org/stable/ (дата обращения 12.03.2023).
6. Fast Open-Source OLAP DBMS – ClickHouse [Электронный ресурс]. – URL: https://clickhouse.com/ (дата обращения 12.03.2023).
7. Nfdump documentation // Nfdump [Электронный ресурс]. – URL: https://nfdump.sourceforge.net/ (дата обращения 12.03.2023).
8. Imbalanced-learn documentation – Version 0.10.1 [Электронный ресурс]. – URL: https://imbalanced-learn.org/stable/ (дата обращения 12.03.2023).
9. NumPy [Электронный ресурс]. – URL: https://numpy.org/ (дата обращения 12.03.2023).
10. Matplotlib – Visualization with Python [Электронный ресурс]. – URL: https://matplotlib.org/ (дата обращения 12.03.2023).
11. Plotly Python Graphing Library [Электронный ресурс]. – URL: https://plotly.com/python/ (дата обращения 12.03.2023).
12. TensorFlow [Электронный ресурс]. – URL: https://www.tensorflow.org/ (дата обращения 12.03.2023).
13. Keras: Deep Learning for humans [Электронный ресурс]. – URL: https://keras.io/ (дата обращения 12.03.2023).
Также стоит принять во внимание тот факт, что злоумышленник при должном знании используемой базы правил на предприятии способен организовать свою атаки в обход обнаружению.
В качестве примеров систем с таким подходом можно выделить Snort и Suricata как наиболее распространенные и с открытым исходным кодом.
Также существуют адаптивные методы сигнатурного анализа, которые способны модифицировать имеющуюся базу правил при необходимости. Такой подход сейчас стремительно набирает популярность, но ему всё же присуща вероятностная природа. При обучении адаптивной модели можно установить точность распознавания, и она едва ли окажется равной 100%. Нивелирование этого недостатка представляется нам неотъемлемой частью поиска наилучшего метода распознавания атак ввиду возможности с помощью методов этой группы выявлять те атаки, которые будут пропущены сигнатурной системой обнаружения вторжений.