Исследование и разработка приложения для автоматизированного мониторинга аномалий трафика
ВВЕДЕНИЕ
Данная работа посвящена исследованию мониторинга финансового трафика и выявлению в нем аномалий. Внедрение системы мониторинга финансового трафика и обнаружение аномалий является критически важным в современном мире. Финансовые институты, такие как банки, страховые компании и инвестиционные фонды, все больше зависят от электронных транзакций и онлайн-платежей для обеспечения своей деятельности и обслуживания клиентов.
Однако, с ростом использования цифровых платежных систем и онлайн-банкинга, появляются новые угрозы и риски, связанные с финансовым мошенничеством, кибератаками и отмыванием денег. Традиционные методы контроля и мониторинга финансовых операций оказываются недостаточными для обнаружения и предотвращения таких аномалий, поскольку мошенники становятся все более искусными в своих действиях и применяют новые методы обхода систем безопасности.
СОДЕРЖАНИЕ
ВВЕДЕНИЕ
ГЛАВА 1. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ АНОМАЛИЙ И ИХ ИДЕНТИФИКАЦИЯ
1 Анализ применимости методов автоматизации для обнаружения аномалий трафика
2 Идентификация аномалий
3 Виды методов работы с аномалиями
4 Анализ продуктов-аналогов для выявления аномалий в финансовых транзакциях
Выводы по первой главе
ГЛАВА 2. ПРОЕКТИРОВАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ ВЫЯВЛЕНИЯ АНОМАЛИЙ ФИНАНСОВОГО ТРАФИКА
1 Алгоритмы интеллектуального анализа данных
1.1 Логистическая регрессия
1.2 Метод опорных векторов (SVM)
1.3 Лес случайных деревьев
1.4 Градиентный бустинг
2 Способы оценки качества модели
3. Используемые средства разработки
3.1 Язык программирования: Python
3.2 Фреймворк FastAPI
3.3 Библиотека Scikit-learn
3.4 Библиотека Label Encoder
3.5 Библиотека LightGBM
3.6 IDE: Kaggle
3.6 IDE: PyCharm
4 Описание подхода к обработке пользовательских запросов
Выводы по второй главе
ГЛАВА 3. РЕАЛИЗАЦИЯ СИСТЕМЫ МОНИТОРИНГА ТРАФИКА
1 Методика выполнения обучения модели
2 Создание приложения
2.1 Алгоритм обработки пользовательских запросов
2.2 Тестирование приложения в стрессовых условиях
2.3 Результаты и документация
Выводы по третьей главе
ЗАКЛЮЧЕНИЕ
Список использованных источников
ПРИЛОЖЕНИЕ А
Список использованных источников
Shulpina P., Dokuchaev V. Principal Component Analysis For Machine Learning // Synchroinfo Journal. – 2022. – Vol. 8. – № 6 – P. 18-24.
Chandola, V. Anomaly Detection: A Survey / V. Chandola, A. Banerjee, V. Kumar. –– 2009. –– URL: https://www.vs.inf.ethz.ch/edu/HS2011/CPS/papers/ chandola09_anomaly-detection-survey.pdf. (дата обращения 15.04.2023)
Дьяконов А.Г., Гурьянов А.К. Стратегия исследования окружений в обучении с подкреплением в непрерывных пространствах состояний // МГУ – 2017.
Копырин А.С., Видищева Е.В. Технологии обработки и очистки данных, выявления и устранения шумов на временном ряду // Вестник Академии знаний – 2020.
MACHINE LEARNING // IBM URL: https://www.ibm.com/cloud/learn/machine-learning (дата обращения: 06.03.2023)
Barron A., Rissanen J., Yu B. (1998). The minimum description length principle in coding and modeling // IEEE Trans Inf Theory 44:2734–2760
What is the use of Actimize? // URL: https://www.parkerslegacy.com/what-is-the-use-of-actimize/ (дата обращения: 09.03.2023)
Khanna R., Awad M. Efficient Learning Machines // Apress. – 2015– № 1 – P. 1-9.
Alice Zheng «Evaluating Machine Learning Models. A Beginner's Guide to Key Concepts and Pitfalls», 2015
PyCharm: The Python IDE for Professional Developers // URL: https://www.jetbrains.com/pycharm/ (дата обращения: 10.04.2023)
Bombardier Contributors. (2020). Bombardier [Command-line utility] // URL: http://github.com/codesenberg/bombardier (11.05.2023)
Шульпина, П. Д. Метод главных компонент как способ предварительной обработки данных / П. Д. Шульпина, В. А. Докучаев // REDS: Телекоммуникационные устройства и системы. – 2023. – Т. 13, № 2. – С. 59-64. – EDN RRTQFL.
Сравнительный анализ алгоритмов обратного распространения ошибки и имитации отжига / В. В. Маклачкова, А. В. Шведов, П. Д. Шульпина, Д. В. Гадасин // REDS: Телекоммуникационные устройства и системы. – 2023. – Т. 13, № 1. – С. 26
Например, при анализе данных финансовых транзакций, обычно установлены правила и законы, регулирующие суммы транзакций, частоту операций и т.д. Если появляются операции, которые не соответствуют этим правилам, это может быть аномалией, которая указывает на мошеннические операции. Важно иметь систему, которая может автоматически обнаруживать такие аномалии, чтобы оперативно реагировать на них и предотвратить возможные угрозы.В общем обозначении, аномалией принято называть отклонение или необычное явление, которое отличается от ожидаемого или нормального состояния [2]. В различных областях, таких как наука, статистика, физика, информационная безопасность и другие, термин «аномалия» используется для обозначения неправильности, отклонения или необычного поведения от установленных паттернов, моделей или стандартов. Идентификация аномалий может быть важной для выявления проблем, определения причинных связей и принятия мер по устранению возможных угроз или проблем.Аномалии могут содержать полезную информацию об анормальных характеристиках исследуемой области. Именно поэтому обнаружение и анализ аномалий в различных типах данных может иметь большое значение для различных областей, таких как бизнес, наука, медицина и т.д.Аномалии в данных могут указывать на наличие ошибок в данных, неожиданные паттерны или тренды, которые могут быть важными для принятия решений. Аномалии в финансовых транзакциях могут указывать на возможные мошеннические операции. При использовании методов телемедицины, обнаружение аномалий в медицинских данных может указывать на необходимость проведения дополнительного исследования для выявления возможных заболеваний.