Исследование методов ансамблирования нейронных сетей в рамках решения задачи прогнозирования количества фитопланктона
ВВЕДЕНИЕ
На сегодняшний день искусственные нейронные сети становятся доступнее и все чаще применяются для решения разнообразных задач[1–5]. Большинство таких сетей показывают наилучшие результаты при обучении на больших объемах данных. Однако не для всех задач, в которых используются искусственные нейронные сети, возможно получить достаточно большую выборку данных[6]. В частности, если измерения могут быть сняты только через длительный промежуток времени. В таких случаях применение ансамблирования моделей нейронных сетей может быть полезным. Исследования показывают, что зачастую ансамбли ИНС дают более точные предсказания, чем отдельные входящие в них модели[7–9].
СОДЕРЖАНИЕ
СПИСОК СОКРАЩЕНИЙ 3
ВВЕДЕНИЕ 4
1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ 6
1.1. Искусственные нейронные сети 6
1.2. Ансамблирование нейронных сетей 10
1.3. Задача регрессии 15
1.4. Обзор аналогов 17
1.4.1. Описание существующих аналогов 17
1.4.2. Описание критериев 19
2. ВЫБОР МЕТОДА РЕШЕНИЯ 20
2.1. Постановка задачи 20
2.2. Описание исходных данных 20
2.3. Метод ансамблирования перекрестной проверки 22
2.4. Метод ансамблирования бэггинг 23
2.5. Метод ансамблирования бустинг 25
2.6. Методы агрегации базовых моделей ансамбля 26
3. ОПИСАНИЕ МЕТОДА РЕШЕНИЯ 29
3.1. Используемые технологии 29
3.2. Программная реализация 30
3.3. Построение базовых моделей 30
3.4. Метод ансамблирования перекрестной проверки 31
3.5. Метод ансамблирования бэггинг 32
3.6. Метод ансамблирования бустинг 33
3.7. Оценка результатов и методов 35
4. ЭКОНОМИЧЕСКОЕ ОБОСНОВАНИЕ ВКР 39
4.1. Концепция экономического обоснования 39
4.2. Расчет расходов на оплату труда согласно план-графику работ 39
4.3. Расчет отчислений на социальные нужды 41
4.4. Расчет затрат на материалы 42
4.5. Расходы на спецоборудование 43
4.6. Расходы на содержание и эксплуатацию оборудования 43
4.7. Затраты по работам, выполняемым сторонними организациями 44
4.8. Амортизационные отчисления 44
4.9. Накладные расходы 45
4.10. Расчет полной себестоимости 45
4.11. Вывод 45
ЗАКЛЮЧЕНИЕ 46
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 47
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Huang W. Neural networks in finance and economics forecasting // Int. J. Inf. Technol. Decis. Mak. 2007. Т. 6, № 1. С. 113–140.
2. Khan Z. H. Artificial neural network and medicine // Indian J. Physiol. Pharmacol. 1998. Т. 42, № 3. С. 321–342.
3. Солдатова О.П., Гаршин А.А. Применение сверточной нейронной сети для распознавания рукописных цифр // Компьютерная оптика. 2010. Т. 34, № 2. С. 252–259.
4. Abiodun O.I. et al. State-of-the-art in artificial neural network applications: A survey // Heliyon. Elsevier Ltd, 2018. Т. 4, № 11. С. e00938.
5. Фаустова К.И. НЕЙРОННЫЕ СЕТИ: ПРИМЕНЕНИЕ СЕГОДНЯ И ПЕРСПЕКТИВЫ РАЗВИТИЯ // Территория науки. 2017. № 4. С. 83–87.
6. Kitchin R., Lauriault T.P. Small data in the era of big data // GeoJournal. Springer Netherlands, 2015. Т. 80, № 4. С. 463–475.
7. Dietterich T. G. Ensemble learning // Handb. brain theory neural networks. 2002. Т. 2, № 1. С. 110–125.
8. Opitz D., Maclin R. Popular Ensemble Methods: An Empirical Study // J. Artif. Intell. Res. 1999. Т. 11. С. 169–198.
9. Ganaie M.A. et al. Ensemble deep learning: A review // arXiv Prepr. arXiv2104.02395. 2021.
10. Harvey S., Harvey R. An introduction to artificial intelligence // Appita J. 1998. Т. 51, № 1.
11. Brownlee J. Ensemble learning methods for deep learning neural networks // Mach. Learn. Mastery. 2018.
12. Кревчик А. Б. Изучение влияния параметров инициализации весов на качество обучения нейронных сетей прямого распространения // Выпускная квалификационная работа. 2021. С. 62–65.
13. Grigoryeva N.Y. et al. Peculiarities of regression model design based on neural networks // J. Phys. Conf. Ser. 2020. Т. 1658, № 1.
14. Луценко Е. С. М.М.И. Годовая динамика численности бактериопланктона и бактериоперифитона каменистых субстратов литорали Кольского залива Баренцева моря // Фундаментальные исследования. 2014. Т. 8. С. 79–83.
15. Leijnen, S. Veen F. The neural network zoo // Multidiscip. Digit. Publ. Inst. Proc. 2020. Т. 47, № 1. С. 9.
16. Об индексации оплаты труда работников университета // Приказ ректора СПбГЭТУ «ЛЭТИ» №ОД/0432 от 15.10.2020 г.
Программная реализация работы состоит из различных функций, которые обращаются друг к другу. Функции можно условно разделить на следующие группы: агрегация моделей, построение графиков, архитектура моделей, подготовка набора данных, вспомогательные функции и основная функция.
В основной функции с помощью параметров определяется используемый метод ансамблирования и количество создаваемых ансамблей, а также производится запись результатов обучения каждого из ансамблей в csv файл для сбора статистики по каждому из методов.