Сравнительный анализ алгоритмов для рекомендательных систем
ВВЕДЕНИЕ
Объем генерации и хранения данных в Интернете увеличивается каждый день, что в большинстве случаев связано с достижением в области компьютерных технологий. Современные интеллектуальные методы анализа могут быть использованы для получения полезной информации из окружающих данных. Для тех, кто способен освоить эту технологию и её методы, получается большое конкурентное преимущество.
Ввиду того, что люди не могут держать в голове постоянно такие большие объемы информации, они могут и не справляются с поиском того, что им действительно нужно, поэтому многие web-сервисы начали предлагать пользователям советы по различным объектам, исходя из сведений, имеющихся в отношении пользователя и их интересов. Например, товары, которые похоже на ранее просмотренные, или которые дополняют уже приобретенными товары. Программа, пытающаяся предсказать, какие объекты будут интересны пользователю, называется рекомендациями. Рекомендационные системы анализируют многочисленные данные для того, что
СОДЕРЖАНИЕ
ВВЕДЕНИЕ 3
Глава 1. Системы рекомендаций 5
1. 1 Определение рекомендательных систем 5
1.2 Примеры рекомендационных систем 7
1.3. Типы рекомендательных систем 9
1.3.1 Коллаборативная фильтрация 10
1.3.2 Основанные на контенте 13
1.3.3 Основанные на знании 14
1.3.4 Гибридные 16
1.4 Методы построения систем рекомендации 16
1.4.1 Метод фильтрации коллаборации 16
1.4.2 Сингулярная вакуумная декомпозиция (SVD) 20
1.4.3 К-Means 22
1.5 Основные критерии оценки эффективности рекомендационной системы 23
1.6 Проблемы рекомендательных систем 27
Глава 2. Описание методик и особенностей их реализации 29
2.1 Описание использования данных 29
2.2 Практическое применение рекомендательных систем 30
2.2.1 Метод коллаборативной фильтрации 31
2.2.2 SVD 34
2.2.3 К-Means 34
2.3. Исследование влияния качества алгоритмов на популярность сервиса 35
Глава 3. Результаты использования рекомендационных систем 44
3.1 Оценка качества созданных моделей 44
3.1.1 Метод коллаборативной фильтрации 45
3.1.2 SVD 46
3.1.3 К-Means 47
3.2 Описание результатов работы 48
3.3 Рекомендации 51
ЗАКЛЮЧЕНИЕ 54
СПИСОК ЛИТЕРАТУРЫ (ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ) 56
СПИСОК ЛИТЕРАТУРЫ (ИСПОЛЬЗОВАННЫХ
ИСТОЧНИКОВ)
1. Алексеев А. Ю., Тыртов М. Д. Сравнительный анализ алгоритмов рекомендательных систем на основе метода Expectation-Maximization // Информационные технологии в науке, образовании и технике. — 2013. — № 1. — С. 288-292.
2. Бахвалов В. А., Никитин С. Е. Сравнительный анализ алгоритмов рекомендательных систем на основе методов машинного обучения // Математическое моделирование и информационные технологии. — 2010. — Т. 16. — № 1. — С. 7-13.
3. Белов В. Г., Резунова М. В. Сравнительный анализ алгоритмов реко-мендательных систем на основе байесовской статистики // Сборник научных трудов Института математики и механики Уральского научного центра РАН. — 2011. — Т. 17. — С. 91-98.
4. Головков М. В., Кондратенко А. С. Сравнительный анализ алгоритмов рекомендательных систем на основе метода Surprise // Математические проблемы в науке и технике. — 2015. — № 2.
5. Горбунов А. Д., Колесников М. В. Сравнительный анализ алгоритмов рекомендательных систем на основе метода Random Forest // Вестник Российской академии наук. — 2015. — Т. 85. — № 5. — С. 396-402.
6. Гусева Е. А., Карпов А. С. Сравнительный анализ алгоритмов рекомендательных систем на основе метода Singular Spectrum Analysis // Сборник научных трудов Института кибернетики им. А. Н. Колмогорова Российской академии наук. — 2011. — Т. 3. — С. 38-45.
7. Журавлев А. А., Шиккин Б. В. Сравнительный анализ алгоритмов рекомендательных систем на основе предложения тематически связанных товаров // Вестник Южно-Уральского государственного университета. Серия: Экономика и менеджмент. — 2013. — Т. 7. — № 2. — С. 50-56.
8. Киржаев А. Г., Кондрашкин Д. В. Сравнительный анализ алгоритмов рекомендательных систем на основе метода Singular Value Decomposi-tion // Проблемы информатики и управления. — 2012. — № 4. — С. 63-71.
9. Козлова Е.А. Рекомендательные системы в маркетинге: типы, принци-пы работы, реализация / Е.А. Козлова // Инновации в современном об-разовании: материалы Междунар. науч.-практ. конф. – Пермь, 2018.
10. Корбут А. И., Сорокин А. А. Сравнительный анализ алгоритмов реко-мендательных систем // Журнал Искусственный интеллект и принятие решений. — 2012. — Т. 3. — № 1. — С. 55-63.
11. Королева Д. Е., Филиппов М. В. Анализ алгоритмов обучения коллаборативных рекомендательных систем //Инженерный журнал: наука и инновации. — 2013. — №. 6. — С. 23-23.
12. Красикова Е.А. Использование рекомендательных систем в интернет-маркетинге: особенности, преимущества, примеры / Е.А. Красикова // Современные научные исследования и инновации. – 2019. – № 2 (16). – С. 48–55.
13. Краснопольский М. А. Сравните
Для решения первой задачи в системах рекомендации используется машинная подготовка. Так что, как мы уже говорили выше, мы должны выполнять скалярное произведение величин параметра пользователя pu и параметра фильма qi, но поскольку мы эти параметры не знаем, мы должны выполнить подборку параметров так, чтобы результат оценки был как можно более точным, что представляет собой типическую задачу минимизации ошибок.
Впрочем, здесь возникает следующая задача. Машинные алгоритмы подвержены так называемому «переобучению» — этот случай возникает, если ошибка на выборке подготовки достаточно мала, но на новые данные сильно увеличивается.
Эту проблему решает довольно стандартный способ машинного образования — добавление регуляризатора. Теперь мы постараемся достичь минимума не только ошибки, но и добавить к нему еще какую-то функцию из набора параметров, такую, как норма