Повышение безопасности дорожного движения за счет определения опасного состояния водителя методами искусственного интеллекта
ВВЕДЕНИЕ
Согласно данным от RoSPA, до 20% дорожно-транспортных происшествий происходит из-за усталости водителя. Исследование NHTSA показало, что 80% всех столкновений происходят из-за того, что водитель отвлекается всего на 3 секунды [1]. Аварии, вызванные сонливостью водителя за рулем, могут привести к серьезным повреждениям для него самого, автомобиля и инфраструктуры, поскольку засыпающий водитель не может остановить транспортное средство или быстро реагировать на аварийную ситуацию, например, уклониться от столкновения с другим ТС или неподвижным объектом. Состояние сонливости характеризуется острым желанием уснуть, что увеличивает время реакции, снижает концентрацию и скорость принятия решений, а также негативно сказывается на бдительности. Состояния усталости и ослабленного внимания водителя за рулём транспортного средства (ТС) представляют реальную угрозу жизни людей и приводят к росту дорожнотранспортных происшествий. Чтобы предотвратить такие ситуации, существуют системы мониторинга сонливости, которые могут прогно
СОДЕРЖАНИЕ
ВВЕДЕНИЕ 3
1 Системы мониторинга состояния водителя 6
1.1 Анализ отчетов по состоянии вождения 6
1.2 Системы мониторинга состояния водителя 10
1.3 Подходы к распознаванию состояния водителя 11
1.4 Обзор систем мониторинга водителя 15
1.5 Выводы по главе 1 25
2 Сверточные нейронные сети 27
2.1 Искусственный интеллект, машинное обучение, глубокое обучение 27
2.2 Сравнение машинного и глубокого обучения 30
2.3 Полносвязные и сверточные нейронные сети 31
2.4 Перенос обучения 36
2.5 Распознавание образов и нейронные сети 39
2.6 Выводы по главе 2 42
3 Разработка алгоритма обнаружения состояния водителя 44
3.1 Набор Данных 45
3.2 Подбор архитектуры нейронной сети 47
3.2.1 MobileNet-V2 48
3.2.2 ResNet Network 49
3.2.3 VGG16 50
3.3 Cравнение архитектуры VGG-16, ResNet50 и MobileNetV2 50
3.4 Этапы выполнения алгоритма 51
4 Анализ результатов работы 54
4.1 Результаты экспериментов 54
4.2 Анализ результатов 55
4.3 Сравнение систем мониторинга состояния водителя 57
4.4 Выводы по главе 3 62
5 ЗАКЛЮЧЕНИЕ 64
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 66
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. The Royal Society for Prevention of Accidents. Driver Fatigue and Road Accidents Factshee. 2020. URL:https://www.rospa.com/media/documents/road-safety/driver-fatigue-factsheet.pdf (дата обращения 2023-04-24)
2. Sahayadhas, A.; Sundaraj, , M. Detecting Driver Drowsiness Based on Sensors: A Review // Sensors – 2012 – No. 12 – P.16937-16953. doi.org/10.3390/s121216937
3. Drowsy Driving and Automobile Crashes: Report and Recommendations. https://doi.org/10.21949/1525751
4. Tefft, B.C. Acute Sleep Deprivation and Risk of Motor Vehicle Crash Involvement (TechnicalReport). Washington, D.C.: AAA Foundation for Traffic Safety. 2016. - URL:https://aaafoundation.org/acute-sleep-deprivation-risk-motor-vehicle-crash-involvement/(дата обращения 2023-04-25)
5. Novak RD, Auvil-Novak SE. Focus group evaluation of night nurse shiftwork difficulties and coping strategies. Chronobiol Int. 1996 Dec;13(6):457-63. doi: 10.3109/07420529609020916.PMID: 8974191
6. American Academy of Sleep Medicine Board of Directors, Watson, N. F., Morgenthaler, T.,Chervin, R., Carden, K., Kirsch, Martin, J., Ramar, K., Rosen, I.,Weaver, T., & Wise, M. Confronting Drowsy Driving: The American Academy of SleepMedicine Perspective // Journal of clinical sleep medicine : JCSM : official publication of theAmerican Academy of Sleep Medicine, - 2015. – No. 11(11), - P.1335–1336.doi.org/10.5664/jcsm.5200
7. W Wierwille W. W. Overview of research on driver drowsiness definition and driver drowsiness detection //Proceedings: International Technical Conference on the Enhanced Safety of Vehicles. – National Highway Traffic Safety Administration, 1995. – Т. 1995. – С. 462-468.
8. Otmani S. et al. Effect of driving duration and partial sleep deprivation on subsequent alertness and performance of car drivers //Physiology & behavior. – 2005. – Т. 84. – №. 5. – С. 715-724.
9. Сапрыкин Я.Д., Рязанцев В.И., Смирнов А.А. Обзор подходов к распознаванию усталости водителя и существующих технических решений // Известия МГТУ МАМИ. – 2020. - № 3 (45). - С. 48-58.
10. Zhang W., Cheng B., Lin Y. Driver drowsiness recognition based on computer vision technology //Tsinghua Science and Technology. – 2012. – Т. 17. – №. 3. – С. 354-362.
11. Peng K. et al. TransDARC: Transformer-based Driver Activity Recognition with Latent Space Feature Calibration //2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). – IEEE, 2022. – С. 278-285.
12. Yuan L., Su L., Wang Z. Federated Transfer-Ordered-Personalized Learning for Driver Monitoring Application //arXiv preprint arXiv:2301.04829. – 2023.
13. Liu D. et al. Toward Extremely Lightweight Distracted Driver Recognition With Distillation-
Для оценки состояния водителя используются такие метрики, как движение относительно полосы, вращение руля, давление на педаль газа и др. Эти параметры непрерывно мониторятся и если они отклоняются от нормы, система считает, что водитель засыпает.
Для обнаружения сонливости водителя на основе вращения руля необходим датчик вращения, однако при наличии электроусилителя руля такой датчик не требуется. В зависимости от угла поворота руля выделяются три параметра: малое вращение (до 5°), большое вращение (6° - 10°) и огромное значение (больше 10°). Бодрствующий водитель отвечает на изменения дороги в основном малыми углами вращения руля, в то время как сонливый водитель делает больше вращений на большой угол. Это связано с замедлением скорости реакции при сонливости. Для обнаружения сонливости по вращению руля учитываются только небольшие углы поворота, чтобы повороты на дороге или перестроение не были ошибочно приняты за признаки сонливости. Однако точность измерений на основе вращения руля сильно зависит от качества дорожного покрытия [8].
Отклонение от полосы является признаком снижения внимания водителя. Стандартное отклонение от полосы является широко используемой метрикой для обнаружения сонливости. Расчет отклонения от полосы производится как расстояние между