Компьютерное зрение для движения автономного транспорта в условиях городской среды
Разработка автономных транспортных средств в настоящее время является одним из наиболее актуальных вопросов в транспортном секторе. Они были разработаны для уменьшения и оптимизации дорожных заторов, снижения количества дорожно-транспортных происшествий (ДТП), перевозки грузов в опасных условиях и расширения использования транспортных средств для инвалидов. Актуальность этой задачи подчеркивается как наличием большого количества исследований на эту тему, так и тем, что многие автомобильные компании работают над этим вопросом.
Активная разработка самоуправляемых автомобилей началась в 2015 году, и на данном этапе производители уже признали стратегическую важность автономных транспортных средств. В настоящее время эта технология широко используется в промышленном секторе. Например, в некоторых странах беспилотные самосвалы используются для круглосуточной транспортировки необработанной руды. И думаю не стоит забывать про лидера в некоммерческой среде по изготовлению электромобилей Tesla которая предоставляет пользователям своих автомобилей за некоторую сумму позволяет добавить Full self-driving. И как раз-таки Tesla является на данный момент лидерам в разработке ПО для автономного транспорта в общедоступном секторе
ОГЛАВЛЕНИЕ
АННОТАЦИЯ 2
ОГЛАВЛЕНИЕ 3
ВВЕДЕНИЕ 5
ГЛАВА 1. АНАЛИЗ И СРАВНЕНИЕ МЕТОДОВ ДВИЖЕНИЯ АВТОНОМНОГО ТРАНСПОРТА 6
1.1 АВТОНОМНЫЙ ТРАНСПОРТ 6
1.2 ЗАДАЧА РАСПОЗНАВАНИЯ ОБЪЕКТОВ 7
1.3 ВЫВОДЫ ИЗ ТЕОРИИ РАСПОЗНАВАНИЯ ОБЪЕКТОВ 11
ГЛАВА 2. ТОЧНЫЕ МЕТОДЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ 13
2.1 МЕТОДЫ ОБНАРУЖЕНИЯ ОБЪЕКТОВ НА ОСНОВЕ ДАННЫХ LIDAR 13
2.1.1 МЕТОД КЛАСТЕРИЗАЦИИ 13
2.1.2 МЕТОД ОБРАБОТКИ С ПОМОЩЬЮ ФИЛЬТРА КАЛМАНА 13
2.2 МЕТОД ОБНАРУЖЕНИЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ LIDAR И МОНОКУЛЯРНОЙ КАМЕРЫ 14
2.3 МЕТОД КОМБИНИРОВАННОГО ИСПОЛЬЗОВАНИЯ LIDAR И МОНОКУЛЯРНОЙ КАМЕРЫ ДЛЯ РАСПОЗНАВАНИЯ ОБЪЕКТОВ 14
2.3.1 СОПОСТАВЛЕНИЕ ОБЛАКОВ ТОЧЕК И ИЗОБРАЖЕНИЙ 15
2.3.2 ОБЪЕДИНЕНИЕ ПРИЗНАКОВ 15
2.3.3 ФЬЮЗИНГ ИНФОРМАЦИИ 15
2.4 КОМПЛЕКСНЫЕ МЕТОДЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ 16
2.4.1 AVOD 16
2.4.2 POINTRCNN 17
2.4.3 SECOND 17
2.5 МЕТОД ОБНАРУЖЕНИЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ 18
2.5.1 МЕТОД КАСКАДНЫХ КЛАССИФИКАТОРОВ ХААРА 18
2.5.2 МЕТОД ГИСТОГРАММ ОРИЕНТИРОВАННЫХ ГРАДИЕНТОВ (HOG) 19
2.5.3 МЕТОД СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ (CNN) 19
2.5.4 МЕТОДЫ ДЕТЕКТИРОВАНИЯ НА ОСНОВЕ ГЛУБОКОГО ОБУЧЕНИЯ 19
2.5.5 МЕТОДЫ БАЗИРУЮЩИЕСЯ НА АНАЛИЗЕ ГРАНИЦ И ТЕКСТУР 19
2.5.6 МЕТОДЫ С ИСПОЛЬЗОВАНИЕМ БИНАРНЫХ ДЕСКРИПТОРОВ 20
2.5.7 МЕТОДЫ ОБНАРУЖЕНИЯ НА ОСНОВЕ ОТСЛЕЖИВАНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ 20
2.6 ЗАКЛЮЧЕНИЕ ПО ГЛАВЕ 20
ГЛАВА 3. ЗАДАЧА ДВИЖЕНИЯ АВТОНОМНОГО ТРАНСПОРТА В УСЛОВИЯХ ГОРОДСКОЙ СРЕДЫ 23
3.1 ФОРМИРОВАНИЕ ЗАДАЧИ 23
3.2 ПОСТРОЕНИЯ ВЕКТОРА ДВИЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ OPENCV 23
3.2.1 ОБРАБОТКА ИЗОБРАЖЕНИЯ 24
3.2.2 ОБНАРУЖЕНИЕ ЛИНИЙ 27
3.3 АЛГОРИТМ РАСПОЗНАВАНИЯ ПОЛОСЫ ДВИЖЕНИЯ 28
3.3.1 ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА И ВЕКТОРИЗАЦИЯ 28
3.3.2 ОБНОВЛЕНИЕ ЛИНИЙ ДОРОЖНОЙ РАЗМЕТКИ 31
3.3.3 СТАБИЛИЗАЦИЯ ПОЛУЧЕННЫХ ЛИНИЙ 32
3.3.4 РИСОВАНИЕ И ОБНОВЛЕНИЕ ИСХОДНОГО ИЗОБРАЖЕНИЯ 33
3.4 РАСПОЗНАВАНИЕ АВТОМОБИЛЕЙ 35
3.5 РАСПОЗНАВАНИЕ ДОРОЖНЫХ ЗНАКОВ 38
3.5.1 СБОР ДАННЫХ ДЛЯ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ 38
3.5.2 СОЗДАНИЕ НЕЙРОННОЙ СЕТИ 40
3.5.3 ИСПОЛЬЗОВАНИЕ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ 42
3.5.4 ОЦЕНКА ПРОИЗВОДИТЕЛЬНОСТИ 43
3.5.5 ТЕСТИРОВАНИЕ 44
ГЛАВА 4. РАЗРАБОТКА МОБИЛЬНОГО РОБОТА 46
4.1 АНАЛИЗ СУЩЕСТВУЮЩИХ РЕШЕНИЙ 46
4.2 ТЕСТОВЫЙ СТЕНД 46
ЗАКЛЮЧЕНИЕ 49
ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ: 50
ПРИЛОЖЕНИЕ 1: АЛГОРИТМ РАСПОЗНАВАНИЕ ПОЛОСЫ CV 51
ПРИЛОЖЕНИЕ 2: РАСПОЗНАВАНИЕ ПОЛОС ДВИЖЕНИЯ 53
ПРИЛОЖЕНИЕ 3: РАСПОЗНАВАНИЕ АВТОМОБИЛЕЙ 58
ПРИЛОЖЕНИЕ 4: РАСПОЗНОВАНИЕ ДОРОЖНЫХ ЗНАКОВ 59
Веренцов С. И. и др. Байесовская вероятностная локализация автономного транспортного средства путем ассимиляции сенсорных данных и информации о дорожных знаках //Компьютерные исследования и моделирование. – 2018. – Т. 10. – №. 3. – С. 295-303.
Агафонов А. А., Юмаганов А. С. Сравнение методов детектирования трехмерных объектов в задаче автономного вождения транспортных средств //Информационные технологии и нанотехнологии (ИТНТ-2020). – 2020. – С. 277-284.
Введение в OpenCV применительно к распознаванию линий дорожной разметки // https://github.com/dnkirill/carnd/blob/master/p1_lane_lines_detection/P1.ipynb https://habr.com/ru/company/newprolab/blog/328422/
Следование линии на основе OpenCV //
https://github.com/tprlab/pitanq-dev/tree/master/selfdrive/follow_line
https://habr.com/ru/post/426675/
Нам Д. З., Ивановский С. А. Приближённые алгоритмы локализации мобильного робота //Системы анализа и обработки данных. – 2014. – №. 2 (55). – С. 109-121.
Метод сверточных нейронных сетей (CNN)Сверточные нейронные сети являются мощными инструментами для анализа изображений и обнаружения объектов. Они используются для автоматического извлечения признаков из изображений и последующего классификации объектов. CNN состоят из нескольких слоев свертки и пулинга, которые обрабатывают входные изображения, выделяя важные признаки. Затем эти признаки передаются в полносвязные слои для классификации объектов. CNN методы достигли высоких результатов в области распознавания объектов, включая обнаружение лиц, автомобилей и других объектов.