Разработка системы пространственной разметки с использованием машинного зрения
ВВЕДЕНИЕ
В настоящее время с развитием трехмерной графики возможность создавать трехмерные модели существующих объектов возросла многократно, в том числе и для задач строительного контроля. Имея перед глазами стоящийся объект, мы можем оценить степень его готовности, изучив больше - качество проделанной работы застройщиков и сформировать отчет. Однако появляется желание автоматизировать этот процесс. С использованием сенсоров машинного зрения хочется получить отчет об состоянии строительного объекта просто отправив на вход последовательность изображений, тем самым уменьшается вероятность сфабриковать документы, демонстрируется наглядный результат проделанной работы в виде 3D модели состояния строительного объекта, уменьшается участие человека. На сегодняшний день количество таких программ единицы, а учитывая, что решение интересно потенциальным заказчикам, то должно требовать как можно меньше затрат на оборудование и использование.
Объектом исследования данной работы является автома
Содержание
ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ 11
ВВЕДЕНИЕ 12
1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ 14
1.1 Основные подходы к решению задачи трехмерной реконструкции 14
1.2 Понятие фотограмметрии 16
1.3 Фотограмметрический процесс 17
1.3.1 Описание процесса 17
1.3.2 Внутреннее ориентирование снимка 18
1.3.3 Внешнее ориентирование снимка 20
1.3.4 Восстановление координат 21
1.3.5 SfM метод 23
1.4 Исследование проблем, возникающих при трехмерной реконструкции объектов 26
1.4.1 Общая информация 26
1.4.2 Труднодоступность съемки отдельных частей 26
1.4.3 Объемы данных и время 27
1.4.4 Погодные условия 27
1.4.5 Специфика строительства 27
1.4.6 Выводы 28
2. Обоснование выбранного метода решения задачи трехмерной реконструкции 29
2.1 Использование «воздушной» фотограмметрии для задач автоматизации строительного контроля 29
2.1.1 Описание решения 29
2.1.2 Преимущества и недостатки «воздушной» фотограмметрии 29
2.1.3 Выводы по использованию «воздушной» фотограмметрии 30
2.2 Использование нейросетевого подхода для задач автоматизации строительного контроля 30
2.2.1 Описание решения 30
2.2.2 Серия экспериментов восстановления трехмерной модели с использованием НС 32
2.2.3 Выводы по использованию нейросетевого подхода для задач автоматизации строительного контроля 35
2.3 Выводы 36
3. Сравнение аналогов 37
3.1 Обоснование выбора 37
3.2 Lement Pro Building 37
3.3 Стройконтроль 37
3.4 Synchro 4D 38
3.5 Autodesk Navisworks 38
3.6 Faro BuildIT 39
3.7 Pix4D 39
3.8 Критерии сравнения программ 40
3.8.1 Визуализация модели 40
3.8.2 Измерение характеристик 40
3.8.3 Документооборот 40
3.8.4 Планирование календаря 41
3.9 Результаты сравнения 41
4. Описание решения 43
4.1 Постановка задачи 43
4.2 Описание черного ящика 43
4.3 Описание этапов обработки данных 44
4.4 Сценарии использования 45
4.4.1 Выделение ролей 45
4.4.2 Описание сценариев 46
4.5 Стек используемых технологий 48
4.6 Архитектура системы 49
4.7 База данных 53
4.8 Развертывание системы 56
4.8.1 Требования к компьютеру 56
4.8.2 Зависимости 56
4.8.3 Сборка 57
4.9 Реализация взаимодействия с внешним ПО 57
4.9.1 Описание ПО Meshroom 58
4.9.2 Реализация взаимодействия с Meshroom 61
4.9.3 Реализация взаимодействия с Meshlab 62
4.10 Задание конфигураций пользователем в системе 62
4.10.1 Задание конфигураций Meshroom 62
4.10.2 Задание конфигураций камер (EXIF) 63
4.10.3 Задание конфигураций CCTag 64
4.10.4 Задание масок изображений 66
4.10.5 Задание локаций камер 68
4.10.6 Задание локаций 68
4.10.7 Задание локаций датасета 69
4.10.8 Задание словаря «солнечности» 70
4.10.9 Задание параметров обрезки 70
4.11 Работа с датасетами в системе 73
4.12 Работа с проектами в системе 74
4.13 Работа с шагами проекта 75
4.13.1 Описание общих полей 75
4.13.2 Управление очередью шагов 76
4.13.3 Шаг ImageFilter 76
4.13.4 Шаг ImageAutoFilter 77
4.13.5 Шаг ImageMask 79
4.13.6 Шаг EXIF 80
4.13.7 Шаг Meshroom 80
4.13.8 Шаг ModelAutoAlign 81
4.13.9 Шаг ModelTransform 83
4.13.10 Шаг ModelScale 83
4.13.11 Шаг ModelAutoScale 84
4.13.12 Шаг MeshlabHole 85
4.13.13 Шаг CropModel 85
4.13.14 Шаг CalcAttributes 88
4.13.15 Шаг Weather 89
4.14 Просмотр полученных результатов 89
4.14.1 Сцена просмотра модели 89
4.14.2 Экспорт результатов 91
4.14.3 Документооборот 91
4.15 Формы администратора 92
4.16 Использование шаблонов 94
4.16.1 Создание шаблона 94
4.16.2 Запуск по шаблону 94
4.17 Автоматизация процесса съемки камерами Basler 95
4.17.1 Обоснование выбранных элементов системы 95
4.17.2 Автоматизация работы с камерой Basler 97
4.18 Отладка и тестирование 100
5. Описание датасетов 101
5.1 LETI_#07 101
5.2 LETI_#15 101
5.3 STAND_#01 102
6. Эксперименты 103
6.1 Определение точности оценки линейных размеров и объема 103
6.2 Выявление факторов, влияющих на точность оценивания 104
6.3 Оценка эффективности использования двухветвевого пайплайна 105
6.4 Оценка эффективности постобработки моделей в Meshlab 106
6.5 Использование фильтра яркости/контрастности. 107
6.6 Использование масок изображений 108
6.7 Использование шага автоматического масштабирования 109
6.8 Выводы 110
6.9 Направления дальнейших исследований 111
7. Специальные вопросы обеспечения безопасности 112
7.1 Информация о разработанной системе 112
7.2 Аспекты эргономики программного обеспечения 112
7.2.1 Приемлемость организации диалога для производственного задания 113
7.2.2 Информативность 116
7.2.3 Соответствие ожиданиям пользователей 118
7.2.4 Пригодность для обучения 120
7.2.5 Контролируемость 121
7.2.6 Устойчивость к ошибкам 123
7.2.7 Выводы 126
ЗАКЛЮЧЕНИЕ 127
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 128
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВBIBLIOGRAPHY[В Интернете] // Intel® RealSense™ LiDAR Camera L515. - 08 05 2020 г.. - https://www.intelrealsense.com/lidar-camera-l515/.
[В Интернете] // Стоимость цифровых фотоаппаратов Amazon. - 08 05 2020 г.. - https://www.amazon.com/Digital-Cameras/b?ie=UTF8&node=281052.
[В Интернете] // GameReady Cottage 3D модель. - 10 05 2020 г.. - https://free3d.com/3d-model/gameready-cottage-free-163528.html.
[В Интернете] // Полученные трехмерные модели здания. - 25 05 2020 г.. - https://sketchfab.com/kovinevmv/models.
[В Интернете] // TIOBE Index. - 12 05 2020 г.. - https://www.tiobe.com/tiobe-index/.
[В Интернете] // Panda 3D. - 11 05 2020 г.. - https://www.panda3d.org/.
[В Интернете] // PyQt5. - 11 05 2020 г.. - https://doc.qt.io/qtforpython/.
[В Интернете] // Meshlab. - 11 05 2020 г.. - http://www.meshlab.net/.
[В Интернете] // 3D Scanning: Understanding the Differences In LIDAR, Photogrammetry and Infrared Techniques. - 30 05 2020 г.. - https://www.engineering.com/Hardware/ArticleID/14541/3D-Scanning-Understanding-the-Differences-In-LIDAR-Photogrammetry-and-Infrared-Techniques.aspx.
3D Reconstruction Market [В Интернете] // Mordor Intelligence. - Mordor Intelligence, 30 05 2020 г.. - 30 05 2020 г.. - https://www.mordorintelligence.com/industry-reports/3d-reconstruction-market.
3D reconstruction using interval methods on the kinect device coupled with an IMU [Журнал] / авт. Bethencourt A. и Jaulin L. // International Journal of Advanced Robotic Systems. - 2013 г.. - 2 : Т. 10. - стр. 93.
3DF Zephyr [В Интернете] // 3DF Zephyr. - 2020 г.. - 15 05 2020 г.. - https://www.3dflow.net/3df-zephyr-pro-3d-models-from-photos/.
A comparison of perceptually-based metrics for objective evaluation of geometry processing [Журнал] / авт. Lavoué G. и Corsini M. // IEEE Transactions on Multimedia. - 2010 г.. - 7 : Т. 12. - стр. 636-649.
Программа создает единую информационную среду для всех участников строительства. Позволяет работать с BIM-моделями и их компонентами. В программе Lement Pro Building имеется возможность настраивать автоматическую раскраску элементов модели по текущему статусу, автоматически вычислять состояние элементов в зависимости от статуса связанных задач или документов. Кроме того, софт обеспечивает запуск бизнес-процессов в системе в момент изменения BIM-элемента. В целом, программа максимально охватывает и автоматизирует все процессы, возникающие между участниками строительства, делает эффективным документооборот по объекту.