Автоматизированное распознавание бухгалтерских документов
ВВЕДЕНИЕ
В России законодательно установлено, что все юридические и физические лица, занимающиеся предпринимательской деятельностью, обязаны вести бухгалтерский учет и хранить копии первичных бухгалтерских документов в течение определенного срока.
Согласно статье 25 Федерального закона "О бухгалтерском учете", организации обязаны хранить копии первичных бухгалтерских документов в течение 5 лет с момента окончания отчетного периода, за который эти документы были составлены. Физические лица, занимающиеся предпринимательской деятельностью без образования юридического лица, также обязаны хранить копии первичных документов в течение 5 лет CITATION 23ht \l 1049 [1].
Глава компании несет ответственность за выполнение этих требований и должен обеспечить сохранность копий первичных документов. Нарушение требований по хранению первичных документов может привести к штрафным санкциям, а также к административной или уголовной ответственности.
СОДЕРЖАНИЕ
ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ7
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ10
ВВЕДЕНИЕ11
1 Описание предметной области13
1.1 Основные виды первичных бухгалтерских документов13
1.2 Классификация и извлечение данных14
1.3 Хранение и доступ до файлов15
2 Постановка задачи17
2.1 Пользовательские требования17
2.2 Функциональные требования18
2.3 Нефункциональные требования19
3 Сравнение с другими сервисами21
4 Выбор платформы для реализации23
4.1 Язык программирования Java23
4.2 Play framework24
4.3 PostgreSQL26
4.4 Nginx27
4.5 Docker28
4.6 ContentReader Engine29
5 Разработка системы31
5.1 Аутентификация34
5.2 Общая архитектура микросервисов35
5.3 Библиотека общей функциональности36
5.4 Сервис auth37
5.5 Сервис front38
5.6 Сервис file40
5.7 Сервис ocr40
5.8 Сервис распознавания42
5.9 Сервис парсинга43
5.10 Классификация документов44
5.11 Парсинг данных документов49
5.12 Возможности интеграции с системой53
6 Тестирование56
ЗАКЛЮЧЕНИЕ57
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ58
ПРИЛОЖЕНИЕ А61
ПРИЛОЖЕНИЕ Б68
ПРИЛОЖЕНИЕ В79
ПРИЛОЖЕНИЕ Г83
ПРИЛОЖЕНИЕ Д89
ПРИЛОЖЕНИЕ Е91
ПРИЛОЖЕНИЕ Ж109
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. ФЗ 402 «О бухгалтерском учете»: [Электронный ресурс]. URL: https://minfin.gov.ru/ru/document/?id_4=15014-federalnyi_zakon_ot_06.12.2011__402-fz_o_bukhgalterskom_uchete. (Дата обращения 02.05.2023).
2. Первичная документация в бухгалтерии: [Электронный ресурс]. URL: https://kontur.ru/bk/spravka/492-pervichnaya_dokumentaciya_vbuxgalterii. (Дата обращения 02.05.2023).
3. ЭДО в РФ: [Электронный ресурс]. URL: https://www.diadoc.ru/articles/21931-edo_v_rossii. (Дата обращения 02.05.2023).
4. Счет-фактура и УПД – в чем разница: [Электронный ресурс]. URL: https://nalog-nalog.ru/nds/schetfaktura/schet-faktura-i-upd-v-chem-raznica. (Дата обращения 02.05.2023).
5. Document Classification: [Электронный ресурс]. URL: https://www.altexsoft.com/blog/document-classification/. (Дата обращения 02.05.2023).
6. ContentAI OCR: [Электронный ресурс]. URL: https://contentai.ru/ocr-sdk#!/tab/437172876-3. (Дата обращения 02.05.2023).
7. SMB: [Электронный ресурс]. URL: https://learn.microsoft.com/ru-ru/windows-server/storage/file-server/file-server-smb-overview. (Дата обращения 02.05.2023).
8. Simple Storage Service (S3): [Электронный ресурс]. URL: https://cloud.ru/ru/warp/blog/ispolzovanie-oblachnogo-s3-hranilishcha. (Дата обращения 02.05.2023).
9. Binary files in DB: [Электронный ресурс]. URL: https://wiki.postgresql.org/wiki/BinaryFilesInDB. (Дата обращения 02.05.2023).
10. JWT vs Sessions: [Электронный ресурс]. URL: https://www.loginradius.com/blog/engineering/guest-post/jwt-vs-sessions/. (Дата обращения 02.05.2023).
11. 1С:Распознавание первичных документов: [Электронный ресурс]. URL: https://portal.1c.ru/applications/1C-Document-Recognition#capabilities. (Дата обращения 08.05.2023).
12. Универсальная платформа для интеллектуаль¬ной обработки информации ContentCapture: [Электронный ресурс]. URL: https://contentai.ru/datacapture#!/tab/500594309-2. (Дата обращения 08.05.2023).
13. Java (programming language): [Электронный ресурс]. URL: https://en.wikipedia.org/wiki/Java_(programming_language). (Дата обращения 15.05.2023).
14. TIOBE Index for May 2023: [Электронный ресурс]. URL: https://www.tiobe.com/tiobe-index/. (Дата обращения 10.05.2023).
15. PYPL PopularitY of Programming Language: [Электронный ресурс]. URL: https://pypl.github.io/PYPL.html. (Дата обращения 10.05.2023).
16. Play Framework - Build Modern & Scalable Web Apps with Java and Scala: [Электронный ресурс]. URL: https://www.playframework.com/. (Дата обращения 13.05.2023).
17. PostgreSQL: Documentation: 15: Appendix K. PostgreSQL Limits: [Электронный ресурс]. URL: PostgreSQL: Documentation: 15: Appendix K. PostgreSQL Limits. (Дата обращения 13.05.2023).
18. nginx: [Электронный ресурс]. URL: https://nginx.org/ru/. (Дата обращения 13.05.2023).
19. Docker overview | Docker Documentation: [Электронный ресурс]. URL: https://docs.docker.com/get-started/overview/. (Дата обращения 21.05.2023).
20. ContentReader Engine OCR SDK: [Электронный ресурс]. URL: https://contentai.ru/ocr-sdk#!/tab/437172876-2. (Дата обращения 13.05.2023).
21. Microservice Architecture pattern: [Электронный ресурс]. URL: https://microservices.io/patterns/microservices.html. (Дата обращения 21.05.2023).
22. Representational state transfer: [Электронный ресурс]. URL: https://en.wikipedia.org/wiki/Representational_state_transfer. (Дата обращения 21.05.2023).
23. Database per service: [Электронный ресурс]. URL: https://microservices.io/patterns/data/database-per-service.html. (Дата обращения 21.05.2023).
24. API gateway pattern: [Электронный ресурс]. URL: https://microservices.io/patterns/apigateway.html. (Дата обращения 21.05.2023).
25. NGINX SSL Termination | NGINX Documentation: [Электронный ресурс]. URL: https://docs.nginx.com/nginx/admin-guide/security-controls/terminating-ssl-http/. (Дата обращения 02.05.2023).
Такой подход обеспечивает гибкость в конфигурации и уменьшает связанность компонентов, позволяя разработчикам легче управлять сложностью системы и поддерживать ее в ходе изменений.
Библиотека общей функциональностиБиблиотека, используемая всеми микросервисами системы, играет центральную роль в обеспечении эффективного и безопасного взаимодействия между различными частями системы. Она включает в себя набор клиентов для доступа к функционалу других микросервисов. Эти клиенты обеспечивают унифицированный интерфейс для общения между сервисами, что обеспечивает согласованность взаимодействия и уменьшает вероятность ошибок.
Ключевым компонентом библиотеки являются DTO (Data Transfer Object) модели. Они предоставляют стандартизированный способ передачи данных по API между сервисами. DTO модели используются для обмена информацией в структурированном и типизированном виде