Методы для помощи в аналитике больших данных
Как таковых сборников методов или же методик нет, есть только отдельные общепризнанные методы, которые известны в определенном кругу специалистов.
Методы можно поделить на глобальные и локальные.
Глобальные методы для аналитики Big Data – это те методы, которые уникальны для всех систем управления базами данных и процедурных расширений.
Локальные методы для аналитики Big Data – это методы, которые применяются в одной или нескольких СУБД и подобного рода систем.
О глобальных методах:
Предварительная обработка – данные за ранее можно подготовить, что было проще с ними работать, например, убрать лишнее, привести все атрибуты к своим типам данных, почистить пусты данные и т.д.
Добыча данных – схожа с методом предварительной обработки за несколькими исключениями: тут, когда мы смотрим на данные, мы их кластеризуем, партицируем или же группируем, зависит от системы, и, на этом этапе ищем отклонения для их чистки и дальнейшей аналитики.
Содержание не найдено
Список литературы
Вендров А.М. Современные технологии создания программного обеспечения //Jetlnfo Online, 2004. № 4. С. 23-35.
ГОСТ 7.32-2017. Система стандартов по информации библиотечному и издательскому делу. Отчет о научно-исследовательской работе. Общие требования правила составления. Введ. 25.09.2017. М.
Затонский А. В. Информационные технологии: разработка информационных моделей и систем. СПб. СПГУиФ. 2014. 339 с.
Big Data Analytics – Краткое руководство // Статья про аналитику, методологии и методы работы с Big Data. [Электронный ресурс]. URL: https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/izuchite-analitiku-bolshikh-dannykh/big-data-analytics-kratkoe-rukovodstvo (дата обращения 30.04.2022).
Big Data: как применять и анализировать большие данные? // Статья Комсомольской правды про Big Data. [Электронный ресурс]. URL: https://www.kp.ru/guide/analiz-bol-shikh-dannykh.html#motods (дата обращения 30.04.2022).
Нейронный анализ – анализ через нейронные сети, что позволит по ранее просчитанной модели, привести данные в удобоваримый вид, для дальнейшей аналитики, а также как сам метод – и средство аналитики.
Оперативное хранение – метод, при котором используются только «живые» данные, это значит, что данные лучше долго не хранить, по общепринятым стандартам, данные утрачивают свою актуальность через 5 лет, а так как мы работаем с данными, нам не нужные старые данные ведь с каждым годом все больше и больше данных анализируется и еще больше собирается, и складируется.
Статистический вывод или же визуализация – метод для отражения данных на графическом виде, например разные графики и дэшборды.
Локальные методы на примере Oracle (2 метода, так как их гораздо больше, и они узконаправленные):
Параллельность или же на сленге специалистов – хинты.