РАЗРАБОТКА МЕТОДОЛГИИ УНИФИКАЦИИ ЗАГРУЗКИ ДАННЫХ В ХРАНИЛИЩЕ ДАННЫХ МОДЕЛИ DATA VAULT

Конаков Павел Олегович

В процессе работы предприятия с корпоративным хранилищем данных встаёт вопрос стандартизации и унификации потоков загрузки данных с источников. Единый подход необходим для того, чтобы в рамках загруженных объектов данных разными потоками сохранялся принцип актуализации и историчности. В рамках данной статьи предлагается создание дополнительного слоя абстракции для метаданных, описывающих принцип загрузки при помощи ETL-процессов. ETL-процесс подразделяется на две составные части: управляющий поток, создаваемый на основе заранее разработанного шаблона с проработанным алгоритмом сбора параметров запуска рабочего потока, который и реализует логику загрузки данных из источника в целевую таблицу. На основе описанной мета-информации соответствующий компонент КХД собирает потоки для оркестратора ETL-потоков.

Ключевые слова:большие данные, обработка информации, корпоративное хранилище данных, ETL-процесс, стандартизация разработки