ИНТЕГРАЦИЯ ДАННЫХ В ХРАНИЛИЩЕ ИЗ РАЗНОФОРМАТНЫХ СИСТЕМ-ИСТОЧНИКОВ: МЕТОДЫ И ПРАКТИКИ

Дементьева Елена Максимовна

Целью нашей работы является описание апробации некоторых архитектурных решений и методов, обеспечивающих надёжную, масштабируемую и высококачественную интеграцию данных в централизованное хранилище. Актуальность исследования обусловлена необходимостью эффективной интеграции данных из разнотипных и разнородных источников в условиях стремительного роста объёмов, скорости поступления и разнообразия данных, что является ключевым вызовом для корпоративных и информационного-аналитических систем. В статье рассматриваются подходы к объединению информации из реляционных СУБД, API-интерфейсов и файловых хранилищ с последующей загрузкой в аналитическую систему на базе ClickHouse. Представлены технологии и инструменты (Apache NiFi, Apache Airflow, Apache Kafka в связке с Debezium, dbt, Great Expectations), применяемые для реализации процессов ETL/ELT и контроля качества данных. В работе приведены результаты моделирования различных сценариев интеграции, включая пакетную и потоковую загрузку. Результаты исследования подтверждают эффективность ELT- и CDC-архитектур для построения современных платформ интеграции данных, способных обеспечить высокую производительность, устойчивость к сбоям и достоверность аналитической информации.

Ключевые слова:интеграция данных, хранилище данных, потоковая обработка, ETL/EL, архитектура данных.