Журнал «Современная Наука»

РАЗРАБОТКА И ИССЛЕДОВАНИЕ СЕРВИСА ДЛЯ ДЕДУПЛИКАЦИИ ДАННЫХ В ХРАНИЛИЩЕ

Пантюхин Андрей Максимович (Санкт-Петербургский политехнический университет Петра Великого )

Гладун Владимир Вадимович (Санкт-Петербургский политехнический университет Петра Великого )

Малинин Илья Игоревич (Санкт-Петербургский политехнический университет Петра Великого )

Молодяков Сергей Александрович (Д.т.н., профессор Санкт-Петербургский политехнический университет Петра Великого )

Рассмотрен сервис дедупликации на основе хеш-функций для минимизации объема хранимых данных. Основной алгоритм работы включает разделение данных на сегменты фиксированного размера, вычисление уникальных хеш-значений для каждого сегмента, и сохранение только уникальных блоков данных с созданием ссылок на дубликаты. Технологический стек включает Python, MongoDB и библиотеку MongoEngine. Приводятся результаты исследования, связанные с использованием разных алгоритмов хеширования, размеров сегментов деления данных.

Ключевые слова:дедупликация данных, хеш-функции, система хранения данных, оптимизация хранения, MongoDB, Python, MongoEngine.

Читать полный текст статьи …

Ссылка для цитирования:
Пантюхин А. М., Гладун В. В., Малинин И. И., Молодяков С. А. РАЗРАБОТКА И ИССЛЕДОВАНИЕ СЕРВИСА ДЛЯ ДЕДУПЛИКАЦИИ ДАННЫХ В ХРАНИЛИЩЕ // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и Технические Науки. -2024. -№07. -С. 118-123 DOI 10.37882/2223-2966.2024.7.32

ПРАВОВАЯ ИНФОРМАЦИЯ:
Перепечатка материалов допускается только в некоммерческих целях со ссылкой на оригинал публикации. Охраняется законами РФ. Любые нарушения закона преследуются в судебном порядке.
© ООО "Научные технологии"