СИСТЕМА СРАВНЕНИЯ ТЕКСТОВ: ЭТАПЫ ПРЕДОБРАБОТКИ И ОЦЕНКА ОРИГИНАЛЬНОСТИ ДОКУМЕНТОВ

Крез Карина Сергеевна, Шнейдеров Евгений Николаевич, Голушко Вадим Игоревич

В статье представлена методика автоматизированной оценки оригинальности текстовых документов, основанная на интеграции современных методов обработки естественного языка и классических алгоритмов сравнения текста. Предложенный подход включает трехэтапный алгоритм обработки данных: предварительную очистку и нормализацию документов, их семантическую векторизацию с использованием модели Sentence-BERT и последующую оценку степени сходства с помощью гибридного алгоритма. На этапе векторизации текст преобразуется в 384-мерные вложения, отражающие его семантическое содержание, что позволяет эффективно проводить семантический поиск потенциальных источников заимствований с использованием алгоритмов приближенного поиска ближайшего соседа (ИНС). Для точной количественной оценки степени совпадения используется метод шинлинга с хешированием, обеспечивающий детерминированное сравнение фрагментов текста. Разработанный алгоритм позволяет автоматизировать процесс проверки уникальности научно-учебных работ, снижая сложность ручной проверки и повышая надежность результатов. Предложенный гибридный подход сочетает в себе высокую эффективность семантического поиска с точностью классических методов сравнения и может эффективно применяться при работе с большими текстовыми базами данных.

Ключевые слова:векторизация документов, оценка оригинальности документов, выравнивание, встраивание, шингл.