СОВРЕМЕННЫЕ МЕТОДЫ ИСПОЛЬЗОВАНИЯ ИНВЕРТИРОВАННОГО ИНДЕКСА

Шранк Алексей Александрович

Алгоритм инвертированного индекса является одним из наиболее популярных алгоритмов, используемых в поисковых системах и системах документооборота предприятий. Простота алгоритма делает его универсальным для применения к любым представлениям данных, что послужило созданию множества адаптаций и улучшений. Примерами таких улучшений могут быть такие алгоритмы как TF-IDF или BM25. В статье рассматривается отечественный и зарубежный опыт применения инвертированного индекса, его модификации и способы адаптирования под специфику современных поисковых систем. Рассмотрены эволюция и вектор развития алгоритма, плюсы и минусы различных модификаций и области их применения. На данный момент большинство поисковых машин используют нейронные языковые модели. Это приводит к вынужденному использованию эмбеддингов как способу представления данных. С учетом анализа прошлых решений, был представлен способ применения алгоритма инвертированного индекса к эмбеддингам нейронной сети. Данное решение позволит использовать искусственный интеллект там, где раньше это было невозможно из-за использования инвертированного индекса, а также улучшить поисковые машины использующие нейросетевые модели.

Ключевые слова:инвертированный индекс, нейронные сети, поиск, поисковые машины, алгоритмы поиска, эмбеддинг, языковые модели.