ИССЛЕДОВАНИЕ МЕТОДОВ ВЕКТОРИЗАЦИИ НАУЧНЫХ ТЕКСТОВ ДЛЯ МНОГОЗАДАЧНОЙ КЛАССИФИКАЦИИ НА ОСНОВЕ РАЗЛИЧНОГО ОБЪЕМА ДАННЫХ

Потапова Ксения Александровна, Исаева Ирина Андреевна, Габриелян Гайк Ашотович

В рамках исследования проведён анализ разных методов векторизации в задаче классификации. Выбраны два статистических метода для векторизации научных статей: мешок слов и TF-IDF, и одна нейросетевая модель word2vec. Проведён сравнительный анализ разных моделей кластеризации, после чего для эксперимента были выбраны две модели: модификация логистической регрессии и случайный лес. Для оценки влияния объёма входных данных на качество классификации использованы три сценария: использование только заголовков, использование заголовков и аннотаций, использование заголовков, аннотаций и текстов статей. Каждый сценарий тестировался на всех методах векторизации и выбранных моделях классификации, что позволило выявить зависимость между полнотой данных, типом векторизации и итоговыми метриками качества классификации.

Ключевые слова:векторизация, научные статьи, машинное обучение, классификация, семантический анализ