Проблема автоматического определения количества кластеров в задаче кластеризации контекстов

Капитанов Андрей Иванович, Трояновский Владимир Михайлович

При решении задачи кластеризации контекстов возникает проблема автоматического определения количества кластеров. Кластеризация контекстов позволяет эффективно разрешать проблему омонимии, что в свою очередь приводит к повышению качества ряда задач компьютерной лингвистики. На примере задачи классификации текстовых документов мы попытаемся вычислить необходимое количество кластеров для повышения доли распознанных документов. В ходе работы на основе плотностного алгоритма DBSCAN нам удалось вычислить количество кластеров, далее на основе агломеративной иерархической кластеризации разбить омонимичные контексты на кластеры и снять омонимию. После этого мы проверили качество классификации на основе алгоритма наивного байесовского классификатора и убедились в увеличении доли верно распознанных документов.

Ключевые слова:иерархическая кластеризация, кластерный анализ, классификация, полисемия, DBSCAN.