ПОИСК ДЕСТРУКТИВНОГО КОНТЕНТА В ТЕКСТЕ

Джуров Александр Андреевич

В данной статье рассматривается использование библиотеки sklearn и базы данных WordNet для классификации текста. Показан принцип работы стемминга, а также пример реализации его в python. Расписаны шаги Pipeline для построения модели и обработки данных. Были рассмотрены различные подходы к предобработке текста, включая токенизацию, удаление стоп-слов и лемматизацию. Использование базы данных WordNet позволило провести семантический анализ текста и улучшить качество классификации текста. Результаты экспериментов показали, что комбинирование методов sklearn и базы данных WordNet являются эффективным подходом к классификации текста. Показана демонстрация работы разработанного модуля с выводами результатов и общая схема работы модуля с описанием его работы.

Ключевые слова:sklearn, WordNet, Stemmer, классификация текста, Python, Pipeline