МЕТОДЫ И АЛГОРИТМЫ ОБРАБОТКИ ТЕКСТОВ НА НАЦИОНАЛЬНЫХ ЯЗЫКАХ РОССИИ: РАЗРАБОТКА И ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ

Назипов Рустам Салаватович

В данной статье рассматриваются методы и алгоритмы, направленные на обработку текстов на национальных языках России с использованием нейронных сетей. Описаны современные подходы к машинному обучению, такие как рекуррентные нейронные сети (RNN), сети долгосрочной краткосрочной памяти (LSTM) и трансформеры, а также их применение к специфическим задачам обработки текстов на национальных языках. Учитываются проблемы, связанные с ограниченным объемом данных и высокой морфологической сложностью этих языков. Предложены новые методы и алгоритмы, которые могут улучшить точность и производительность моделей. В статье также обсуждаются вопросы предобработки текстов, включая токенизацию, лемматизацию и морфологический анализ, и их влияние на качество моделирования. Приведены результаты сравнительного анализа различных методов и определены направления для дальнейших исследований.

Ключевые слова:Обработка текстов, искусственный интеллект, национальные языки, нейронные сети, машинное обучение, RNN, LSTM, трансформеры.