АНАЛИЗ СОВРЕМЕННЫХ ФУНДАМЕНТАЛЬНЫХ АРХИТЕКТУРНЫХ ПОДХОДОВ И МЕТОДОВ ОБУЧЕНИЯ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ: ОТ ТРАНСФОРМЕРНОЙ РЕВОЛЮЦИИ К НОВОЙ ПАРАДИГМЕ ЭФФЕКТИВНОГО ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Белов Вячеслав Викторович, Никишов Сергей Иванович

Статья представляет собой комплексный анализ современного состояния исследований в области больших языковых моделей (Large Language Models, LLM). Рассматривается эволюция фундаментальных архитектурных решений от классического трансформера до современных специализированных подходов: декодер-моделей с эффективными механизмами внимания, смешанных экспертных систем (Mixture of Experts) и мультимодальных архитектур. Детально анализируются современные методы обучения, включая оптимальное масштабирование согласно закону Чинча, передовые подходы к курированию обучающих данных, методы выравнивания с человеческими предпочтениями (RLHF, DPO) и эффективные стратегии тонкой настройки (PEFT, LoRA). Выявляются ключевые тренды: переход от экстенсивного увеличения параметров к интеллектуальному проектированию архитектур, демократизация доступа через открытые модели и сдвиг в сторону создания мультимодальных систем нового поколения. Особое внимание уделяется перспективным направлениям исследований, включая модели с состоянием (State-Space Models) для бесконечного контекста и гибридные архитектуры.

Ключевые слова:большие языковые модели, архитектура трансформера, смешанные эксперты, мультимодальное обучение, выравнивание ИИ, эффективная тонкая настройка, длинный контекст, открытые модели