СРАВНЕНИЕ СКОРОСТИ СХОДИМОСТИ ГРАДИЕНТНОГО И СТОХАСТИЧЕСКОГО ГРАДИЕНТНОГО СПУСКОВ ПРИ ОБУЧЕНИИ ПОЛНОСВЯЗНЫХ НЕЙРОННЫХ СЕТЕЙ

Верезубова Наталья Афанасьевна, Сакович Наталия Евгениевна, Чекулаев Артур Анатольевич

В данной работе представлено комплексное исследование взаимосвязи между темпом обучения и эффективностью различных оптимизационных алгоритмов в задачах машинного обучения. Особое внимание уделяется сравнительному анализу классического и стохастического градиентного спуска, а также современным модификациям с использованием момента, адаптивной настройки параметров и регуляризации. Исследование демонстрирует нетривиальные взаимодействия между темпом обучения и другими гиперпараметрами, включая размер батча. Полученные результаты имеют практическую ценность для оптимизации процесса обучения нейронных сетей и могут быть использованы при разработке адаптивных методик подбора оптимальной конфигурации гиперпараметров, что особенно актуально в условиях ограниченных вычислительных ресурсов. Практическая ценность данного исследования заключается в том, что полученные знания позволяют значительно оптимизировать процесс обучения нейронных сетей. Результаты исследования могут быть использованы для разработки более эффективных и адаптивных методик подбора оптимальной конфигурации гиперпараметров. Это особенно актуально в условиях ограниченных вычислительных ресурсов, где оптимизация процесса обучения является критическим фактором для успешной работы. Понимание взаимосвязи между темпом обучения и другими гиперпараметрами позволяет избежать длительного и дорогостоящего перебора вариантов, сокращая время и ресурсы, необходимые для обучения эффективной модели машинного обучения.

Ключевые слова:полносвязная нейронная сеть, стохастический градиентный спуск, оптимизация, темп обучения, локальные минимумы, функция потерь, точность модели, влияние размера батча.