ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ АГЕНТА НА ОСНОВЕ МОДЕЛИ ИЕРАРХИЧЕСКОЙ ТЕМПОРАЛЬНОЙ ПАМЯТИ

Канонир Георгий, Фильченков Андрей Александрович

Современные методы обучения с подкреплением имеют ряд ограничений, наложенных использующейся парадигмой искусственных нейронных сетей с точечной моделью нейрона. Использование модели «иерархической темпоральной памяти» (HTM) имеет потенциал как для развития уже устоявшихся методов обучения, так и для создания новых. Целью данной работы является предложение нового дизайна блока пространственно-темпоральной памяти, позволяющего агенту на основе модели HTM учитывать темпоральный контекст ограниченной длинны и, за счёт этого, повысить эффективность его обучения при решении задач, в которых фактически получаемое вознаграждение зависит от темпорального контекста размера меньшего, чем максимальная длинна рассматриваемых в рамках решаемой задачи последовательностей наблюдений и действия.

Ключевые слова:биологически-правдоподобные методы машинного обучения, обучение с подкреплением, иерархическая темпоральная память