СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭФФЕКТИВНОСТИ СИСТЕМНЫХ ПРОМПТОВ ДЛЯ ЮРИДИЧЕСКИХ АГЕНТОВ, ОСНОВАННЫХ НА БОЛЬШОЙ ЯЗЫКОВОЙ МОДЕЛИ GPT-4O MINI

Подопригора Владимир Николаевич, Соболев Денис Вячеславович, Папко Арсений Максимович, Александров Данила Александрович, Попов Дмитрий Александрович

В статье представлены результаты экспериментального исследования, направленного на оптимизацию системных промптов для повышения качества ответов больших языковых моделей в области юридического консультирования. На примере модели GPT-4o mini проанализирована эффективность четырёх вариантов промптов, включая универсальные и специализированные (под Семейный кодекс РФ), а также их модификации. Использован тестовый набор из 40 вопросов по семейному праву, оценка ответов проводилась автоматизированной системой на базе модели старшего поколения DeepSeek v3. Результаты показали, что универсальный промпт (Агент № 1) превзошёл специализированный (Агент № 2), несмотря на нулевую гипотезу об обратном, а модифицированный Агент № 3 с требованием краткости для закрытых вопросов достиг наивысшего соотношения «оценка/стоимость» (О/Ц = 72.8). Выявлены ключевые проблемы: зависимость от качества RAG-сервиса, склонность к галлюцинациям при отсутствии релевантных данных и снижение точности из-за избыточных объяснений. Предложен подход с применением ансамбля моделей младшего поколения для снижения затрат без потери качества. Исследование демонстрирует критическую роль структуры промптов в юридических ИИ-системах и открывает пути для дальнейшей оптимизации.

Ключевые слова:системный промпт, юридический агент, GPT-4o mini, Семейный кодекс РФ, RAG-сервис, оценка качества, оптимизация потребления токенов, сравнительный анализ, юридическое консультирование, стоимость генерации.