Система обучения с подкреплением для генерации текстов работает следующим образом: система получает на вход неразмеченные данные и обрабатывает их случайным образом. 2 В ответ на это она получает положительные или отрицательные отзывы, в зависимости от результатов работы. 2

Некоторые ключевые компоненты типичной системы обучения с подкреплением: 1

• Агент (актор) выбирает действие на основе своей текущей политики. 1
• Критик оценивает результат (вознаграждение и следующее состояние) и обновляет свою оценку ценности. 1
• Модель вознаграждения (например, человеческая обратная связь) сообщает модели, насколько хорошо или плохо сгенерированный текст. 1
• Политика — стратегия модели для выбора следующего символа. 1
• Функция ценности оценивает, насколько полезен текущий контекст текста для получения качественных ответов в долгосрочной перспективе. 1

Простыми словами, обучение с подкреплением напоминает дрессировку: нейросеть получает за каждое действие оценку (награду или наказание) и, анализируя реакцию, обучается поступать в дальнейшем верно. 2

Со временем модель учится лучше соответствовать человеческим намерениям. 1 После каждого шага обучения параметры модели обновляются, что делает её более склонной давать качественные ответы на подобные запросы. 1