Как работает система вознаграждения в обучении больших языковых моделей?

Система вознаграждения в обучении больших языковых моделей работает на основе обучения с подкреплением. dzen.ru www.techinsider.ru

В основе этого процесса лежит отдельная reward-модель, которая оценивает качество ответов основной модели. www.techinsider.ru AI-тренеры размечают ответы нейросети по параметрам правдивости, безопасности и полезности. www.techinsider.ru Например, специалист может получить пять ответов модели на один и тот же вопрос. www.techinsider.ru Он проверяет каждый из них, выставляет общую оценку качества, выделяет проблемные места и объясняет, что в них не так. www.techinsider.ru После этого специалисты ранжируют ответы от лучшего к худшему. www.techinsider.ru

На всех этих данных обучается reward-модель, которая впоследствии даёт обратную связь основной модели. www.techinsider.ru Она награждает её за полезные и правдивые ответы и штрафует за некачественные. www.techinsider.ru

Один из примеров системы вознаграждения — фреймворк RLSP (Reinforcement Learning via Self-Play). habr.com Он работает в три этапа: habr.com

1. Модель учится на примерах человеческого или AI-мышления (SFT). habr.com
2. Модель вознаграждается за изучение различных подходов к проблемам (RL). habr.com
3. Система проверяет ответы, чтобы обеспечить точность и избежать сокращений (Verifier). habr.com

Система вознаграждения поощряет модели показывать всю свою работу, даже если некоторые подходы не приводят к правильному ответу. habr.com Когда модель находит правильное решение в результате более длительного процесса рассуждений, она получает полный кредит. habr.com Это создаёт новые примеры пошаговых рассуждений, которые помогают модели совершенствоваться. habr.com