Как работает система ранжирования в языковых приложениях?

Система ранжирования в языковых приложениях, например на платформе LMArena, работает на основе анонимных голосов пользователей. vc.ru

Основные этапы взаимодействия: vc.ru

1. Пользователь вводит запрос или выбирает готовый. vc.ru
2. Система показывает два ответа от разных моделей без указания, кто их сгенерировал. vc.ru
3. Пользователь выбирает лучший ответ. vc.ru
4. Система фиксирует выбор и обновляет рейтинг моделей, используя алгоритмы ранжирования. vc.ru

Этот цикл повторяется миллионы раз с участием пользователей по всему миру. vc.ru

Рейтинг моделей формируется с учётом реальных предпочтений, а не только формальных показателей. vc.ru Например, в LMArena используется система Elo, заимствованная из соревновательных шахмат. sider.ai Каждая модель начинает с базового рейтинга, который увеличивается или уменьшается в зависимости от результатов дуэлей. sider.ai

Важно понимать, что рейтинг Elo отражает относительную силу моделей по тем запросам, которые видит сообщество, а не абсолютные способности во всех областях. sider.ai