Некоторые альтернативы метрике mean reciprocal rank (MRR) для оценки качества ранжирования:
Cumulative gain at K (CG@K). habr.com Базовая метрика ранжирования, которая использует идею: чем релевантные элементы в топе, тем лучше. habr.com
Метрики на основе ранговой корреляции. habr.com Например, коэффициенты Спирмена и Кендэлла, которые учитывают не сами значения, а их ранг (порядок). habr.com Однако они не учитывают позицию элементов, поэтому на практике используются редко. habr.com
Mean Average Precision (MAP). www.evidentlyai.com Отражает долю релевантных рекомендаций и то, насколько хорошо система помещает более релевантные элементы в начало списка. www.evidentlyai.com
Normalized Discounted Cumulative Gain (NDCG@k). amitness.com Нормированная метрика, которая даёт оценку в диапазоне от 0 до 1: чем выше оценка, тем лучше ранжирование. amitness.com
Для комплексной оценки качества ранжирования можно комбинировать несколько метрик. www.evidentlyai.com
Примеры полезных ответов Поиска с Алисой на вопросы из разных сфер. Вопросы сгенерированы нейросетью YandexGPT для актуальных тем, которые определяются на базе обобщённых запросов к Поиску с Алисой.