Чтобы оценить субъективность результатов при методе экспертных оценок, можно использовать следующие подходы:

• Анализ компетентности экспертов. 35 Для этого проводят тестирование, самооценку и взаимооценку специалистов, устанавливают их надёжность и проверяют согласованность мнений. 3
• Статистическая обработка результатов. 23 Можно оценить согласованность мнений экспертов по отдельным показателям с помощью коэффициента вариации. 3 Например, если этот показатель меньше 10%, согласованность считают высокой, от 10% до 15% — выше средней, от 16% до 25% — средней, от 26% до 35% — ниже средней, более 35% — низкой. 3
• Использование коэффициента конкордации. 3 Этот показатель может принимать значения от 0 до 1. 3 Чем ближе коэффициент к 1, тем выше согласованность мнений экспертов, и наоборот. 3

Также важно учитывать, что на субъективность результатов могут влиять такие факторы, как излишний оптимизм или пессимизм экспертов, влияние «группового мышления». 1 Чтобы снизить вероятность ошибок, рекомендуется, например, проводить итеративную процедуру опроса: сообщать результаты обработки после каждого тура, чтобы эксперты, давшие сильно отклоняющиеся оценки, могли критически осмыслить свои суждения и обстоятельно их аргументировать. 2