Как оценить субъективность результатов при методе экспертных оценок?

Чтобы оценить субъективность результатов при методе экспертных оценок, можно использовать следующие подходы:

• Анализ компетентности экспертов. irbis.amursu.ru studizba.com Для этого проводят тестирование, самооценку и взаимооценку специалистов, устанавливают их надёжность и проверяют согласованность мнений. irbis.amursu.ru
• Статистическая обработка результатов. swsu.ru irbis.amursu.ru Можно оценить согласованность мнений экспертов по отдельным показателям с помощью коэффициента вариации. irbis.amursu.ru Например, если этот показатель меньше 10%, согласованность считают высокой, от 10% до 15% — выше средней, от 16% до 25% — средней, от 26% до 35% — ниже средней, более 35% — низкой. irbis.amursu.ru
• Использование коэффициента конкордации. irbis.amursu.ru Этот показатель может принимать значения от 0 до 1. irbis.amursu.ru Чем ближе коэффициент к 1, тем выше согласованность мнений экспертов, и наоборот. irbis.amursu.ru

Также важно учитывать, что на субъективность результатов могут влиять такие факторы, как излишний оптимизм или пессимизм экспертов, влияние «группового мышления». practicum.yandex.ru Чтобы снизить вероятность ошибок, рекомендуется, например, проводить итеративную процедуру опроса: сообщать результаты обработки после каждого тура, чтобы эксперты, давшие сильно отклоняющиеся оценки, могли критически осмыслить свои суждения и обстоятельно их аргументировать. swsu.ru