Некоторые ограничения при использовании коэффициента конкордации:

• Невозможность рассчитать согласованность мнений экспертов по каждой переменной в отдельности. 1
• Коэффициент измеряет согласованность мнений в смысле их коррелированности, но не совпадения. 1
• Вычисление коэффициента конкордации без введения поправочных коэффициентов и проверки на статистическую значимость может привести к существенным ошибкам. 1
• Коэффициент не учитывает систематическое смещение между двумя измерениями. 3 Если одно измерение последовательно переоценивает или недооценивает истинное значение, коэффициент конкордации всё равно может указывать на высокий уровень согласия, что может вводить в заблуждение. 3
• Коэффициент чувствителен к выбросам, которые могут непропорционально влиять на результаты. 3