Коэффициент конкордации может оказаться незначимым, если мнения экспертов (ранговые последовательности) полностью противоположны. 5 В таком случае коэффициент конкордации равен нулю. 5

Также коэффициент конкордации может быть незначимым, если в экспертной группе существует две или несколько существенно отличающихся точек зрения на оценку объектов исследования. 1

Кроме того, при очень большом количестве экспертов трудно добиться согласованного мнения. 2

Вычисление коэффициента конкордации без введения поправочных коэффициентов и проверки на статистическую значимость может привести к существенным ошибкам. 3