Некоторые ограничения теста Колмогорова-Смирнова:

• Чувствительность к длине выборки. 1 Тест может давать статистически значимые результаты при больших размерах выборки, но не эффективен при небольших размерах. 1
• Предполагает независимость. 1 Тест предполагает, что сравниваемые данные непредвзятые, но это может не соответствовать реальным фактам. 1
• Ограничен непрерывными данными. 1 Тест предназначен для непрерывной статистики и не подходит для дискретной или конкретной информации. 1
• Недостаточная чувствительность к точным свойствам дистрибутива. 1 Тест оценивает различия между дистрибутивами и может быть не чувствителен к вариациям. 1
• Уязвимость к ошибке типа I при множественных сравнениях. 1 Многократные тесты или использование теста в более масштабной системе проверки гипотез могут увеличить угрозу ошибок типа I. 1

Кроме того, критерий Колмогорова-Смирнова требует, чтобы выборка была достаточно большой: при сопоставлении двух эмпирических распределений необходимо, чтобы их объём был не менее 50. 24 Сопоставление эмпирического распределения с теоретическим иногда допускается при объёме выборки не менее 5. 25