Какие преимущества и недостатки имеют случайные методы регрессионного тестирования?

Некоторые преимущества случайных методов регрессионного тестирования:

• Дешёвость и эффективность. 1 Случайные методы могут использоваться, когда из-за ограничений по времени невозможно применить метод повторного прогона всех тестов, а программные средства отбора недоступны. 1
• Увеличение количества отобранных тестов. 1 Если изменения в новой версии затрагивают код, который выполняется относительно часто, то при случайных входных данных изменённый код может активироваться чаще. 1

Некоторые недостатки случайных методов регрессионного тестирования:

• Разброс эффективности. 1 При небольших интервалах тестирования эффективность может быть как очень высокой, так и очень низкой. 1
• Снижение эффективности обнаружения ошибок. 1 При уменьшении мощности множества отобранных тестов падает эффективность обнаружения ошибок. 1
• Риск исключения тестов, которые обнаруживают ошибки в коде. 1 Например, если выбрать для повторного выполнения тесты 4 и 5, то изменения формата вывода на экран не будут протестированы. 1

Случайный выбор тестовых наборов полезен только в том случае, если все тестовые наборы одинаково хороши в своей способности обнаруживать ошибки, что случается очень редко. 3