Какие преимущества и недостатки имеют случайные методы регрессионного тестирования?

Некоторые преимущества случайных методов регрессионного тестирования:

• Дешёвость и эффективность. intuit.ru Случайные методы могут использоваться, когда из-за ограничений по времени невозможно применить метод повторного прогона всех тестов, а программные средства отбора недоступны. intuit.ru
• Увеличение количества отобранных тестов. intuit.ru Если изменения в новой версии затрагивают код, который выполняется относительно часто, то при случайных входных данных изменённый код может активироваться чаще. intuit.ru

Некоторые недостатки случайных методов регрессионного тестирования:

• Разброс эффективности. intuit.ru При небольших интервалах тестирования эффективность может быть как очень высокой, так и очень низкой. intuit.ru
• Снижение эффективности обнаружения ошибок. intuit.ru При уменьшении мощности множества отобранных тестов падает эффективность обнаружения ошибок. intuit.ru
• Риск исключения тестов, которые обнаруживают ошибки в коде. intuit.ru Например, если выбрать для повторного выполнения тесты 4 и 5, то изменения формата вывода на экран не будут протестированы. intuit.ru

Случайный выбор тестовых наборов полезен только в том случае, если все тестовые наборы одинаково хороши в своей способности обнаруживать ошибки, что случается очень редко. www.geeksforgeeks.org