В чем заключается принцип действия алгоритма дообучения нейронных сетей?

Принцип действия алгоритма дообучения нейронных сетей заключается в тонкой настройке весовых коэффициентов на наборе калибровочных данных с целью оптимизации модели для повышения качества её работы на новом наборе данных или адаптации к модификациям в архитектуре модели. www.iae.nsk.su

Один из методов дообучения (transfer-learning) заключается в том, что последний слой нейронов срезается вместе со всеми его весами, и вместо него ставится новый слой размером с новое количество классов. na-journal.ru При этом веса у остальных слоёв сохраняются и «замораживаются», то есть становятся недоступными для изменения. na-journal.ru При этом на последнем слое веса заданы случайным образом, поэтому модель всё ещё необходимо обучать, но в гораздо меньшем масштабе, так как предыдущие слои уже были обучены. na-journal.ru

Также есть подход, при котором веса на последнем слое оставляют, при этом добавляют параллельно к нему дополнительный слой с одним нейроном и соединяют их. na-journal.ru В этом случае веса у старых нейронов остаются, и их практически не надо менять. na-journal.ru Необходимо лишь ознакомить их с новым классом, а также полностью обучить новый нейрон. na-journal.ru Для этих целей достаточно датасета сравнительно малого объёма. na-journal.ru