Почему в BERT используется токен [CLS] и [PAD]?

Токен [CLS] используется в BERT для классификации. cms.staas.io Он ставится в начало каждой последовательности, независимо от того, используется ли он или нет. cms.staas.io Финальный вектор, соответствующий этому токену после прохождения всех слоёв трансформера, используется как агрегированное представление всей последовательности. dzen.ru Этот вектор подаётся на классификационную «голову» для решения таких задач, как анализ тональности или определение спама. dzen.ru

Токен [PAD] используется в BERT для выравнивания длины последовательностей. dzen.ru dev.to Модель обрабатывает данные батчами (пачками), и для эффективности все последовательности в одном батче должны иметь одинаковую длину. dzen.ru Токен [PAD] добавляется в конец более коротких последовательностей, чтобы «добить» их до нужной длины. dzen.ru Механизм внимания (attention mask) затем игнорирует эти токены. dzen.ru