В чем заключаются основные отличия между Zero-shot и Few-shot обучением в AI?

Основное отличие Zero-shot и Few-shot обучения в AI заключается в количестве примеров, которые используются для обучения: thesyntellix.com

• Zero-shot Learning (ZSL) — модель выполняет задачи без каких-либо примеров обучения. habr.com Она использует внутренние знания, полученные во время предобучения. habr.com ZSL хорошо работает на обобщённых задачах (классификация, генерация, перевод). habr.com Однако у этого подхода ограниченная точность, особенно в узкоспециализированных доменах. habr.com
• Few-shot Learning (FSL) — модели предоставляется всего несколько примеров (обычно от 1 до 5), чтобы лучше понять структуру задачи. habr.com FSL эффективен в случаях, когда доступно мало размеченных данных. habr.com

Некоторые другие отличия:

• Токенизация и эмбеддинги. habr.com Zero-shot: промпт сразу конвертируется в токены. habr.com Few-shot: примеры и запрос объединяются в единый контекстный блок. habr.com
• Многоголовое внимание (Multi-Head Attention). habr.com Zero-shot: внимание распределяется только по входному запросу. habr.com Few-shot: внимание анализирует как примеры, так и новый вход. habr.com
• Выходной слой (Softmax over Vocabulary). habr.com Zero-shot: softmax основан на общем знании модели. habr.com Few-shot: softmax сдвигается в сторону примеров, которые были в контексте. habr.com

Zero-shot и Few-shot часто используются совместно. systems-analysis.ru Например, ZSL может быть использован для инициализации представлений, которые затем дообучаются с помощью FSL, когда появляются первые примеры нового класса. systems-analysis.ru