Как работает контекстное обучение в больших языковых моделях?

Контекстное обучение (In-Context Learning, ICL) — это способность больших языковых моделей (LLM) обучаться новым задачам «на лету», используя только примеры (демонстрации), предоставленные в контексте (промпте) запроса. systems-analysis.ru

Процесс адаптации происходит без обновления весов (параметров) модели, то есть без традиционного дообучения. systems-analysis.ru Этот механизм позволяет моделям демонстрировать гибкость, решая задачи, для которых они не были специально натренированы. systems-analysis.ru

Некоторые особенности работы контекстного обучения:

• Zero-shot Learning (обучение без примеров). systems-analysis.ru Модели не предоставляются примеры, а только инструкция или описание задачи. systems-analysis.ru В этом случае модель полностью полагается на знания, полученные во время предварительного обучения. systems-analysis.ru
• One-shot или Few-shot Learning. ru.wikipedia.org В запрос включаются один или несколько примеров решения аналогичных задач. ru.wikipedia.org Даже один пример может чётко задать требуемую структуру ответа, предотвращая ошибки форматирования. systems-analysis.ru

Контекстное окно — это объём текста, который большая языковая модель может одновременно удерживать в «оперативной памяти», пока обрабатывает запросы пользователя. blog.colobridge.net Всё, что выходит за размеры контекстного окна, модель отсекает и не учитывает при генерации ответа. blog.colobridge.net