Как изменилось обучение моделей GPT с переходом от GPT-2 к GPT-3?

Некоторые изменения в обучении моделей GPT с переходом от GPT-2 к GPT-3:

• Увеличение объёма обучающих данных и параметров. vk.com www.scaler.com GPT-3 была обучена на 175 миллиардах параметров, в то время как GPT-2 — на 40 гигабайтах текста. nplus1.ru lambda.ai Это привело к резкому увеличению производительности GPT-3 по сравнению с GPT-2. vk.com
• Использование более масштабных наборов данных. habr.com При этом учитывалось не только количество данных, но и их качество: для обучения выбирали надёжные источники. habr.com
• Обучение по принципу «нескольких выстрелов». vk.com www.scaler.com GPT-3 могла достаточно хорошо справляться с задачами, которые она видела всего несколько раз во время обучения. vk.com
• Обучение без привязки к конкретным задачам. habr.com Модель осваивала широкий набор навыков ещё на этапе обучения, а затем применяла их в реальных задачах, адаптируясь к новым условиям без дополнительного дообучения. habr.com
• Использование обучения с нулевым и несколькими примерами. www.scaler.com Обучение с несколькими примерами подразумевало изучение задачи по нескольким примерам, а обучение с нулевым количеством примеров позволяло модели выполнять задачи, для которых она не была явно обучена. www.scaler.com