Некоторые изменения в обучении моделей GPT с переходом от GPT-2 к GPT-3:

• Увеличение объёма обучающих данных и параметров. 34 GPT-3 была обучена на 175 миллиардах параметров, в то время как GPT-2 — на 40 гигабайтах текста. 25 Это привело к резкому увеличению производительности GPT-3 по сравнению с GPT-2. 3
• Использование более масштабных наборов данных. 1 При этом учитывалось не только количество данных, но и их качество: для обучения выбирали надёжные источники. 1
• Обучение по принципу «нескольких выстрелов». 34 GPT-3 могла достаточно хорошо справляться с задачами, которые она видела всего несколько раз во время обучения. 3
• Обучение без привязки к конкретным задачам. 1 Модель осваивала широкий набор навыков ещё на этапе обучения, а затем применяла их в реальных задачах, адаптируясь к новым условиям без дополнительного дообучения. 1
• Использование обучения с нулевым и несколькими примерами. 4 Обучение с несколькими примерами подразумевало изучение задачи по нескольким примерам, а обучение с нулевым количеством примеров позволяло модели выполнять задачи, для которых она не была явно обучена. 4