Чем отличается генеративная модель GPT-3 от предыдущих версий?

Некоторые отличия генеративной модели GPT-3 от предыдущих версий:

• Большой объём обучающих данных. 17 Для обучения GPT-3 использовали набор из 175 миллиардов параметров, что привело к резкому увеличению производительности по сравнению с GPT-2, где количество параметров составляло 1,5 млрд. 17
• Способность выполнять задачи с небольшим количеством обучающих данных. 1 В отличие от предыдущих моделей, GPT-3 могла достаточно хорошо справляться с задачами, которые она видела всего несколько раз во время обучения. 1
• Универсальность и гибкость. 5 Обычно модели искусственного интеллекта создаются для одной цели, под которую изначально заточены все параметры и обучающие данные. 5 GPT-3 более гибкая, её можно использовать для решения «практически любых задач», сформулированных на английском языке. 5
• Способность к few-shot learning и zero-shot learning. 3 Модель могла выполнять широкий спектр задач обработки естественного языка, включая перевод, суммаризацию, ответы на вопросы, написание эссе и даже программирование, основываясь лишь на нескольких примерах в текстовом запросе или вообще без примеров. 3