Некоторые основные отличия GPT-3 от предыдущих версий генеративных моделей:

• Большой объём обучающих данных и параметров. 13 В GPT-3 загрузили 600 ГБ текста, количество параметров достигло 175 млрд. 23 Это привело к резкому увеличению производительности по сравнению с GPT-2. 1
• Способность выполнять задачи с небольшим количеством обучающих данных. 1 В отличие от предыдущих моделей, GPT-3 могла достаточно хорошо справляться с задачами, которые она видела всего несколько раз во время обучения. 1
• Универсальность и гибкость. 3 Обычно модели искусственного интеллекта создаются для одной цели, под которую изначально заточены все параметры и датасеты. 3 GPT-3 более гибкая, её можно использовать для решения «практически любых задач», сформулированных на английском языке. 3
• Способность к few-shot learning и zero-shot learning. 5 Модель могла выполнять широкий спектр задач обработки естественного языка, включая перевод, суммаризацию, ответы на вопросы, написание эссе и даже программирование, основываясь лишь на нескольких примерах в текстовом запросе или вообще без примеров. 5