Основные отличия архитектуры GPT-3 от предыдущих версий:

• Объём датасетов и количество параметров. 1 В GPT-3 количество параметров достигло 175 млрд, а размер датасета составил 600 Гб. 1 В него вошли вся англоязычная «Википедия», книги и стихи, материалы на сайтах СМИ и GitHub, путеводители и даже рецепты. 1
• Гибкость. 1 GPT-3 можно использовать для решения практически любых задач, сформулированных на английском языке. 1 Вместо повторного обучения на дополнительных данных достаточно выразить задачу в виде текстового запроса, описания или примеров. 1
• Дополнительные навыки. 2 Нейросеть стала лучше работать с текстом, научилась выдавать более сложные ответы в разной стилистике, а также писать программный код и проводить несложные математические вычисления. 2